K 平均法 クラスタリング

アルゴリズム

K 平均法アルゴリズムの目的は、属性の点で互いに類似しており、他のクラスター内の個人とは異なるオブジェクトのクラスターを作成することです。これを実現するために、K 平均法では、クラスターの重心を使用してそのクラスターを表す重心ベースの分割手法が採用されています。概念的には、中心点はクラスターの重心です。

K 平均法アルゴリズムは次のように機能します。

1. 指定された初期化方法に従って、データセットから K 点が K クラスターの初期重心として選択されます。
2. K 個のクラスターは、各観測値を最も近い重心に関連付けることによって作成されます。
3. 新しい重心がクラスターに対して計算されます。重心値によって座標が変化するかどうかを判断します。
4. 収束するまで (重心値が変化しないとき)、または指定された終了基準が満たされるまで、ステップ 2 と 3 を繰り返します。

このオペレーターは、Spark MLib の K 平均法 クラスタリング アルゴリズムを実装します。

指定されたカラムは、K 平均法 クラスタリング モデルのトレーニングに使用されます。クラスターの初期重心を定義する必要があります。このオペレーターは、K-Means++ とランダム割り当てなど、クラスターの初期重心を定義する 2 つの方法を提供します。

このオペレーターは、シルエット値を使用して、最適なクラスター数を決定します。シルエット メトリックは、割り当てられたクラスターに対する観測値の類似性を他のクラスターと比較するための尺度です。一般に、高いシルエット値が好まれます。