
scikit-learn機械学習㊳ガウス混合モデル(その3)
前回は、GMMがパラメータ推定をする手法「期待値最大化(EM)アルゴリズム」について詳しく解説しました。これを踏まえて、今回はGMMを使ったクラスタリングを紹介します。
GMMとクラスタリング
まずは、前回までの要点をおさらいしながら、GMMによるクラスタリングの仕組みについて考えていきます。
クラスタリングが行える理由
ガウス混合モデル(GMM)では、観測データの分布が複数の異なるガウス分布(正規分布)に由来すると仮定しています。
まず、イメージを掴むために、一次元の例として「体重のデータ」を考えます。下図は、ある動物のメス(赤線)とオス(青戦)の体重のそれぞれの確率分布です。それぞれガウス分布に従う(あるいは近似できる)としています。

二つの分布を合わせて一つの確率分布にしたのが緑色で表示されています。つまり、この動物の全体では、体重の分布に2つのピークがあることになります。
赤線と青戦と比べると、緑色の分布が小さくなっています。これは、メスとオスの確率分布がそれぞれ合計すると1(100%)になるので、そのまま両方を重ねると全体で2(200%)になるため、人口の比率を考える必要があるからです。
ここでは、メスとオスの人口が等しい(比率がそれぞれ0.5)として足し合わせており、結果として緑色の分布も確率の合計が1になります。
逆に、全体(緑色)の分布のみが分かっているとします。この場合、各データポイントに対して、メスなのかオスなのかはわかりません。

そして、メスとオスに分けたいので、データは2つのガウス分布(ガウス成分)の混合になっていると仮定します。すると、EMアルゴリズムを使うことで、それぞれのガウス成分に対して平均と分散が求められます。また、2つのガウス成分を混合させるための混合係数も計算されます。
つまり、ガウス混合モデルが意味するのは、あるデータセットを複数のガウス分布に分解することに他なりません。このことがクラスタリングにも使える理由になっています。
ソフトクラスタリングの手法
なお、GMMによるクラスタリングでは、k-meansと同様にクラスタの数を指定する必要があります。前述の例では、メスとオスの2つのクラスに分けるので、を想定しています。
しかし、GMMでは「各データポイントが各ガウス分布(クラスタ)に属する」確率を計算しています。この確率は、データポイントがどのクラスタにどれだけ適合しているかを示しています。
例えば、90%オスで10%メスといった具合です。
つまり、k-meansではどれか一つのクラスタを選択する「ハードクラスタリング」(hard clustering)であるのに対し、GMMでは「ソフトクラスタリング」(soft clustering)を行います。
もちろん、確率が一番高いクラスタを選ぶことでハードクラスタリングにもなります。しかし、GMMを使う利点としては、特にデータが明確な境界を持たず、複数のグループ間で曖昧な領域がある場合に、どの程度の確率で異なる成分に属すると予測されるのかという情報を得られることです。
多変数データポイントへ拡張
さらに、体重だけでなく体長も含めたデータによって分布をモデル化したいとします。この場合は、ガウス分布は2変数の確率分布になります。

よって、平均も体重と体長の両方を含む平均ベクトルとなります。また、分散は共分散行列となります。これらを2つのがうす成分それぞれに対して計算する必要があります。これもEMアルゴリズムで行います。
なお、共分散行列は、体重と体長のそれぞれに対する分散だけでなく、体重と体長の間の相関(共分散)を表現しています。例えば、体重が大きいときは、体長も大きい傾向がある場合、上図のガウス分布を上から見た形状は、円形ではなく楕円形になります。これが共分散で表現されいることです。下図はそのイメージです。

このような分布が2つあるとするとイメージは下図のようになります。

こうしてみると、データポイントによってはどちらのクラスタに属するのが判断が難しく、ソフトクラスタリングによる確率的な表現が必要なのがわかります。
2次元のデータでクラスタリングしているイメージが沸きましたでしょうか。
3次元のデータになると簡単には図にできないですが、数式的には簡単に拡張が可能です。つまり、もっと多次元へと一般化すると、データ(特徴量)は複数の要素を持つベクトルです。よって、多変数のガウス分布によってそれぞれのガウス成分をモデル化することになります。
なお、それぞれのガウス成分は、以下のパラメータによって特徴づけられます。
平均ベクトル:ガウス成分の分布の中心
共分散行列:ガウス分布分布の形状
そして、混合係数をガウス成分の重み(合計は1)として、全てのガウス成分を足し合わせた(混合した)ものがガウス混合モデルです。
ここで、は番目の成分のガウス関数です。
こうして多変数のデータポイントに関してもGMMを適用して、複数のガウス成分に分解することができます。これを使って各データポイントがクラスタに属する確率を計算すれば、ソフトクラスタリングを行うことができます。
これはデータポイントが成分に属する確率であり、前回の記事で解説した事後確率に相当します。
各データ点を最も確率の高いクラスタに割り当てることは次のように表現できます。
クラスタリングの初期化
パラメータ初期値に敏感
EMアルゴリズムでは、各ガウス成分のパラメータ(平均ベクトル、共分散行列)を初期化します。
しかし、初期パラメータとして、極端に大きい(または小さい)共分散行列 が選ばれると、次のような問題が生じる可能性があります。
あるガウス分布が非常に広がった形 をとる
あるガウス分布が極端に小さい分布 になる
これによって、EMアルゴリズムの繰り返しでも 正しく収束せず、異常な形のクラスタリング結果 になることがあります。つまり、EMアルゴリズムは、初期値に対して敏感で、収束する結果が大きく変わる場合があります。
よって、パラメータの初期化には工夫が必要となります。
パラメータの初期化方法
scikit-learn のGMM実装(GaussianMixture)では、init_paramsで初期化方法を指定することができます。
以下の初期化手法がサポートされています。
kmeans:k-meansクラスタリングでクラスタを決める(デフォルト)
k-means++:k-means++アルゴリズムでクラスタを決める
random:各クラスタに属する確率をランダムに選択
random_from_data:平均となるデータポイントをランダムに選択
以下に、各初期化手法を簡単に解説します。
k-meansによる初期化
デフォルトの k-means を使った初期化では、各データポイントがどのクラスタに属しているのかを決定(ハードクラスタリング)します。これによって、各クラスタの平均ベクトル(セントロイド)や共分散行列の計算が行えます。また、各クラスタに属するデータポイントの割合によって混合係数を初期化します。
なお、k-means 自体にも初期値依存性があり、k-means++の方がより安定的に k-meansクラスタリングを使った初期化を行える可能性があります。
randomによる初期化
random は、各データポイントが各ガウス成分に属する確率をランダムな値に設定します。
確率なので正規化されており合計は1になります。例えば、K=3の場合、データポイント、60%で k=1、10%で k=2、30%で k=3 といった具合です。
これによって、各クラスタの平均や共分散行列を初期化します。この初期化は、計算コストが低いですが、データの実際の分布を全く考慮しないため、設定された初期値によっては収束が不安定になることがあります。
各データポイントが、各ガウス成分に確率的に属するように初期化されるのは、EMアルゴリズムの期待値ステップで計算される事後確率と役割が似ています。事後確率は、最大化ステップでの共分散行列の計算において重みとして扱われました。もちろん、ここで設定している重みはランダムな値ですが。
random_from_dataによる初期化
random_from_data では、各クラスタの平均としてランダムに一つのデータポイントを(重複なしで)選びます。混合係数は均等にになります。また、共分散行列は全体のデータで計算したものをでスケールします。
平均値が実際のデータポイントから選ばれるため、完全なランダムよりはデータの分布をある程度反映しています。しかし、選ばれるポイント次第で(うまくバラけてないと)結果が不安定になる場合があります。
共分散行列のタイプの指定
共分散行列の計算効率
データ量によっては、共分散行列の計算には長い時間がかかります。そこで、scikit-learnの GaussianMixture では、covariance_typeによって共分散行列の形状を指定することができます。
full: 最も柔軟性が高いが、計算コストが高い。
tied: クラスタ間で形状が似ている場合に適している。
diag: 次元間の相関を無視し、計算コストを抑える。
spherical: 最も制約が強く、計算コストが最も低い。
以下に、各オプションを簡単に解説します。
full(完全)
これは共分散を通常通りに計算するデフォルトのオプションです。各ガウス成分が独自の共分散行列を持ちます。最も柔軟で、データの形状をより正確に表現できますが、計算コストが一番高いです。
tied(共有)
すべてのガウス成分が共通の共分散行列を使用します。よって、各ガウス成分に対して個別に共分散行列を計算する必要がないので、計算コストが抑えられます。しかし、full と比べるとデータの形状に関してクラスタごとの自由度がありません。
クラスタ間で(平均が異なるが)データ分布の形状やスケール(広がり)が似ている場合には有効です。また、次に述べる diag と比べると次元間の相関を考慮できるので、その意味ではある程度の柔軟性を保ちます。
diag(対角)
各ガウス成分が独自の共分散行列を持ちますが、対角成分(分散)のみを考慮し、それ以外の非対角成分はゼロとしてます。つまり、各次元(データベクトルの各要素)が独立していると仮定し、次元間の相関を無視します。
各次元の相関が弱く無視してもクラスタリングの精度が落ちない場合に有用です。また、full だと計算コストが高くなりすぎるが、次の spherical だと単純すぎる場合などにも使用を検討できます。
spherical(球形)
各ガウス成分が一つの分散値を全ての次元で共有します。これは全ての次元における広がりが同じと仮定しているので、最も制約が強いです。計算コストは低いですが、複雑なデータには適しません。
次回予告
次回は、scikit-learnのGaussianMixtureを使って実験を行います。
お楽しみに!