メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㊲ガウス混合モデル(その2)

    前回は、ガウス混合モデル(Gaussian Mixture Model、GMM)の定式化を行いました。しかし、GMMがどのようにパラメータを学習するのかには触れませんでした。

    よって、今回はGMMがパラメータ推定をする手法「期待値最大化(EM)アルゴリズム」について詳しく見ていきます。

    GMMのおさらい

    ガウス混合モデルの数式

    ガウス混合モデル(GMM)は、データの分布を複数のガウス分布の重ね合わせによって表現するものです。以下のように定式化されます。

    P(x)=∑k=1Kw(k)N(μ(k),Σ(k))P(\boldsymbol{x}) = \sum\limits_{k=1}^K w^{(k)} \mathcal{N}(\boldsymbol{\mu}^{(k)}, \Sigma^{(k)})

    • x\boldsymbol{x}:データポイント(nn次元ベクトル)例:(体重、体長)

    • KK:混合成分の数(ガウス分布の数)例:オスとメスの2つ

    • N\mathcal{N}:ガウス分布の確率密度関数

    • w(k)w^{(k)}:kk番目のガウス成分(分布)の混合係数(重み):∑k=1Kw(k)=1\sum_{k=1}^K w^{(k)} = 1

    • μ(k)\boldsymbol{\mu}^{(k)}:kk番目のガウス成分の平均ベクトル(例:体重と体長の平均)

    • Σ(k)\Sigma^{(k)}:kk番目のガウス成分の共分散行列(ベクトルの要素間の分散や相関)

    具体例

    例えば、動物の体重と体長のデータがあり、オスとメスによって分布が異なるガウス分布に従っているとします。

    • x\boldsymbol{x}は、2次元の特徴量ベクトル(体重、体長)

    • μオス\boldsymbol{\mu}^\text{オス}とμメス\boldsymbol{\mu}^\text{メス}は、それぞれオスとメスの平均体重と平均身長。例えば、

      • μオス=(70,180)\boldsymbol{\mu}^\text{オス} = (70, 180):平均体重70kg、平均体長180cm(オス)

      • μメス=(55,165)\boldsymbol{\mu}^\text{メス} = (55, 165):平均体重55kg、平均体長165cm(メス)

    • Σオス\Sigma^\text{オス}とΣメス\Sigma^\text{メス}は、それぞれオスとメスの共分散行列で、体重と体長のばらつきや相関を表現します。共分散行列の導出のについてはこちらで解説しました。

    つまり、オスかメスかによって分布が異なるので、その二つを人口の割合(混合係数)を考慮して一つの分布にまとめれば、あるデータポイント(体重、体長)に対する確率がわかるということです。

    パラメータ推定の必要性

    これまでの説明では、各データポイントがどの分布(オスかメス)に属しているかが既知であると仮定してきました。しかし、クラスタリングを目的とする場合、むしろどの分布に属するのかが不明な状態が前提です。さらに、何を基準に異なる分布に分けるべきかさえ不明なことも少なくありません。

    ガウス混合モデルでは、k-meansクラスタリング と同様にクラスタの数(ガウス成分の数 KK)を指定する必要がありますが、それ以外のパラメータ(各ガウス成分の混合係数 w(k)w^{(k)}、平均 μ(k)\boldsymbol{\mu}^{(k)}、共分散行列 Σ(k)\Sigma^{(k)})はデータに基づいて推定されます。

    ところがGMMにおけるパラメータ推定では、単純に平均ベクトルと分散行列を計算できません。各ガウス成分の混合係数 w(k)w^{(k)}がわかっていないためです。

    GMMのパラメータ推定

    直接推定できない理由

    ガウス混合モデル(GMM)では、以下のパラメータを各ガウス成分kkに対して推定する必要があります。

    • 混合係数w(k)w^{(k)}

    • 平均ベクトルμ(k)\mu^{(k)}

    • 共分散行列Σ(k)\Sigma^{(k)}

    しかし、これらの平均ベクトルや共分散行列を計算するには、そもそも各データポイントxi\boldsymbol{x}_iがどのガウス成分に属するのかを知る必要があります。

    たとえば、動物の体重と体長のデータから、オスとメスそれぞれの分布の平均や分散を推定する場合を考えます。このとき、各データが「オス」か「メス」かを示すラベルがあれば簡単に計算できます。しかし、そのラベルを予測すること自体がそもそもの目的である場合、観測データにはその情報が含まれていません。

    つまり、GMMの定式化をした時とは条件が異なり、ここでは観測データに「オスかメスか」の情報が記録されていない場合を仮定しています。

    このように観測データから直接得ることができない情報を含む変数を潜在変数と呼びます。ここでは潜在変数をziz_iと定義し、zi=kz_i = kならばデータポイントxi\boldsymbol{x}_iはガウス成分kkに属するとします。

    まとめると、次のジレンマが生じます。

    • ガウス成分のパラメータ推定には、潜在変数zi=kz_i = kの情報が必要。

    • 潜在変数zi=kz_i = kを推定するには、ガウス成分のパラメータが必要。

    つまり、各データポイント x\boldsymbol{x}の潜在変数zi=kz_i = kとガウス成分のパラメータは相互依存の関係にあるため、GMMのパラメータを直接的に推定するのが難しくなっています。

    よって、GMMのパラメータ推定のためには、まずはなんとかして潜在変数を推定する必要があります。

    潜在変数の推定

    各データポイントx\boldsymbol{x}がどのガウス成分に属するか(潜在変数ziz_i)は簡単に決められないので、GMMではziz_iを確率的に扱います。

    まずは、GMMのパラメータがわかっていると仮定して話を進めます。もちろん、実際にはわかってはいないのですが「そうだとしたら?」ということです。

    この場合(計算の詳細は後で紹介しますが)、あるデータポイントに対して「10%でオス、90%でメス」というように確率を計算できます。この結果を潜在変数で表現するとzオス=0.1z_{オス}=0.1とzメス=0.9z_{メス}=0.9です。

    つまり、ここではGMMは各データポイントが各成分に属する「確率」を推定するモデルとして使われています。

    この方法では、各データポイントがすべてのガウス成分に「部分的に」属すると考えます。ただし、属する割合はデータポイントごとの特徴によって異なります。

    潜在変数が推定されたら、今度は逆にGMMのパラメータを推定することができます。これも計算内容は後で紹介します。

    もちろん仮定として「GMMのパラメータがわかっている」としたわけなので、この仮定が正しいのならば、GMMのパラメータを推定することに意味はないです。しかし、実際にはGMMのパラメータがわからない状態(例えばランダムなパラメータの初期値)から始めるとすると、潜在変数の予測自体が初めは正確ではないはずです。

    したがって、潜在変数とGMMのパラメータを交互に更新して徐々に良くする反復的なプロセスが必要となります。そこで、GMMではEMアルゴリズムが採用されています。

    EMアルゴリズム

    期待値最大化法(Expectation-Maximization Algorithm、EMアルゴリズム)は、GMMに限らず「潜在変数を含むモデル」のパラメータ推定に広く用いられる一般的な手法です。特に直接的なパラメータ推定(例:勾配降下法など)が難しい場合に使われます。

    なお、パラメータ推定とは、観測データをより良く説明できるパラメータを求めることです。「より良く」については、後で詳しく解説します。

    GMMでは、「混合係数、平均ベクトル、共分散行列」のパラメータ推定をEMアルゴリズムを用いて次のような手順で行います。

    1. パラメータの初期化:混合係数、平均ベクトル、共分散行列の値を初期化

    2. 期待値ステップ:パラメータをもとに、各データポイントの潜在変数を予測

    3. 最大化ステップ:潜在変数を重みとして使って、パラメータを更新

    4. 2と3を収束条件が満たされるまで繰り返す

    つまり、初期化されたパラメータ値でスタートし、パラメータを徐々に更新して観測データを「より良く」説明できるようなパラメータに仕上げていきます。

    EMアルゴリズムの初期化はランダムである場合もありますが、必ずしもランダムに限定されるわけではありません。初期化の選択は非常に重要で、アルゴリズムの収束先やパフォーマンスに大きな影響を与えます。あとで解説します。

    では次に、それぞれのステップを順番に解説します。

    期待値ステップ:ベイズ定理

    期待値ステップ(Expectation Step、Eステップ)は、現在のパラメータ(混合係数、平均ベクトル、共分散行列)を基に、観測されていない潜在変数(どの成分に属するか)を確率的に予測するステップです。

    この各データポイントxi\boldsymbol{x}_iが各ガウス成分kkに属する確率はベイズ定理を使って、次のように表現できます。

    P(zi=k∣xi)=P(zi=k)P(xi∣zi=k)P(xi)P(z_i = k \mid \boldsymbol{x}_i) = \frac{P(z_i = k)P(\boldsymbol{x}_i \mid z_i = k)}{P(\boldsymbol{x}_i)}

    • 潜在変数ziz_i:データポイントxi\boldsymbol{x}_iが成分kkに属することをzi=kz_i = kと表現

    • 事後確率 P(zi=k∣xi)P(z_i = k \mid \boldsymbol{x}_i):データポイントxi\boldsymbol{x}_iが成分kkに属する確率

    • 尤度 P(xi∣zi=k)P(\boldsymbol{x}_i \mid z_i = k):成分kkを仮定した場合のデータポイントxi\boldsymbol{x}_iの確率

    • 事前確率 P(zi=k)P(z_i = k):成分kkの確率

    • 周辺確率 P(xi)P(\boldsymbol{x}_i):データポイントxi\boldsymbol{x}_iが観測される確率

    このステップで求めたいのは事後確率P(zi=k∣xi)P(z_i = k \mid \boldsymbol{x}_i)です。これは、データポイントxi\boldsymbol{x}_iを条件として、ガウス成分がkkである確率です。つまり、データポイントxi\boldsymbol{x}_iが成分kkに属する確率です。

    期待値ステップ:GMMの予測

    事後確率P(zi=k∣xi)P(z_i = k \mid \boldsymbol{x}_i)は、GMMを利用して以下のように表現できます。

    P(zi=k∣xi)=w(k)N(xi∣μ(k),Σ(k))∑l=1Kw(l)N(xi∣μ(l),Σ(l))P(z_i = k \mid \boldsymbol{x}_i) = \dfrac{ w^{(k)} \mathcal{N}(\boldsymbol{x}_i \mid \boldsymbol{\mu}^{(k)}, \Sigma^{(k)})}{\sum\limits_{l=1}^K w^{(l)} \mathcal{N}(\boldsymbol{x}_i \mid \boldsymbol{\mu}^{(l)}, \Sigma^{(l)})}

    • 尤度 P(xi∣zi=k)=N(xi∣μ(k),Σ(k))P(\boldsymbol{x}_i \mid z_i = k) = \mathcal{N}(\boldsymbol{x}_i \mid \boldsymbol{\mu}^{(k)}, \Sigma^{(k)}):成分kkにおけるxi\boldsymbol{x}_iの確率

    • 事前確率 P(zi=k)=w(k)P(z_i = k) = w^{(k)}:成分kkの確率(割合)

    • 周辺確率 P(xi)=∑l=1Kw(l)N(xi∣μ(l),Σ(l))P(\boldsymbol{x}_i) = \sum\limits_{l=1}^K w^{(l)} \mathcal{N}(\boldsymbol{x}_i \mid \boldsymbol{\mu}^{(l)}, \Sigma^{(l)}):GMMによるxi\boldsymbol{x}_iの確率

    式は少し複雑に見えるかもしれませんが、次のように理解できます。まず、分母はGMMによるxi\boldsymbol{x}_iの確率で、すべてのガウス成分から確率を混合係数を重みとして加重平均したものです。そして、分子は成分kkに寄与する確率なので、この式はxi\boldsymbol{x}_iが成分kkに属する確率を計算しています。

    つまり、現在のパラメータを仮定して、GMMを利用した潜在変数の推測です。

    こうして計算された事後確率は、各データポイントがどの成分にどれだけ寄与するかを表現しており、次の最大化ステップで各ガウス成分のパラメータを推定し更新する際に使われます。

    最大化ステップ:事後確率という重み

    最大化ステップ(Maximization Step、Mステップ)では、期待値ステップで計算された事後確率P(zi=k∣xi)P(z_i = k \mid \boldsymbol{x}_i)を基に、各ガウス成分のパラメータ(混合係数、平均ベクトル、共分散行列)を更新します。

    なお、以下では期待値ステップで推定された事後確率P(zi=k∣xi)P(z_i = k \mid \boldsymbol{x}_i)が重みとして繰り返し使われています。なので「事後確率」とか「P(zi=k∣xi)P(z_i = k \mid \boldsymbol{x}_i)」を見たら、データポイントの各成分に対する「重み」だと解釈してください。

    要するに、事後確率を重みとした加重平均をそれぞれのパラメータに対して計算して更新します。

    最大化ステップ:混合係数

    混合係数は、次のように更新されます。

    w(k)=∑i=1m P(zi=k∣xi)mw^{(k)} = \frac{\sum\limits_{i=1}^m P(z_i = k \mid \boldsymbol{x}_i)}{m}

    w(k)w^{(k)}は「各データポイントが成分kkに属する事後確率の合計」を「全データポイント数」で割ったものです。これは、全データにおいて成分kkがどの程度の割合を占めるかを示します。

    最大化ステップ:平均ベクトル

    平均ベクトルμ(k)\boldsymbol{\mu}^{(k)} は、次のように更新されます。

    μ(k)= ∑i=1m P(zi=k∣xi)xi∑i=1m P(zi=k∣xi)\boldsymbol{\mu}^{(k)} = \frac{\sum\limits_{i=1}^m P(z_i = k \mid \boldsymbol{x}_i) \boldsymbol{x}_i}{\sum\limits_{i=1}^m P(z_i = k \mid \boldsymbol{x}_i) }

    これは、成分kkに属するデータポイントの重み付き平均です。「事後確率で重み付けされたデータポイントの総和」を「事後確率の総和」で正規化(総和が1に)したものです。

    最大化ステップ:共分散行列

    共分散行列は、次のように更新されます。

    Σ(k)= ∑i=1m P(zi=k∣xi)(xi−μ(k))⊤(xi−μ(k))∑i=1m P(zi=k∣xi)\Sigma^{(k)} = \frac{\sum\limits_{i=1}^m P(z_i = k \mid \boldsymbol{x}_i) (\boldsymbol{x}_i-\boldsymbol{\mu}^{(k)})^\top(\boldsymbol{x}_i-\boldsymbol{\mu}^{(k)})}{\sum\limits_{i=1}^m P(z_i = k \mid \boldsymbol{x}_i) }

    共分散行列は、中心化されたデータポイントの外積を事後確率で重み付けして計算されます。この計算は、成分ごとに特徴量の分散や相関を表現します。

    ここで、データポイントxi\boldsymbol{x}_iと平均ベクトルμ(k)\boldsymbol{\mu}^{(k)}は、前回の記事と同様に行ベクトル(横ベクトル)としています。もし、列ベクトルとするならば転置記号⊤^\topは2番目の(xi−μ(k))(\boldsymbol{x}_i-\boldsymbol{\mu}^{(k)})につける必要があります。

    つまり、(xi−μ(k))⊤(xi−μ(k))(\boldsymbol{x}_i - \boldsymbol{\mu}^{(k)})^\top (\boldsymbol{x}_i - \boldsymbol{\mu}^{(k)})は、「中心化されたデータポイント」の外積(列ベクトルと行ベクトルの積)によって得られるn×nn \times nの行列です。上式の分子は、それをすべてのデータポイントに対して計算し、事後確率を重みとした和を計算しています。

    この分子の式は、前回の記事での共分散行列の計算におけるX~⊤X~\tilde{X}^\top\tilde{X}に相当し、正規化される前の「分散と相関」の情報を含みます。

    分母の∑i=1m P(zi=k∣xi)\sum\limits_{i=1}^m P(z_i = k \mid \boldsymbol{x}_i)は、すべてのデータポイントxi\boldsymbol{x}_iに対して計算した成分kkに属する事後確率の総和です。これも、重みの総和による正規化のためです。

    前回の共分散行列の計算式では、各データポイントが属するガウス成分が分かった上でガウス成分ごとに共分散行列を計算しています。そのため、成分内のデータポイントは同確率で生じるとして計算されます。

    Σ=1m−1X~⊤X~\Sigma = \dfrac{1}{m-1} \tilde{X}^\top \tilde{X}

    これは、サンプルデータからガウス分布を計算する際の標準的な方法で、すべてのデータポイントが同じ重みを持つことを意味します。

    これらの更新は事後確率(各ガウス成分におけるデータポイントの確率)を重みとして用いる点で、前回の共分散行列の計算(データポイントは一つのガウス成分にのみ属するためその中で同確率)とは異なります。そして、これは潜在変数(どのガウス成分に属するかのラベル)に不確実性がある(わからない、確定しない)ためです。

    こうして、最大化ステップで更新されたパラメータは、次の期待値ステップで利用され、各データポイントの事後確率がさらに更新されます。そして、新しい事後確率による加重平均によってパラメータが更新されます。この反復はパラメータが収束条件を満たすまで繰り返されます。

    つまり、反復を止める条件を定めておく必要があります。

    EMアルゴリズムの収束条件

    収束条件をチェックする

    最大化ステップと期待値ステップを繰り返すことで、パラメータが更新され「これ以上はよくならないような状態」に到達したら反復を終了します。このような状態に達したらパラメータは収束したとみなされます。

    なお、パラメータがいつまでも収束しない場合は、最大の反復回数に達するまでEMステップを繰り返した時点で終了します。

    これには、大別して2つのパターンがあります。

    • 最大反復回数が小さすぎてもっと改善できるのに反復が終わってしまう

    • 収束条件が厳しすぎていつまでも条件が満たされない

    また、収束したからといって最適であるとは限りません。

    • 収束条件が緩ゆるすぎて、収束条件がすぐに満たされる

    • 局所最適解に陥ったまま改善しない

    最後のポイントは、特に重要です。GMMやその他のモデルがEMアルゴリズムを使うのは、理論的に収束することがわかっているからです。しかし、EMアルゴリズムは、必ずしもグローバル最適解に到達するわけではなく、局所最適解に陥る可能性があるということです。

    つまり、局所最適解に陥っているために「これ以上はよくならないような状態」なのかもしれません。そのため、初期値を工夫したりすることが重要になります。

    そこで、もう少し理解を深めるために、EMアルゴリズムがどのように収束するのかを理論的に考えます。特に「パラメータが良くなる」とはどういうことなのかを考察します。

    パラメータが良くなるとは

    まず、GMMを次のように表現します。

    P(x∣θ)=∑k=1Kw(k)N(x∣μ(k),Σ(k))P(\boldsymbol{x}\mid \theta) = \sum\limits_{k=1}^K w^{(k)} \mathcal{N}(\boldsymbol{x} | \boldsymbol{\mu}^{(k)}, \Sigma^{(k)})

    θ\thetaはすべての成分のパラメータ(混合係数、平均ベクトル、共分散行列)をすべて含んだものを意味するとします。これまでもパラメータは常に存在していたのですが、ここではパラメータがステップによって変化する様子を明示するために条件として定義に含めました。

    まず、EMアルゴリズムのステップttにおけるパラメータをθt\theta_tとします。このときのGMMモデルはP(x∣θt)P(\boldsymbol{x}\mid \theta_t)であり、パラメータθt\theta_tを使って観測データに対する確率を予測します。

    以下はあくまで例ですが、EMステップによってパラメータが最適化されるイメージを示します。簡単のために1次元のガウス分布で2つの成分があるケースを扱います。

    例としては、体重だけで「オスかメスか」を判断するケースと同じです。

    ステップ t :GMMP(x∣θt)P(x\mid \theta_{t})が予測した分布(黒線)を観測データの分布(水色)に重ねて表示したのが下図です。これを見る限りパラメータθt\theta_{t}によるGMMは、データ分布をうまく説明できていません。

    画像
    ステップ t のGMM

    これはパラメータがまだ最適化されていないからです。そこでEMステップをなん度も繰り返しパラメータを更新してパラメータが収束したとします。この時のステップをt′t'とします。

    ステップ t' :GMMP(x∣θt’)P(x\mid \theta_{t’})が予測する分布は以下のようになりました。

    画像
    パラメータ更新後

    モデルの形式としては同じGMMでも、パラメータθt’\theta_{t’}のほうがθt\theta_{t}よりもデータ分布をよく説明しているのが、視覚的に理解できます。これが「パラメータが良くなる」をイメージで説明したものです。

    もちろん、元のデータは変わっていません。モデルのパラメータが更新されたことによって、予測される確率の方が変わったわけです。新しいパラメータを使うと観測データがよりよく説明できるようになったということです。

    これを数学的に扱うために尤度(Likelihood)を考えます。

    尤度によるパラメータの評価

    尤度は、モデル(とそのパラメータ)が予測する「観測データが生じる確率」をもとに評価されます。ここではモデルを固定しているので「パラメータが与えられたデータをどの程度うまく説明できるか」を表します。

    なお、前述のベイズ定理でも「尤度」が登場しました。同じ概念ですが、EMアルゴリズムにおける文脈とは異なります。以下に両者の違いを整理します。

    • ベイズ定理の場合:
      特定の条件(例:データポイントxi\boldsymbol{x}_i​が成分kkに属する)を基に、観測データxi\boldsymbol{x}_i​をどの程度説明できるかを評価します。この文脈では、条件付き確率P(xi∣zi=k)P(\boldsymbol{x}_i \mid z_i=k)が尤度として用いられます。事前確率と組み合わせることで事後確率を計算するのに使われます。

    • EMアルゴリズムの場合:
      GMMのパラメータ全体を条件として、データ全体{x1,x2,…,xm}\{\boldsymbol{x}_1, \boldsymbol{x}_2, \ldots, \boldsymbol{x}_m\}をどの程度説明できるかを評価します。この文脈では、観測データ全体XXの条件確率P(X∣θ)P(X \mid \theta)を尤度の計算に使います。

    つまり、両方ともパラメータが与えられたデータをどの程度うまく説明できるかを示すという意味で同じ概念です。EMアルゴリズムの場合、すべてのパラメータがデータ全体をどの程度説明できるかを尤度で表現します。

    また、これをデータ生成の観点から理解することもできます。つまり、EMアルゴリズムなどで使われる尤度では、モデルが与える確率分布にしたがってデータを生成したら観測されたデータと同じような分布になるほど尤度が高くなります。

    つまり、モデルのパラメータによって生成されるデータの確率分布が変わります。

    よって、パラメータが『良くなる』かどうかを評価するとは、尤度P(X∣θ)P(X\mid \theta)をパラメータθ\thetaの関数として考え、パラメータを変更した時に尤度の値が大きくなる(つまり、モデルがデータ全体をより良く説明できるようになる)かどうかを見極めることです。

    対数尤度の最大化と収束条件

    モデルがデータの分布をどの程度うまく説明しているかを評価するため、EMアルゴリズムにおける尤度について数式を使ってさらに考察します。

    観測データが独立していると仮定すると、尤度は各データポイントの確率すべての積として定義されます。

    L(θ)=P(X∣θ)=∏i=1mP(xi∣θ)L(\theta) = P(X \mid \theta) = \prod\limits_{i=1}^m P(\boldsymbol{x}_i \mid \theta)

    ここで、L(θ)L(\theta)という表記を用いることで、尤度が「パラメータθ\thetaの関数」であることを明示しています。また、観測データは尤度関数の一部として含まれていると捉えられます。

    なお、「観測データが独立している」とは、あるデータポイントが観測されることが他のデータポイントの観測に影響を与えないことを意味します。

    これは、例えばサイコロを何度も振る状況をイメージするとわかりやすいでしょう。この場合、サイコロの出目はそれぞれ独立しており、各試行の確率の積が全体の確率になります。

    ただし、一般の観測データはサイコロのようにすべて同じ確率で生じるわけではありません。それにもかかわらず、この定義が成り立つのは、観測データの確率がパラメータθ\thetaにだけ依存し、他のデータに依存していないからです。

    この定義によって、パラメータがどれほど観測データ全体をよく説明しているかを評価できます。つまり、尤度L(θ)L(\theta)が高いとは、モデルとそのパラメータが観測データをよく説明できていることを意味します。ただし、ここではモデルの式(ガウス混合モデル、GMM)は固定されているため、評価対象はパラメータそのものになります。

    なお、尤度L(θ)L(\theta)では確率の積で表されるため、データ数が多くなると値が非常に小さくなり、計算上の取り扱いが難しくなることがあります。特に、コンピュータの精度には限界があるため、小さな値がゼロとして扱われてしまう可能性があります。

    そこで、対数を取ることで積の形を和に変換し、計算の安定性を確保します。観測データの対数尤度log⁡L(θ)\log L(\theta)は次のように表されます。

    log⁡L(θ)=∑i=1mlog⁡P(xi∣θ)\log L(\theta) = \sum\limits_{i=1}^m \log P(\boldsymbol{x}_i \mid \theta)

    対数尤度を使うのは、機械学習では常套手段です。計算の安定性が向上し、非常に小さな値も適切に扱えます。また、微分も簡単となりディープラーニングでもよく使われます。

    理由は後に解説しますが、EMアルゴリズムでは、各反復で対数尤度log⁡⁡L(θt)\log ⁡L(\theta_t)が増加します。また、対数尤度には上限があるため、いつまでも増加し続けるわけではありません。

    上限に近づくにつれて、パラメータ更新の効果が減少し、対数尤度の変化量は単調に減少していきます。そして、最終的には、対数尤度の変化率がほぼゼロに収束します。そのため、一旦収束したした後に、再び対数尤度の変化率が大きくことはありません。

    よって、収束条件としては、対数尤度の変化量が十分に小さくなることを確認する方法が有効です。例えば、次のように定義できます。

    ∣log⁡L(θt+1)−log⁡L(θt)∣<ϵ|\log L(\theta_{t+1}) - \log L(\theta_t)| < \epsilon

    ここで、ϵ\epsilonはあらかじめ設定された許容誤差(閾値)です。この条件が満たされると、アルゴリズムは収束したと判断します。

    理論的には対数尤度は単調増加するので、絶対値の計算は不要です。しかし、実際の数値計算で浮動小数点演算の誤差によりlog⁡L(θ)\log L(\theta) の変化が非常に小さい場合に負の値が生じる可能性があります。よって、実装では絶対値をつけておいた方が安全です。計算コストもかかりません。

    許容誤差 ϵ\epsilon の値は、具体的なタスクやデータに依存します。ϵ\epsilon が小さいほど精度の高い収束を目指すことができますが、収束に要する計算時間が増加する可能性があります。実際の応用では、ϵ\epsilon を試行錯誤で調整し、性能と計算コストのバランスを取ることになります。

    対数尤度が収束する理由

    EMアルゴリズムが対数尤度を収束させる仕組みを考察するために、まず潜在変数が観測可能な場合として直感をつかみます。

    潜在変数が観測されたとしたら

    潜在変数ziz_iが観測可能である場合、各データポイントxi\boldsymbol{x}_iがどのガウス成分に属するかが確定しています。

    動物の例でいうと、観測データにオスかメスかが記録されているということです。

    • GMMのパラメータ(混合係数、平均ベクトル、共分散行列)は、観測データから直接計算できます。

    • 観測データに基づくパラメータ更新により、対数尤度が一回のステップで最大化されます。

    これは、EMアルゴリズムにおける「期待値ステップで計算された事後確率が正しい」と仮定した場合と同等です。つまり、最大化ステップは「潜在変数を既知として」尤度を最大化する計算をしていることになります。

    もちろん、潜在変数は直接に観測されず、データポイントがどのガウス成分に属するかは事後確率によって確率的にしか決まりません。それでも、最大化ステップでは「期待値ステップで計算された事後確率は固定されている」ため、上述のようにパラメータθ\thetaを再計算することは、その事後確率に対してGMMのパラメータを最適化します。

    次に、このことを補助関数を使って数式で表現します。

    尤度の期待値と補助関数

    データポイントxi\boldsymbol{x}_iに対するモデルの対数尤度の期待値を計算します。

    ∑k=1KP(zi=k∣xi,θt)log⁡P(xi,zi=k∣θ)\sum\limits_{k=1}^K P(z_i = k | \boldsymbol{x}_i, \theta_t) \log P(\boldsymbol{x}_i, z_i = k \mid \theta)

    • P(zi=k∣xi,θt)P(z_i = k | \boldsymbol{x}_i, \theta_t):現在のパラメータθt\theta_tによる潜在変数の事後確率で、これは期待値ステップで計算されたものです。

    • log⁡P(xi,zi=k∣θ)\log P(\boldsymbol{x}_i, z_i = k \mid \theta):あるパラメータθ\thetaによる対数尤度で、これは最大化ステップで対数尤度が最大化されるように選ばれると考えます。

    また、これを期待値の記号E\mathbb{E}を使って次のようにも書けます。

    Ezi∼P(zi∣xi,θt)[log⁡P(xi,zi=k∣θ)]\mathbb{E}_{z_i \sim P(z_i | \boldsymbol{x}_i, \theta_t)}\bigl[\log P(\boldsymbol{x}_i, z_i = k \mid \theta)\bigr]

    この表現のほうが事後確率が期待値の計算に使われていることが明白でしょう。この設定の中で対数尤度を最大化するのが最大化ステップの役割だと捉えることができます。

    さらに、この期待値をすべてのデータポイントで計算した合計を補助関数と呼び、次のように表現します。

    Q(θ∣θt)=∑i=1mEzi∼P(zi∣xi,θt)[log⁡P(xi,zi=k∣θ)]Q(\theta|\theta_t) = \sum\limits_{i=1}^m \mathbb{E}_{z_i \sim P(z_i | \boldsymbol{x}_i, \theta_t)}\bigl[\log P(\boldsymbol{x}_i, z_i = k \mid \theta)\bigr]

    最大化ステップではθt\theta_tで計算される事後確率は固定されているので、補助関数においてはθ\thetaが入力だと考えてください。よって、最大化ステップを数式で表現すると以下になります。

    θt+1=arg max⁡θQ(θ∣θt)\theta_{t+1} = \argmax\limits_\theta Q(\theta\mid\theta_t)

    なお、最大化ステップによるパラメータ更新が行われる前は、θ=θt\theta = \theta_tなので、補助関数の値はQ(θt∣θt)Q(\theta_t\mid\theta_t)となります。よって、補助関数は最大化ステップでは単調増加します。

    Q(θt+1∣θt)≥ Q(θt∣θt)Q(\theta_{t+1} \mid\theta_t) \geq Q(\theta_t\mid\theta_t)

    ここでは、広義の単調増加という意味で等号を含みます。

    これを利用して、最大化ステップによってデータ全体に対する対数尤度が単調増加することを示します。

    対数尤度は単調増加する

    補助関数がデータ全体の対数尤度にどう影響するのかを考えます。

    log⁡L(θ)=∑i=1mlog⁡P(xi∣θ)\log L(\theta) = \sum\limits_{i=1}^m \log P(\boldsymbol{x}_i \mid \theta)

    ここで、各データポイントxi\boldsymbol{x}_iに対する尤度P(xi∣θ)P(\boldsymbol{x}_i\mid\theta)は、各ガウス成分における尤度P(xi,zi=k∣θ)P(\boldsymbol{x}_i, z_i = k \mid \theta)の和で表現できます。

    P(xi∣θ)=∑k=1KP(xi,zi=k∣θ)P(\boldsymbol{x}_i \mid \theta) = \sum\limits_{k=1}^K P(\boldsymbol{x}_i, z_i = k \mid \theta)

    よって、次の関係が成り立ちます。

    log⁡P(xi∣θ)=log⁡∑k=1KP(xi,zi=k∣θ)\log P(\boldsymbol{x}_i \mid \theta) = \log \sum\limits_{k=1}^K P(\boldsymbol{x}_i, z_i = k \mid \theta)

    ここで、パラメータθt\theta_tによって計算され固定された事後確率を導入するために次のように分母と分子に事後確率P(zi=k∣xi,θt)P(z_i = k \mid \boldsymbol{x}_i, \theta_t)を挿入します。

    log⁡P(xi∣θ)=log⁡∑k=1KP(zi=k∣xi,θt)P(xi,zi=k∣θ)P(zi=k∣xi,θt)\log P(\boldsymbol{x}_i \mid \theta) = \log \sum\limits_{k=1}^K P(z_i = k \mid \boldsymbol{x}_i, \theta_t) \frac{P(\boldsymbol{x}_i, z_i = k \mid \theta)}{P(z_i = k \mid \boldsymbol{x}_i, \theta_t)}

    これは、事後確率P(zi=k∣xi,θt)P(z_i = k \mid \boldsymbol{x}_i, \theta_t)による期待値の形になっているので、イェンセンの不等式が利用できます。

    要点だけを言うと「期待値の対数」は「対数の期待値」以上になります。

    log⁡E[f]≥E[log⁡f]\log \mathbb{E[f]} \geq \mathbb{E}[\log f]

    つまり、上式の右辺は期待値の対数なので、対数の期待値以上になります。

    log⁡P(xi∣θ)≥ ∑k=1KP(zi=k∣xi,θt)log⁡P(xi,zi=k∣θ)P(zi=k∣xi,θt)\log P(\boldsymbol{x}_i \mid \theta) \geq \sum\limits_{k=1}^K P(z_i = k \mid \boldsymbol{x}_i, \theta_t) \log \frac{P(\boldsymbol{x}_i, z_i = k \mid \theta)}{P(z_i = k \mid \boldsymbol{x}_i, \theta_t)}

    さらに、log⁡AB=log⁡A−log⁡B\log \frac{A}{B} = \log A - \log Bの関係を使って不等式の右辺を書き直します。

    ∑k=1KP(zi=k∣xi,θt)log⁡P(xi,zi=k∣θ)−∑k=1KP(zi=k∣xi,θt)log⁡P(zi=k∣xi,θt)\begin{align*} &\sum\limits_{k=1}^K P(z_i =k \mid \boldsymbol{x}_i, \theta_t) \log P(\boldsymbol{x}_i, z_i = k \mid \theta) \\ &- \sum\limits_{k=1}^K P(z_i = k \mid \boldsymbol{x}_i, \theta_t) \log P(z_i = k \mid \boldsymbol{x}_i, \theta_t) \end{align*}

    これをすべてのデータポイントに計算して合計すると第1項は補助関数Q(θ∣θt)Q(\theta\mid\theta_t)になります。

    また、第2項は(マイナスを含めて)エントロピーになります。このエントロピーはパラメータθt\theta_tによって決まるので、H(θt)H(\theta_t)と表記することにします。

    このエントロピーは「事後確率の不確実性」に関係しますが、最大化の観点からは固定値となります。

    まとめると次の関係が成り立ちます。

    log⁡L(θ)≥Q(θ∣θt)+H(θt)\log L(\theta) \geq Q(\theta\mid\theta_t) + H(\theta_t)

    最大化ステップでのパラメータ更新前と更新後のデータ全体に対する対数尤度の差を比べます。その際、エントロピーは共通なので消えます。

    log⁡L(θt+1)−log⁡L(θt)≥Q(θt+1∣θt)−Q(θt∣θt)≥0\log L(\theta_{t+1}) - \log L(\theta_t) \geq Q(\theta_{t+1}\mid\theta_t) - Q(\theta_t\mid\theta_t) \geq 0

    このため、log⁡⁡L(θt+1)≥log⁡⁡L(θt)\log ⁡L(\theta_{t+1}) \geq \log⁡ L(\theta_t)が最大化ステップによって保証されます。よって、期待値ステップと最大化ステップの反復により対数尤度log⁡L(θ)\log L(\theta)は単調増加します。

    対数尤度には上限がある

    対数尤度の理論的な上限は、モデルが観測データを「完全に説明できた場合」に達する最大値です。ここで「完全に説明できた場合」とは、モデルがすべてのデータポイントの出現確率を正確に予測し、その確率密度が最大値を取る場合を指します。

    つまり、対数尤度は最大化ステップによって単調増加しますが、上限があるためいつかは収束条件が満たされます。よって、EMアルゴリズムは収束することが理論的に保証されています。

    ただし、収束する先が必ずしもグローバル最適解(真の最適値)であるとは限らず、局所最適解に陥る可能性があるので注意が必要です。

    次回予告

    次回は、GMMがどのようにクラスタリングを行うのかを解説します。また、パラメータの初期設定がどのように行われるのかにも触れます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ