メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㊱ガウス混合モデル(その1)

    前回は、スペクトラル・クラスタリングを使った実験を行いました。今回は、ガウス混合モデル(Gaussian Mixture Model、GMM)を紹介します。

    GMMは、複数のガウス分布を組み合わせてデータの分布をモデル化する手法です。この手法は、統計的な観点からデータの構造を理解し、クラスタリングや異常検知といったタスクに適用できます。

    例えば、以前の記事で取り上げた隠れマルコフモデル(Hidden Markov Model、HMM)では、音声認識の分野でGMMと組み合わせたハイブリッドモデルがよく使用されていました。

    GMMの特長の一つは、比較的少ないデータからでもその有用性を発揮する点です。ディープラーニングのように大量のデータを必要とする手法と比べて、GMMはガウス分布の組み合わせによってデータを効率的にモデリングできます。

    そのため、小規模データを扱うプロジェクトではディープラーニングよりも有用なこともあります。scikit-learnでもサポートされています。

    ガウス分布のおさらい

    ガウス分布はよく知られていますが、ここでは簡単におさらいをしつつ、ガウス混合モデルへの動機づけを行います。

    ガウス分布の形と式

    ガウス分布(正規分布) は、非常によく使われる確率分布です。統計学だけでなく、物理学や経済学、心理学など多様な領域で用いられます。

    ドイツの偉大な数学者カール・フリードリヒ・ガウス(Carl Friedrich Gauss)にちなんで名づけられました。

    参考:カール・フリードリヒ・ガウス

    ガウス分布では、データが平均値を中心に左右対称に分布し、中心付近が最も高い頻度を持つ「釣鐘型(ベル型)」の曲線で表現されます。中心から離れるほど0に近づき裾すそが薄くなります。

    画像
    標準正規分布

    ガウス分布の確率密度関数は、次のように表されます。

    P(x)=12πσ2exp⁡(−(x−μ)22σ2)P(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)

    • μ\muが平均

    • σ2\sigma^2が分散(σ\sigmaは標準偏差)

    なお、平均が0で、分散が1の場合は標準正規分布と呼びます。

    ガウス分布と中心極限定理

    ガウス分布が広く利用される理由の一つに、中心極限定理が挙げられます。この定理は、たくさんの独立した確率変数を足し合わせると、その和はガウス分布に近づくというものです。

    つまり、元々の要因の分布に関係なくガウス分布に近づくということです。

    例えば、サイコロを複数回振る場合を考えます。

    • 1個のサイコロを振ると、出る目は1から6までのいずれかです。また、それぞれの目がでる確率は1/6です。この分布は一様分布であり、ガウス分布とは全く異なる形をしています。

    • 2個のサイコロを振り、それらの出た目の平均を計算すると、その値は1から6までの間の値を取ります。これを繰り返すと、その平均値は3.5に集中した分布を描くようになります。このとき、分布の形状は一様分布から離れ、徐々に山型の形に近づいていきます。

    • さらにサイコロの数を増やし、それぞれの目の平均値を計算すると、分布はますます滑らかな山型になり、最終的にはガウス分布に非常によく似た形になります。

    このような現象が、中心極限定理が意味することです。元の分布が一様分布であっても、独立したランダムな値を多数足し合わせると、その結果はガウス分布に近づくことを示しています。

    以下は、平均するサイコロの数を1から徐々に増やして、その(離散)確率分布を表示したものです。各ケースで10万回の試行を行っています。

    画像

    サイコロの平均値の分布が、サイコロの数を増やすにつれてガウス分布に近づいていく様子を(直感的にですが)確認できます。

    なお、上図は以下のプログラムを実行した結果です。

    import numpy as np
    import matplotlib.pyplot as plt
    from collections import Counter
    
    # サイコロの平均をサンプリング
    def sample_dice_means(num_dice, num_trials):
        # サイコロの出目をシミュレーション(1~6の一様分布)
        dice_rolls = np.random.randint(1, 7, size=(num_trials, num_dice))
    
        # 各試行の平均値を計算
        averages = dice_rolls.mean(axis=1)
    
        # 平均値の出現回数をカウント
        counts = Counter(averages)
    
        # 各平均値の離散確率を計算
        unique_values = sorted(counts.keys())  # 平均値を昇順に並べる
        probabilities = [counts[value] / num_trials for value in unique_values]
        return unique_values, probabilities
    
    
    # シミュレーション設定
    num_trials = 100000  # 試行回数
    num_dice_list = [1, 2, 3, 4, 5, 6]  # サイコロの数
    
    # 離散確率を表示する
    fig, axes = plt.subplots(nrows=3, ncols=2, figsize=(10, 8))
    axes = axes.flatten()  # 配列をフラットに
    
    for i, num_dice in enumerate(num_dice_list):
        unique_values, probabilities = sample_dice_means(num_dice, num_trials)
    
        ax = axes[i]
        ax.bar(unique_values, probabilities, width=0.1, alpha=0.7, 
               color="skyblue", label=f'# Dice: {num_dice}')
    
        ax.set_title(f'Dice={num_dice}')
        ax.set_xlabel(f"Mean")
        ax.set_ylabel("Probability")
        ax.set_ylim(0, 0.15)
    
    plt.tight_layout()
    plt.show()

    繰り返しますが、中心極限定理が成り立つためには、各試行が独立である必要があります。サイコロの例で言えば、1回目のサイコロの出目が2回目以降の出目に影響を与えないということです。

    もし、1回目に1が出たら2回目は必ず6が出るような仕掛けがされているサイコロであれば、中心極限定理は成り立ちません。

    代わりに、イカサマが成り立ちます

    また、独立な要因の数が十分に大きく、試行の回数も上例のように十分な大きさが必要です。サイコロの例だと、平均を計算するためのサイコロの数とサイコロを振る回数をある程度まで大きくする必要があります。

    中心極限定理をまとめると「複数の独立したランダムな要因が合わさった結果を考えると、それぞれの要因がどのような分布に従っていたかに関係なく、その合わさった全体の分布がガウス分布に近づく」となります。

    よって、多くの自然現象や測定誤差、サンプリングの過程など(ランダムな値が重ね合ったもの)に対してガウス分布で近似することがよく行われます。このため様々な現象のモデリングでガウス分布が使用されます。

    ガウス分布の利便性とリスク

    また、ガウス分布は数学的に扱いやすいという大きな利便性があります。

    平均と分散の2つのパラメータだけで完全に定義でき、微分や積分といった操作が簡単です。さらに、解析的な解を得られることも多く、多変量(多次元)への拡張も行列を使えば比較的容易です。これにより、統計解析や機械学習など幅広い分野で活用されています。

    また、中心極限定理により、元のデータ分布がガウス分布に従っていなくても、多くのランダムな要因が組み合わさると結果がガウス分布に近づくことが保証されており、実務での適用範囲を広げています。

    だからこそよく使われるガウス分布ですが、何でもかんでもガウス分布を仮定すると落とし穴にハマるかもしれません。

    以下の場合には注意が必要です。

    • 外れ値が多いデータ: ガウス分布では外れ値を過小評価する傾向があります。

    • 非対称なデータ: ガウス分布は左右が非対称なデータには適していません。

    • 裾すその厚い分布: 中央から離れた値が発生する確率がガウス分布より高い。

    例えば、投資リターンの計算においてガウス分布を仮定すると、過去のデータに基づく平均と分散だけを考慮し、極端な値(特に大きな損失)の発生確率や分布の非対称性を見逃す可能性があります。このような仮定は、リスクを過小評価し、不適切な意思決定につながる恐れがあります。

    ガウス分布は便利で広く利用されていますが、すべてのデータに適用できるわけではありません。データの性質に応じて適切な分布を選択し、必要に応じてガウス分布以外の手法や確率分布(例えば裾の厚い分布や非対称な分布)を採用することが重要です。

    その際には、平均と分散だけでなく他の情報を組み入れていることになります。よって、そうなる根拠が必要です。さもないと、単なる思い込みだけでガウス分布以外の確率分布を使うことになり、余計なバイアスを持ち込むことになります。

    さらに、観測データが2つ以上の異なる母集団に由来する場合、一つのガウス分布を仮定すると、その特性を正確に表現することができません。例えば、データが異なるクラスターに分かれている場合、一つの山型では全体の分布をうまく捉えることが難しいです。

    そこで登場するのが、複数のガウス分布を組み合わせて柔軟にモデリングできるガウス混合モデル(GMM)です。

    ガウス混合モデルとは

    ガウス混合モデルの概念

    ガウス混合モデル(GMM)は、複数のガウス分布を組み合わせてデータの分布をモデル化する手法です。単一のガウス分布では表現しきれない複雑なデータ分布を、複数のガウス分布を重ね合わせることで柔軟に表現します。

    データの分布に2つの山(ピーク)がある場合を考えてみましょう。

    例えば、動物の体重データがあるとします。オスとメスで体重の平均と分散が異なる場合、それぞれに対応する2つのピークが現れるでしょう。このようなデータは、2つのガウス分布を重ね合わせることでうまく近似できるかもしれません。

    画像
    オスとメスの人口が等しいとして、2つの確率分布を合成したイメージです。

    合成された分布が「元の半分」に見えるのは、2つの分布を単純に足すと面積が2になってしまうため、それを回避するために重み付けを行っているからです。この際、オスとメスの人口が等しいとしているので、両方とも重みは0.5になります。

    この調整により、合成分布の面積が1(100%)になり、正しい確率密度関数として成立します。

    また、この体重モデルを用いれば、新しい体重データとこの分布を照らし合わせて、どちらの中心に近いかによってある程度は性別を推測できます。つまり、観測値(例:体重)からその原因(例:性別)を予測するわけです。

    ただし、2つの分布が重なる中央部分では、その判断が難しいです。この場合は、体重だけでなく、もっと多くの特徴量による区別が必要となります。これについては後のセクションで解説します。

    この状況における仮定をまとめると以下になります。

    1. データが隠れた要因(潜在変数)に由来している
      例:体重データは、性別(オスかメス)という要因に影響されている。

    2. それぞれの要因に対応する分布をガウス分布で近似できる
      例:オスとメスのそれぞれの体重分布はガウス分布に従うと仮定。

    3. 全体のデータ分布は、それらのガウス分布の重ね合わせとして表現される
      例:オスの分布 + メスの分布 = 全体の体重分布。

    もちろん、オスかメスかは観測できる情報です。ただし、ここでは新しいデータにその情報が記録されていないという前提で、予測することを考えています。

    もっと複雑なデータでは、実際に直接観測できない潜在変数を扱います。例えば、音声データから単語のシーケンスを予測する場合があります。以前に紹介した隠れマルコフモデルで、GMMが使われたのもこれが理由です。

    ここでは体重という一つの特徴量(1次元データ)を例にしましたが、実際には体長や年齢といった複数の特徴量を考慮することで、より精度の高い分類が可能になります。

    次に見るように、ガウス混合モデルは多次元データにも対応できます。

    多次元のガウス混合モデル

    動物の例で話を続けます。この動物の性別をより正確に区別するには、体重だけでなく体長も考慮する必要があるかもしれません。この場合、確率密度関数は2つの変数(体重、体長)に基づく2次元の分布となります。

    画像
    オスとメスそれぞれの体重と体長の確率分布が2変数のガウス分布で近似されている様子
    (実際のデータではなく、例えばの話です)

    オスとメスは別々の2変数(体重、体長)のガウス分布に従っていると仮定すると、全体の分布は、次の確率密度関数で表現されます

    P(x)=wオス N(x∣μオス,Σオス)+ wメス N(x∣μメス,Σメス)\begin{align*} \\[-7pt] P(\boldsymbol{x}) = w^\text{オス}\, \mathcal{N}(\boldsymbol{x} | \boldsymbol{\mu}^\text{オス}, \Sigma^\text{オス}) + w^\text{メス}\, \mathcal{N}(\boldsymbol{x} | \boldsymbol{\mu}^\text{メス}, \Sigma^\text{メス}) \end{align*}

    • x\boldsymbol{x}は、2次元の特徴量ベクトル(体重、体長)

    • μオス\boldsymbol{\mu}^\text{オス}とμメス\boldsymbol{\mu}^\text{メス}は、それぞれオスとメスの平均体重と平均身長。例えば、

      • μオス=(70,180)\boldsymbol{\mu}^\text{オス} = (70, 180):平均体重70kg、平均体長180cm(オス)

      • μメス=(55,165)\boldsymbol{\mu}^\text{メス} = (55, 165):平均体重55kg、平均体長165cm(メス)

    • Σオス\Sigma^\text{オス}とΣメス\Sigma^\text{メス}は、それぞれオスとメスの共分散行列で、体重と体長のばらつきや相関を表現します。

    共分散行列については、後でより一般的な式で解説します。

    混合係数(wオスw^\text{オス}とwメスw^\text{メス})は、全体の分布における各成分(メスとオス)が寄与する割合を示します。

    wオス=オスのデータポイント数全データポイント数wメス=メスのデータポイント数全データポイント数\begin{align*} \\[-7pt] w^\text{オス} &= \frac{\text{オスのデータポイント数}}{全データポイント数} \\[4ex] w^\text{メス} &= \frac{\text{メスのデータポイント数}}{全データポイント数} \end{align*}

    混合係数は、以下の条件を満たします。

    • wオス≥0w^\text{オス} \geq 0およびwメス≥0w^\text{メス} \geq 0

    • wオス+wメス=1w^\text{オス} + w^\text{メス} = 1

    例えば、以下のようになります。

    • オスとメスの個体数が同じなら、wオス=0.5w^\text{オス}=0.5、wメス=0.5w^\text{メス}=0.5

    • オスが60%でメスが40%なら、wオス=0.6w^\text{オス}=0.6、wメス=0.4w^\text{メス}=0.4

    以上より、この動物全体の分布は2つの2変量ガウス分布の組み合わせによってモデル化されました。このモデルを用いると、あるデータポイントx\boldsymbol{x}(体重、体長)に対する確率密度がわかります。

    このような分布の理解は、クラス分類(例:オスとメスの判定)やデータ生成といった応用につながります。ただし、この段階では全体の分布のモデリングに焦点を当てています。

    なお、ここでは体重と体長の2次元でモデル化しましたが、さらに多くの特徴量(例えば、年齢や種別)を考慮することで、モデルの精度を高めることができるでしょう。その場合、次元数が増加しても、同様にガウス混合モデルを用いることが可能です。

    ガウス混合モデルの定式化

    ガウス混合モデル(GMM)をより一般的に数式で表現すると以下になります。

    P(x)=∑k=1Kw(k)N(x∣μ(k),Σ(k))P(\boldsymbol{x}) = \sum\limits_{k=1}^K w^{(k)} \mathcal{N}(\boldsymbol{x} | \boldsymbol{\mu}^{(k)}, \Sigma^{(k)})

    • x\boldsymbol{x}:データポイント(nn次元ベクトル)例:(体重、体長)

    • KK:混合成分の数(ガウス分布の数)例:オスとメスの2つ

    • N\mathcal{N}:ガウス分布の確率密度関数

    • w(k)w^{(k)}:kk番目のガウス成分(分布)の混合係数(重み):∑k=1Kw(k)=1\sum_{k=1}^K w^{(k)} = 1

    • μ(k)\boldsymbol{\mu}^{(k)}:kk番目のガウス成分の平均ベクトル(例:体重と体長の平均)

    • Σ(k)\Sigma^{(k)}:kk番目のガウス成分の共分散行列(ベクトルの要素間の分散や相関)

    この式は、先ほどの2次元の特徴量(体重と体長)と2クラス(オスとメス)から、nn次元の特徴量とKKクラスへと自然に拡張したものです。次元数が増えると、各特徴量要素の分布だけでなく、それらの相関関係も増えます。

    なお、共分散行列Σ(k) \Sigma^{(k)}は、ガウス混合モデルで重要な役割を果たします。この行列は次の情報を含んでいます:

    • 分散: 各特徴量(例:体重や体長)のばらつき。

    • 相関: 特徴量同士の関連性(例:体重が大きいと体長も大きい傾向)。

    ガウス混合モデルを理解するには、この共分散行列の意味を把握する必要があります。この点について、次に詳しく説明します。

    多変量ガウス分布について

    一般的にガウス混合モデルは、複数の多変量ガウス分布を混合係数を使って重ね合わせたものです。また、多変量ガウス分布は複数の特徴量(ベクトル)によって決まる確率分布であり、平均ベクトルμ(k)\boldsymbol{\mu}^{(k)}と共分散行列Σ(k)\Sigma^{(k)}をパラメータとして必要とします。

    これまでは、GMMの概要を理解することにフォーカスしていたので、多変量ガウス分布の定義の詳細には触れてきませんでした。そこで、このセクションでは共分散行列Σ(k) \Sigma^{(k)}の導出過程を解説し、多変量ガウス分布の定義を紹介します。

    数式を覚える必要はありませんが、共分散行列の意味やどこで使われているかのイメージが湧くようになることが狙いです。

    機械学習のツールを使う側としては、大体の仕組みがわかれば良いです。あとは、scikit-learnがやってくれます。

    共分散行列の導出

    クラスkkのデータポイントがmm個あり、各データポイントはnn次元の特徴量ベクトルを持つとします。

    クラスkのデータポイント1 = x1(k)={x11(k),x12(k),…,x1n(k)} クラスkのデータポイント2 = x2(k)={x21(k),x22(k),…,x2n(k)}   ⋮クラスkのデータポイントm= xm(k)={xm1(k),xm2(k),…,xmn(k)} \begin{align*} \text{クラスkのデータポイント1}\ &=\ \boldsymbol{x}^{(k)}_1 = \{ x^{(k)}_{11}, x^{(k)}_{12}, \ldots, x^{(k)}_{1n} \}  \\ \text{クラスkのデータポイント2}\ &=\ \boldsymbol{x}^{(k)}_2 = \{ x^{(k)}_{21}, x^{(k)}_{22}, \ldots, x^{(k)}_{2n} \}  \\ &\ \ \vdots \\ \text{クラスkのデータポイントm} &=\ \boldsymbol{x}^{(k)}_m = \{ x^{(k)}_{m1}, x^{(k)}_{m2}, \ldots, x^{(k)}_{mn} \}  \end{align*}

    クラスkkのすべてのデータポイントをまとめて、次のm×nm \times n行列で表すことにします。

    X(k)= [x1(k)x2(k)⋮xm(k)]=[x11(k)x12(k)⋯x1n(k)x21(k)x22(k)⋯x2n(k)⋮⋮⋱⋮xm1(k)xm2(k)⋯xmn(k)]X^{(k)} = \begin{bmatrix} \boldsymbol{x}^{(k)}_1 \\[2ex] \boldsymbol{x}^{(k)}_2 \\[1ex] \vdots \\[1ex] \boldsymbol{x}^{(k)}_m \\[1ex] \end{bmatrix} = \begin{bmatrix} x^{(k)}_{11} & x^{(k)}_{12} & \cdots & x^{(k)}_{1n} \\[2ex] x^{(k)}_{21} & x^{(k)}_{22} & \cdots & x^{(k)}_{2n} \\[1ex] \vdots & \vdots & \ddots & \vdots \\[1ex] x^{(k)}_{m1} & x^{(k)}_{m2} & \cdots & x^{(k)}_{mn} \\[1ex] \end{bmatrix}

    つまり、各行は1つのデータポイントを表します。また、各列はある特徴量(要素)をすべてのデータポイントから集めたものになります。これをベクトルとして次のように定義します。

    vi(k)=[x1i(k)x2i(k)⋮xmi(k)]\boldsymbol{v}_i^{(k)} = \begin{bmatrix} x^{(k)}_{1i} \\[2ex] x^{(k)}_{2i} \\[2ex] \vdots \\[2ex] x^{(k)}_{mi}\\[1ex] \end{bmatrix}

    つまり、データ行列X(k)X^{(k)}は、見方を変えると特徴量ベクトル(列ベクトル)を横に並べたものと捉えられます。

    X(k)=[v1(k) v2(k)… vn(k)]X^{(k)} = \begin{bmatrix} \boldsymbol{v}^{(k)}_1 & \boldsymbol{v}^{(k)}_2 & \dots & \boldsymbol{v}^{(k)}_n \end{bmatrix}

    例えば、このベクトルがある動物の体重のデータであれば、ここからその特徴量に対するガウス分布(平均と分散)が推定されます。また、2つの特徴量va(k)\boldsymbol{v}_a^{(k)}とvb(k)\boldsymbol{v}_b^{(k)}の相関を計算することもできます。aaとbbは列の位置のインデックスです。

    まず、平均ベクトルμ(k)=(μ1(k),μ2(k),…,μn(k))\boldsymbol{\mu}^{(k)} = (\mu^{(k)}_1, \mu^{(k)}_2, \ldots, \mu^{(k)}_n)を求めます。このベクトルの各要素は、各特徴量の平均であり、次のように計算できます。

    μj(k)=1m∑i=1mxij(k)(j=1…n)\mu^{(k)}_j = \frac{1}{m} \sum\limits_{i=1}^m x^{(k)}_{ij} \quad (j = 1 \ldots n)

    2つの特徴量間の共分散は次のように計算できます。

    Cov(va(k),vb(k))=1m−1∑i=1m(via(k)−μa(k))(vib(k)−μb(k))\text{Cov}(\boldsymbol{v}^{(k)}_a, \boldsymbol{v}^{(k)}_b) = \frac{1}{m-1} \sum\limits_{i=1}^m \left(\boldsymbol{v}^{(k)}_{ia} - \mu^{(k)}_a \right)\left(\boldsymbol{v}^{(k)}_{ib} - \mu^{(k)}_b \right)

    via(k)−μa(k)\boldsymbol{v}^{(k)}_{ia} - \mu^{(k)}_aは、ベクトルvia(k)\boldsymbol{v}^{(k)}_{ia}の各要素から同じ平均値(スカラー)μa(k) \mu^{(k)}_aを引いているという意味です。vib(k)−μb(k)\boldsymbol{v}^{(k)}_{ib} - \mu^{(k)}_bも同様です。

    また、分母のm−1m-1は、不偏分散を計算するために用いられ、サンプルデータに基づく推定におけるバイアスを除く役割を果たします。

    https://ja.wikipedia.org/wiki/分散_(確率論)#標本分散・不偏標本分散

    共分散は、2つの特徴量の相関を示します。体重と体長のように正の相関があったり、空気の乾燥度と降雨量のように負の相関があったりします。関連のない特徴量間では共分散は0に近づきます。

    なお、a=ba = bならば、この式は特徴量aaの分散になります。

    Var(va(k))= Cov(va(k),va(k))= 1m−1∑i=1m(via(k)−μa(k))2\text{Var}(\boldsymbol{v}^{(k)}_a) = \text{Cov}(\boldsymbol{v}^{(k)}_a, \boldsymbol{v}^{(k)}_a) = \frac{1}{m-1} \sum\limits_{i=1}^m \left(\boldsymbol{v}^{(k)}_{ia} - \mu^{(k)}_a \right)^2

    これらの計算結果を行列形式でまとめると、次の共分散行列が得られます。

    Σ(k)=[Var(v1(k))Cov(v1(k),v2(k))⋯ Cov(v1(k),vn(k))Cov(v2(k),v1(k))Var(v2(k))⋯ Cov(v2(k),vn(k))⋮⋮⋱⋮Cov(vn(k),v1(k))Cov(vn(k),v2(k))⋯ Var(vn(k))]\Sigma^{(k)} = \begin{bmatrix}\\[-7pt] \text{Var}(\boldsymbol{v}^{(k)}_1) & \text{Cov}(\boldsymbol{v}^{(k)}_1, \boldsymbol{v}^{(k)}_2) & \cdots &  \text{Cov}(\boldsymbol{v}^{(k)}_1, \boldsymbol{v}^{(k)}_n) \\[2ex] \text{Cov}(\boldsymbol{v}^{(k)}_2, \boldsymbol{v}^{(k)}_1) & \text{Var}(\boldsymbol{v}^{(k)}_2) & \cdots &  \text{Cov}(\boldsymbol{v}^{(k)}_2, \boldsymbol{v}^{(k)}_n) \\[1ex] \vdots & \vdots & \ddots & \vdots \\[2ex] \text{Cov}(\boldsymbol{v}^{(k)}_n, \boldsymbol{v}^{(k)}_1) & \text{Cov}(\boldsymbol{v}^{(k)}_n, \boldsymbol{v}^{(k)}_2) & \cdots &  \text{Var}(\boldsymbol{v}^{(k)}_n) \\[1ex] \end{bmatrix}

    • 対角成分Var(va)\text{Var}(\boldsymbol{v}_a):特徴量の各要素の分散(要素独自の広がり)

    • 非対角成分Cov(va,vb)\text{Cov}(\boldsymbol{v}_a, \boldsymbol{v}_b):特徴量の要素間の共分散(相互の関係)

    共分散行列はn×nn \times nです。つまり、特徴量の数の2乗の要素があります。これは全ての特徴量の組み合わせの関係を計算しているからです。また、共分散の計算式では特徴量ベクトルの順番は関係ないので、共分散行列は必ず対称行列になります。

    なお、共分散行列は次のようにも計算できます。簡単のためクラス(k)^{(k)}の添字を省略します。

    • データ行列 XX を用意(行がデータポイント、列が特徴量)

    • XXから平均ベクトルμ\boldsymbol{\mu}を引いて、各特徴量を中心化した行列をX~\tilde{X}とする

    • 共分散行列を計算:Σ=1m−1X~⊤X~\Sigma = \dfrac{1}{m-1} \tilde{X}^\top \tilde{X}

    ⊤^\topは転置の意味です。転置された行列(n×mn \times m)では、各特徴量が行ベクトルになっています。これと元の行列(m×nm \times n)との積を計算しているのでn×nn \times n行列になります。

    また、この行列はすべての中心化された特徴量の組み合わせの内積を計算しており、前述の計算方法と同じ結果になります。

    いずれの計算方法でも同じ結果になります。でも、そんな計算を手でする必要はありません。プログラムに任せて計算してもらいましょう。

    NumPyの np.cov を使えば、次のように共分散行列を計算できます。

    import numpy as np
    
    # サンプルデータ (行がサンプル、列が特徴量)
    data = np.array([
        [2.1, 3.5], 
        [3.3, 4.4], 
        [4.1, 5.9]])
    
    # 共分散行列の計算
    cov_matrix = np.cov(data, rowvar=False)
    
    print(cov_matrix)
    画像

    rowvar = False は、各行がデータポイント(各列が特徴量)であるという意味です。デフォルトでは、rowvar = True になっており、各行が特徴量(各列がデータポイント)です。

    なお、共分散行列は主成分分析(PCA)でも使われます。

    このセクションでは、共分散行列がどのように計算されるかを解説しました。この行列は、特徴量の広がりや相関を表し、GMMで各クラスの分布をモデル化するために不可欠な要素です。

    多変量のガウス分布の式

    覚える必要はないですが、多変量のガウス分布(Multivariate Gaussian Distribution)の確率密度関数は次のように表現されます。

    P(x)=1(2π)n/2∣Σ∣1/2exp⁡(−12(x−μ)⊤Σ−1(x−μ))P(\boldsymbol{x}) = \frac{1}{(2\pi)^{n/2} |\Sigma|^{1/2}} \exp\left(-\frac{1}{2} (\boldsymbol{x} - \boldsymbol{\mu})^\top \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}) \right)

    • Σ\Sigma:共分散行列。分布の形状(広がりと方向)を決定します。

    • Σ−1\Sigma^{-1}:共分散行列の逆行列。

    • ∣Σ∣|\Sigma|:共分散行列の行列式。

    多くのライブラリ(NumPyやSciPyなど)が、確率密度の計算を自動で行ってくれます。重要なのは、式の細部ではなく「共分散行列がデータ分布の形状を決定する」という点を理解することです。

    多変量ガウス分布の式は、1次元(1変数)のガウス分布の式を高次元に拡張したものです。1次元のガウス分布は次の式で表されます。

    P(x)=12πσ2exp⁡(−(x−μ)22σ2)P(x) = \dfrac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\dfrac{(x - \mu)^2}{2\sigma^2}\right)

    式の構造がなんとなく似ていることに気づくかもしれません。実際、多変量ガウス分布の式でn=1n=1とすれば、同じになります。

    ここでの平均μ\muと分散σ2\sigma^2が、多変量ガウス分布の確率密度関数では、平均ベクトルμ\boldsymbol{\mu}と共分散行列Σ\Sigmaに相当します。

    この直感があれば十分です。

    個人の見解です。もちろん人によります

    2次元の場合、多変量ガウス分布の形状を楕円形の等高線で視覚化できます。

    画像

    この楕円の形や広がりは、共分散行列によって決定されます。

    • 楕円の広がり(縦軸や横軸の長さ)は各特徴量の分散を表します。

    • 楕円の方向は特徴量間の相関を反映します。

    黄色い部分が確率密度が高くなっており、山があると想像するとわかりやすいでしょう。山の裾野すそのの横軸の広がりは特徴量1の分散で、縦軸の広がりは特徴量2の分散を表します。特徴量1の分散の方が大きいのがわかります。

    また、裾野すそのの向きが相関を示しており、2つの変数には正の相関があるのがわかります。特徴量1が大きくなると特徴量2も大きくなる傾向があることになります。

    例えば、特徴量1が「体重」、特徴量2が「体長」であれば、体重の方が体長よりも分散が大きく、また体重が重いほど体長が長いという関係が理解できます。

    なお、以下のコードを使って上図を生成しました。

    import numpy as np
    import matplotlib.pyplot as plt
    from scipy.stats import multivariate_normal
    
    # 平均ベクトル
    mean = [0, 0]
    
    # 共分散行列
    cov = [[5, 1], 
           [1, 2]] 
    
    # グリッドの生成
    x, y = np.mgrid[-5:5:.1, -4:4:.1]
    pos = np.dstack((x, y))
    
    # 多変量ガウス分布の確率密度関数
    rv = multivariate_normal(mean, cov)
    pdf = rv.pdf(pos)
    
    # 等高線プロット
    plt.contourf(x, y, pdf, cmap="viridis")
    plt.title("2D Multivariate Gaussian Distribution")
    plt.xlabel("Feature 1")
    plt.ylabel("Feature 2")
    plt.colorbar(label="Density")
    plt.axis('equal')
    plt.tight_layout()
    plt.show()

    まとめると、多変量ガウス分布は、共分散行列を通じてデータ分布の形状(広がりや方向)を決定します。この式自体を覚える必要はありませんが、その役割を理解することで、データ分布のモデル化をする際に役立つこともあるでしょう。

    またこれを組み合わせてモデル化するGMMは、各要因がガウス分布で近似できる限りは有効な手法となります。

    次回予告

    さて、これまでにGMMの定式化を行いましたが、GMMで使われるパラメータはどのように決定されるのでしょうか。

    次回は、期待値最大化(EM)アルゴリズムを解説します。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ