メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㉞スペクトラル・クラスタリング(固有値分解)

    前回は、スペクトラル・クラスタリングに必要なラプラシアン行列を準備するところまで解説しました。

    今回は、このラプラシアン行列を固有値分解して、クラスタリングのための特徴量を抽出するところまでを紹介します。

    特に「固有値0をめぐる冒険」のセクションの解説に力を入れました。

    ただし、そこまで詳細を必要としない方は、飛ばしても全体的にスペクトラル・クラスタリングの概要が理解できるように配慮しました。

    ラプラシアン行列の固有値分解

    ラプラシアン行列は固有値分解できる

    ラプラシアン行列LLは正方行列(列数と行数が同じ)です。これは隣接行列WWがn×nn \times nあることから理解できます。また、対称行列でもあることは、ラプラシアン行列の生成方法からわかります。

    一般に、対称行列は固有値と固有ベクトルによって固有値分解できます。

    なお、固有値と固有ベクトルに関してはこちらで解説しています。また、固有値分解はこちらで解説しています。証明などが気になる方は参照してください。

    よって、ラプラシアン行列LLを以下のように固有値分解できます。

    L=QΛQ−1L = Q \Lambda Q^{-1}

    ここで、Λ\Lambda(大文字のラムダ)は、固有値を対角線上に並べた対角行列です。

    Λ=[λ10…00λ2…0⋮⋮⋱⋮00…λn]\Lambda = \begin{bmatrix} \lambda_1 & 0 & \ldots & 0 \\ 0 & \lambda_2 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots &\lambda_n \end{bmatrix}

    この固有値の集合λ1,λ2,…,λn\lambda_1, \lambda_2, \ldots, \lambda_nを固有値スペクトル(eigenvalue spectrum)と呼びます。

    スペクトラル・クラスタリング(spectral clustering)は、ラプラシアン行列の固有値分解を利用して特徴量を抽出し、その特徴量を使ってクラスタリングを行う手法です。その名前は、ラプラシアン行列の「固有値スペクトル」に基づいて処理を行うことから付けられています。

    また、行列QQは固有ベクトルを並べたのものです。ii番目の列ベクトルは、ii番目の固有値に対応しています。

    Q=[v1 v2… vn]Q = \begin{bmatrix} \boldsymbol{v}_1 & \boldsymbol{v}_2 & \ldots & \boldsymbol{v}_n \end{bmatrix}

    ここで、vi\boldsymbol{v}_iはii列目の列ベクトルであり、その成分を以下のように表記します。

    vi=[vi1vi2⋮vin]\boldsymbol{v}_i = \begin{bmatrix} v_{i1} \\ v_{i2} \\ \vdots \\ v_{in} \end{bmatrix}

    なお、固有値と固有ベクトルの関係は以下になります。

    Lvi=λiviL \boldsymbol{v}_i = \lambda_i \boldsymbol{v}_i

    これは固有ベクトルvi\boldsymbol{v}_iを行列LLで変換すると、vi\boldsymbol{v}_iがλi\lambda_i倍になるという意味です。つまり、固有ベクトルは、行列LLの変換における「特別な方向」を表します。また、その方向への変化の大きさが固有値です。

    次に、ラプラシアン行列と固有ベクトルの関係をもう少し深掘りしていきます。

    ラプラシアン行列と固有ベクトルの関係

    ラプラシアン行列に限らない話ですが、任意のスカラーccと固有ベクトルvi\boldsymbol{v}_iとの積(c vi)(\text{c}\,\boldsymbol{v}_i)も固有ベクトルになります。

    L(c vi)=c Lvi=c λivi=λi(c vi)L (\text{c}\,\boldsymbol{v}_i) = \text{c}\, L\boldsymbol{v}_i = \text{c}\, \lambda_i \boldsymbol{v}_i = \lambda_i (\text{c}\,\boldsymbol{v}_i)

    このため、固有ベクトルをいくらでも作ることができます。つまり、ある固有値に対する固有ベクトルは無数に存在します。そこで通常は、固有ベクトルの大きさ(ノルム)が1になるように正規化します。

    ∥vi∥=vi12+vi22+…+vin2=1\|\boldsymbol{v}_i\| = \sqrt{v_{i1}^2 + v_{i2}^2 + \ldots + v_{in}^2}= 1

    こうすると、固有ベクトルからスカラー倍の自由度が取り除かれるので、固有ベクトルが一意に決まります。また、固有ベクトルのスケールが統一されます。

    また、ラプラシアン行列LLは対称行列なので、 異なる固有ベクトルは必ず直交します。対称行列の固有値が直行することの証明はこちらにあります。

    つまり、異なる固有ベクトルの内積は0になります。正規化と合わせると、固有ベクトル間の内積を次のようにまとめられます。

    vi⋅vj=vi⊤vj={0(i≠j)1(i=j)\boldsymbol{v}_i \cdot \boldsymbol{v}_j = \boldsymbol{v}_i^\top \boldsymbol{v}_j = \begin{cases} 0 & (i \neq j) \\ 1 & (i = j) \end{cases}

    すると、行列QQとその対称行列Q⊤Q^\topに関して、次の関係が満たされます。

    QQ⊤=Q⊤Q=IQQ^\top = Q^\top Q = I

    これは、QQを転置すると、その逆行列が計算できるということです。

    Q⊤=Q−1Q^\top = Q^{-1}

    よって、行列QQは直交行列です。

    ラプラシアン行列LLは対称行列である。
    → 対称行列の異なる固有ベクトルは必ず直交する。
    → 直行する固有値ベクトルを集めた行列QQは直行行列である。

    以上より、固有値分解をL=QΛQ⊤L = Q \Lambda Q^\topと表現できます。

    L=QΛQ⊤=[v1 v2… vn][ λ10…00λ2…0⋮⋮⋱⋮00…λn][ v1⊤v2⊤⋮vn⊤]=λ1v1v1⊤+λ2v2v2⊤+…+λnvnvn⊤\begin{align*} L &= Q \Lambda Q^\top \\ &= \begin{bmatrix} \boldsymbol{v}_1 & \boldsymbol{v}_2 & \ldots & \boldsymbol{v}_n \end{bmatrix} \begin{bmatrix} \ \\[-7pt] \lambda_1 & 0 & \ldots & 0 \\[1ex] 0 & \lambda_2 & \ldots & 0 \\[1ex] \vdots & \vdots & \ddots & \vdots \\[1ex] 0 & 0 & \ldots &\lambda_n \\[1ex] \end{bmatrix} \begin{bmatrix} \ \\[-7pt] \boldsymbol{v}_1^\top \\[1ex] \boldsymbol{v}_2^\top \\[1ex] \vdots \\[1ex] \boldsymbol{v}_n^\top \\[1ex] \end{bmatrix} \\[10ex] &= \lambda_1 \boldsymbol{v}_1 \boldsymbol{v}_1^\top + \lambda_2 \boldsymbol{v}_2 \boldsymbol{v}_2^\top + \ldots + \lambda_n \boldsymbol{v}_n \boldsymbol{v}_n^\top \end{align*}

    この各項vivi⊤\boldsymbol{v}_i\boldsymbol{v}_i^\topは行列です。

    vivi⊤=[vi1vi2⋮vin][vi1vi2…vin]=[vi1vi1 vi1vi2… vi1vinvi2vi1 vi2vi2… vi2vin⋮⋮⋱⋮vinvin vinvi2… vinvin]\begin{align*} \boldsymbol{v}_i \boldsymbol{v}_i^\top &= \begin{bmatrix} v_{i1} \\[1ex] v_{i2} \\[1ex] \vdots \\[1ex] v_{in} \\[1ex] \end{bmatrix}\begin{bmatrix} v_{i1} & v_{i2} & \ldots & v_{in} \end{bmatrix} \\[7ex] &= \begin{bmatrix} v_{i1}v_{i1} & v_{i1}v_{i2} & \ldots & v_{i1}v_{in} \\[1ex] v_{i2}v_{i1} & v_{i2}v_{i2} & \ldots & v_{i2}v_{in} \\[1ex] \vdots & \vdots & \ddots & \vdots \\[1ex] v_{in}v_{in} & v_{in}v_{i2} & \ldots & v_{in}v_{in} \\[1ex] \end{bmatrix} \end{align*}

    これらの行列を固有値でスケールして組み合わせたのがラプラシアン行列LLです。よって、固有値と固有ベクトルはラプラシアン行列(グラフの構造)の特徴を表す上で重要です。

    この関係は後でまた登場します。

    次は、固有値が0になることに関して深掘りしますが、このセクションは飛ばしてもスペクトラル・クラスタリングの概要は理解できるように構成したので、飛ばしても大丈夫です。興味がある方はどうぞ。

    固有値0をめぐる冒険

    ラプラシアン行列において、固有値0となる固有ベクトルの数を知ると、グラフの連結に関する特徴がわかります。しかし、これを理解するにはいくつかのことを証明する必要があります。

    まずは、ラプラシアン行列の固有値は必ず0以上になることを証明します。

    固有値は必ず0以上になる

    あるベクトルx\boldsymbol{x}を使って次の2次式を計算をします。

    x⊤L x= x⊤(D−W) x= x⊤Dx−x⊤W x=∑i=1nDiixi2−∑i=1n∑j=1nWijxixj\begin{align*} \boldsymbol{x}^\top L \,\boldsymbol{x} &= \boldsymbol{x}^\top (D - W) \,\boldsymbol{x} \\ &= \boldsymbol{x}^\top D \boldsymbol{x} - \boldsymbol{x}^\top W \,\boldsymbol{x} \\ &= \sum\limits_{i=1}^n D_{ii} x_i^2 - \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} x_i x_j \end{align*}

    なお、WWの対角成分はゼロ(Wii=0W_{ii} = 0)なので、2行目の和はj≠ij \neq iとしても良いのですが、煩雑なのでそのままにしておきます。

    抽象的なので3x3の行列で計算してみます。

    [x1 x2 x3][D11000D22 000D33][x1x2x3]−[x1 x2 x3][W11W12W13W21W22W23W31W32W33][x1x2x3]=[x1 x2 x3][D11x1D22x2D33x3]−[x1 x2 x3][W11x1+W12x2+W13x3W21x1+W22x2+W23x3W31x1+W32x2+W33x3]=D11x12+D22x22+D33x32−(x1∑j=13W1jxj+x2∑j=13W2jxj+x3∑j=13W3jxj)=∑i=13Diixi2−∑i=13∑j=13 Wijxixj\begin{align*} &[x_1 \ x_2 \ x_3] \begin{bmatrix} D_{11} & 0 & 0 \\ 0 & D_{22} & 0 \\ 0 & 0 & D_{33} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} - [x_1 \ x_2 \ x_3] \begin{bmatrix} W_{11} & W_{12} & W_{13} \\ W_{21} & W_{22} & W_{23} \\ W_{31} & W_{32} & W_{33} \\ \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \\[4ex] &= [x_1 \ x_2 \ x_3] \begin{bmatrix} D_{11}x_1 \\ D_{22}x_2 \\ D_{33}x_3 \end{bmatrix} - [x_1 \ x_2 \ x_3] \begin{bmatrix} W_{11}x_1 + W_{12}x_2 + W_{13}x_3 \\ W_{21}x_1 + W_{22}x_2 + W_{23}x_3 \\ W_{31}x_1 + W_{32}x_2 + W_{33}x_3 \\ \end{bmatrix} \\[4ex] &= D_{11}x_1^2 + D_{22}x_2^2 + D_{33}x_3^2 \\ &\qquad - \left(x_1 \sum\limits_{j=1}^3 W_{1j}x_j + x_2 \sum\limits_{j=1}^3 W_{2j}x_j + x_3 \sum\limits_{j=1}^3 W_{3j}x_j\right) \\ &= \sum_{i=1}^3 D_{ii} x_i^2 - \sum\limits_{i=1}^3 \sum\limits_{j=1}^3  W_{ij} x_i x_j \end{align*}

    よって、上式の関係が確認できました。

    なお、DiiD_{ii}は、ノードiiに対するエッジの重みの総和でした。

    Dii=∑j=1nWijD_{ii} = \sum\limits_{j=1}^n W_{ij}

    これを使うと、上式は次のように書き換えられます。

    x⊤L x=∑i=1nDiixi2−∑i=1n∑j=1nWijxixj=∑i=1n∑j=1nWijxi2−∑i=1n∑j=1nWijxixj= ∑i=1n∑j=1nWij(xi2−xixj)\begin{align*} \boldsymbol{x}^\top L \,\boldsymbol{x} &= \sum\limits_{i=1}^n D_{ii} x_i^2 - \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} x_i x_j \\ &= \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} x_i^2 - \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} x_i x_j \\ &= \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_i^2 - x_i x_j\right) \end{align*}

    このように一つにまとめると、各ijij成分について考えることができます。

    また、類似度グラフは無向グラフなので、ラプラシアン行列は対称行列です。よって、上式でiiとjjを入れ替えると、次の関係があります。

    ∑i=1n∑j=1nWij(xi2−xixj)=∑j=1n∑i=1nWji(xj2−xjxi)=∑i=1n∑j=1nWij(xj2−xixj)\begin{align*} \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_i^2 - x_i x_j\right) &= \sum\limits_{j=1}^n \sum\limits_{i=1}^n W_{ji} \left( x_j^2 - x_j x_i\right)\\ &= \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_j^2 - x_i x_j\right) \end{align*}

    これを利用して、次のように書き換えます。

    x⊤L x=∑i=1n∑j=1nWij(xi2−xixj)= 12(∑i=1n∑j=1nWij(xi2−xixj)+∑i=1n∑j=1nWij(xj2−xixj))=12∑i=1n∑j=1nWij(xi2−2xixj+xj2)=12∑i=1n∑j=1nWij(xi−xj)2\begin{align*} \boldsymbol{x}^\top L \,\boldsymbol{x} &= \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_i^2 - x_i x_j\right) \\ &= \frac{1}{2} \left(\sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_i^2 - x_i x_j\right) + \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_j^2 - x_i x_j \right)\right)\\ &= \frac{1}{2} \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_i^2 - 2x_ix_j + x_j^2 \right) \\ &= \frac{1}{2} \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} \left( x_i - x_j\right)^2 \\ \end{align*}

    WijW_{ij}が0以上になるカーネルを使うのが条件なので、Wij(xi−xj)2W_{ij}(x_i - x_j)^2は常に0以上です。これによって、任意のベクトルx\boldsymbol{x}に対して、以下が成り立ちます。

    x⊤L x≥0\boldsymbol{x}^\top L \, \boldsymbol{x} \geq 0

    このような行列の性質を半正定値(Positive Semidefinite)と呼びます。任意のベクトルに対して成立するので、この性質は固有ベクトルにも当てはまります。

    vi⊤L vi= vi⊤λi vi =λi vi⊤vi= λi≥0\begin{align*} \boldsymbol{v}_i^\top L \, \boldsymbol{v}_i &= \boldsymbol{v}_i^\top \lambda_i \boldsymbol{v}_i  \\ &= \lambda_i \boldsymbol{v}_i^\top \boldsymbol{v}_i \\ &=  \lambda_i \geq 0 \end{align*}

    ここで固有値ベクトルが正規化されているものとして、vi⊤vi=∥vi∥2=1\boldsymbol{v}_i^\top \boldsymbol{v}_i = \|\boldsymbol{v}_i\|^2 = 1であることを利用しました。

    よって、ラプラシアン行列の固有値は常に0以上であることが証明されました。

    固有値0は必ず存在する

    次に、ラプラシアン行列では固有値0が必ず存在することを理解します。

    例えば、n×nn \times nのラプラシアン行列に対して、nn個の成分を持つ定数ベクトルを考えます。

    c=[ 11⋮1]\boldsymbol{c} = \begin{bmatrix}  \\[-7pt] 1 \\[1ex] 1 \\ \vdots \\[5pt] 1 \\[1ex] \end{bmatrix}

    正規化はしていませんが、正規化してもしなくとも以下の話は同じです。

    ラプラシアン行列LLをこの定数ベクトルc\boldsymbol{c}に適用すると0になります。

    Lc=(D−W) c=0 L \boldsymbol{c} = \left(D - W\right) \boldsymbol{c} = 0 

    これは、LcL \boldsymbol{c}のii行だけに注目して、次のように示すことができます。

    ∑j=1n(Dij−Wij)=(∑j=1nDij−∑j=1nWij)=(Dii−Dii)=0 \sum\limits_{j=1}^n \left(D_{ij} - W_{ij}\right) = \left(\sum\limits_{j=1}^n D_{ij} - \sum\limits_{j=1}^n W_{ij}\right) = \left(D_{ii} - D_{ii}\right) = 0 

    つまり、Lc=0⋅c=0L\boldsymbol{c} = 0\cdot\boldsymbol{c} = \boldsymbol{0}が成り立ちます。これはどんなラプラシアン行列でも成立します。

    仮に、固有値0に対応する固有ベクトルが1つだけしかない場合は、この定数ベクトルを正規化したものが、その固有ベクトルとなります。つまり、ラプラシアン行列には必ず固有値0が存在し、それに対応する固有ベクトルが少なくとも1つ存在します。

    しかし、ラプラシアン行列には固有値0に対応する固有ベクトルが複数存在するものもあります。つまり、固有値0に対応する固有ベクトルが2つ以上あることになります。この場合、その固有ベクトルは定数ベクトルにはなりません。

    両方とも定数ベクトルだと正規化すれば同じになってしまいます。

    以上より、ラプラシアン行列には固有値0に対応する固有ベクトルが必ず1つ以上あることになります。

    これについてもう少し考察します。

    固有値0が意味すること

    固有値0に対応する固有ベクトルをv\boldsymbol{v}とします。

    Lv=0L\boldsymbol{v} = 0

    v\boldsymbol{v}は、次のように定義しています。

    v=[v1v2⋮vn]\boldsymbol{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}

    よって、以下の2次式も0になります。

    0=v⊤Lv=12∑i=1n∑j=1nWij(vi−vj)20 = \boldsymbol{v}^\top L\boldsymbol{v} = \frac{1}{2} \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij}(v_i - v_j)^2

    この関係は固有値0の固有ベクトルならば必ず成り立つので、各ijijの組み合わせに対して少なくともWij=0W_{ij}=0か(vi−vj)2=0(v_i - v_j)^2=0のどちらかが成立する必要があります。

    もう少しイメージが湧くようにノード間の連結を考えます。

    固有ベクトルのii番目とjj番目の要素viv_iとvjv_jは、それぞれどこかのノードに対応した数値です。それぞれノードをノードiiとノードjjと呼ぶことにします。

    仮に、ノードiiとノードjjが結合しているとするとWij>0W_{ij} > 0となります。この場合、固有値0の固有ベクトルが上式を満たすためには、vi−vj=0v_i - v_j = 0となる必要があります。

    これらの関係は、固有値が0の固有ベクトルの成分に関して成り立ちます。よって、エッジで連結しているノードに関して、固有値が0の固有ベクトルの成分が等しくなる必要があります。

    もう少し具体的に、これまで簡単なグラフに当てはめてみます。

    画像

    ノード1とノード2はつながっているので、W12>0W_{12} > 0です。よって、固有値が0の固有ベクトルの成分ではv1=v2v_1 = v_2が成り立ちます。

    さらに、ノード2とノード3がつながっているので、W23>0W_{23} > 0です。よって、v2=v3v_2 = v_3も成立します。

    つまり、このグラフでは固有値が0の固有ベクトルは定数ベクトルです。正規化したら以下になります。

    v=13[111]\boldsymbol{v} = \frac{1}{\sqrt{3}} \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}

    また、このグラフは全体が連結しています。

    前回にも説明しましたが、連結とは「ノードが直接的か間接的につながっていること」です。あるノードからエッジをたどって到着できるノードは連結されていると考えます。

    一方で、全結合は全てのノードが直接的につながっているグラフです。

    つまり、グラフ全体が連結しているならば、固有値が0の固有ベクトルの成分が全てが等しくなります。これが固有ベクトルが定数ベクトルになるケースです。この場合は、固有値が0の固有ベクトルは一つだけ存在します。

    複数の連結成分がある場合

    グラフが2つに別れている場合、ラプラシアンは次のような構造を持ちます。

    L=[LG100LG2]L = \begin{bmatrix} L_{G_1} & 0 \\ 0 & L_{G_2} \end{bmatrix}

    ここで、LG1L_{G_1}とLG2L_{G_2}は、それぞれの連結成分(サブのグラフ)G1G_1とG2G_2のラプラシアン行列です。また、体格以外の部分は全て0です。これは、連結成分間にエッジがないためです。

    そして、各連結成分の行列LG1L_{G_1}とLG2L_{G_2}に対して、必ず固有値0の固有ベクトルが存在します。これは、行列LG1L_{G_1}とLG2L_{G_2}をそれぞれ別のグラフを代表していると考えると納得できます。

    簡単な例を挙げると、G1G_1​に属するノードは{1,2}\{1,2\}、G2G_2に属するノードは{3,4,5}\{3,4,5\}とします。すると、固有値0に対応する固有ベクトルは次のようになります。ここでは正規化していません。

    v1=[11000],v2=[00111]\boldsymbol{v}_1 = \begin{bmatrix} 1 \\ 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}, \quad \boldsymbol{v}_2 = \begin{bmatrix} 0 \\ 0 \\ 1 \\ 1 \\ 1 \end{bmatrix}

    これらの固有ベクトルはそれぞれの連結成分を反映しています。連結しているノードに関連する成分は定数ですが、連結していないノードに関しては0になります。また、互いに直交しています。

    また、これら2つの固有ベクトルを結合すると定数ベクトルになります。

    c=v1+v2=[11111]\boldsymbol{c} = \boldsymbol{v}_1 + \boldsymbol{v}_2 = \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}

    よって、定数ベクトルが常にLc=0L\boldsymbol{c} = 0を満たすこと関して矛盾していません。

    以上をまとめると、固有値0には次の意味があります。

    ラプラシアン行列LLの固有値が0になる固有ベクトルの数をzzとすると、そのグラフにはzz個の連結成分がある。

    なお、固有値0の多重度(重複度)はグラフの連結成分の数に等しいのは、グラフ理論におけるラプラシアン行列の基本的な性質として扱われます。

    つまり、この例のようにz=1z=1ならば、グラフ全体が連結しています。また、z=2z=2ならば、グラフは2つの連結成分に別れていることになります。

    そして、固有値が0の固有ベクトルが2つ以上(多重度が2以上)ある場合でも、固有ベクトルは直交する異なるベクトルです。

    実際に計算してみる

    上例のラプラシアン行列の固有値を求めてみます。

    import numpy as np
    
    # ラプラシアン行列
    L = np.array([
        [ 3, -3,  0],
        [-3,  5, -2],
        [ 0, -2,  2]
    ])
    
    # 固有値と固有ベクトルを計算
    eigenvalues, eigenvectors = np.linalg.eig(L)

    QQを一意に決めるために、通常は固有値は大きさによって順番に並べます。「大きい値から小さい値」か「小さい値から大きい値」のどちらかになります。

    実は、スペクトラル・クラスタリングでは固有値が小さいものが重要なので、ここでは固有値は小さい値から大きい値へと並べます。

    λ1≤λ2≤⋯≤λn\lambda_1 \leq \lambda_2 \leq \cdots \leq \lambda_n

    小さい方から順番に並べて表示します。

    # 固有値を昇順にソート
    sorted_indices = np.argsort(eigenvalues)
    
    # ソートした結果を使って固有値と固有ベクトルを並び替え
    eigenvalues_sorted = eigenvalues[sorted_indices]
    eigenvectors_sorted = eigenvectors[:, sorted_indices]
    
    print('sorted eigenvalues:')
    print(eigenvalues_sorted)
    print()
    print('sorted eigenvectors:')
    print(eigenvectors_sorted)
    画像

    まず、固有値は次のようになりました。

    λ1≈−6.43×10−17(ほぼゼロ)λ2≈2.35λ3≈7.65\begin{align*} \lambda_1 &\approx -6.43 \times 10^{-17} \quad (\text{ほぼゼロ}) \\ \lambda_2 &\approx 2.35 \\ \lambda_3 &\approx 7.65 \end{align*}

    理論的には、ラプラシアン行列の固有値は常に0以上になるのですが、コンピュータの数値計算には精度に限度があるので非常に小さな負の値になっています。これは0とみなします。

    行列QQはこうなっています。数値は約しています。

    Q=[0.58 −0.63 −0.520.58 −0.14 0.810.58 0.77 −0.29]Q = \begin{bmatrix} 0.58 & -0.63 & -0.52 \\ 0.58 & -0.14 & 0.81 \\ 0.58 & 0.77 & -0.29 \end{bmatrix}

    よって、固有ベクトルは以下になります。

    v1=[   0.58   0.58   0.58 ](定数ベクトル)v2=[−0.63−0.14   0.77 ]v3=[−0.52   0.81−0.29 ]\begin{align*} \mathbf{v}_1 &= \begin{bmatrix} \ \ \ 0.58 \\ \ \ \ 0.58 \\ \ \ \ 0.58 \ \end{bmatrix} \quad (\text{定数ベクトル}) \\ \mathbf{v}_2 &= \begin{bmatrix} -0.63 \\ -0.14 \\ \ \ \ 0.77 \ \end{bmatrix} \\ \mathbf{v}_3 &= \begin{bmatrix} -0.52 \\ \ \ \ 0.81 \\ -0.29 \ \end{bmatrix} \end{align*}

    グラフ全体が連結しているので、固有値0の固有ベクトルは一つだけであり、全ての成分が等しくなっていることが確認できました。また、固有ベクトルは正規化されているので、その値は1/3≈0.58\sqrt{1/3} \approx 0.58になっています。

    クラスタリングとの関係

    なお、クラスタリングを行う際には、固有値0に対応する固有ベクトルは、クラスタリングには不要です。グラフ全体の連結性を示すだけで、クラスタの細かい構造を反映しないからです。

    • 連結グラフの場合:固有値0に対応する固有ベクトルは、すべての成分が等しい定数ベクトルです。この情報は「グラフ全体が連結している」ことを示すだけで、クラスタリングの目的である「ノードをグループに分ける」ための詳細な情報は含まれていません。

    • 非連結グラフの場合:固有値0の多重度は連結成分の数に等しく、それぞれの固有ベクトルは各連結成分を表します。しかし、これも「どのノードがどの連結成分に属しているか」を示すだけで、各連結成分内の細かいクラスタリングには役立ちません。

    つまり、クラスタリングの目的においては、固有値0に対応する固有ベクトルは不要な情報です。

    クラスタリングを行う

    特徴量はどこから来るのか

    ラプラシアン行列は、固有値と固有ベクトルによって表現されました。

    L=QΛQ⊤=λ1v1v1⊤+λ2v2v2⊤+…+λnvnvn⊤L = Q \Lambda Q^\top = \lambda_1 \boldsymbol{v}_1 \boldsymbol{v}_1^\top + \lambda_2 \boldsymbol{v}_2 \boldsymbol{v}_2^\top + \ldots + \lambda_n \boldsymbol{v}_n \boldsymbol{v}_n^\top

    ここで、固有値が0になっている項は無くなります。つまり、固有値0に対応する固有ベクトルは、グラフの特徴を表現するラプラシアン行列にとって意味がありません。よって、スペクトラル・クラスタリングでは、固有値0の固有ベクトルの情報は特長量として使われません。

    そこで、クラスタリングのための特徴量は「正の固有値を持つ固有ベクトル」から獲得します。しかし、残ったすべての固有ベクトルを使うわけでもありません。

    優先される固有ベクトルを必要なだけ使います。

    スムーズな特徴量とは

    ベクトルx\boldsymbol{x}がある特定の特徴量を表すとします。

    x=[x1x2⋮xn]\boldsymbol{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}

    この各成分は各ノードにおける特定の特徴量を数値化したものです。

    特徴量ベクトルx\boldsymbol{x}のスムーズさを評価するために、ラプラシアン行列LLを使った2次式を考えます。

    x⊤Lx=12∑i=1n∑j=1nWij(xi−xj)2\boldsymbol{x}^\top L \boldsymbol{x} = \frac{1}{2} \sum\limits_{i=1}^n \sum\limits_{j=1}^n W_{ij} (x_i - x_j)^2

    これは「固有値0をめぐる冒険」のセクションで導かれたものと同じ式です。

    この2次式の値が小さいほど、特徴量ベクトルx\boldsymbol{x}がスムーズであることを意味します。スムーズさとは、ノード間の特徴量の差が小さく、値が滑らかに変化していることを指します。

    例えば、エッジの重みWijW_{ij}が大きいところでは、ノードiiとノードjjが強く関連していますが、(xi−xj)2(x_i - x_j)^2が小さいほどスムーズだと評価できます。

    逆に、(xi−xj)2(x_i - x_j)^2が大きいとノード間の特徴量の差が強調され、スムーズではなく、ノイズや過剰な変動を含む可能性があります。これは、クラスタリングの性能を低下させる可能性があります。

    では、よりスムーズな特徴量を得るためには、どの固有ベクトルからの情報を使うべきでしょうか。

    優先される固有ベクトルとは

    ラプラシアン行列の固有値分解をもう一度見直します。

    L=QΛQ⊤=λ1v1v1⊤+λ2v2v2⊤+…+λnvnvn⊤L = Q \Lambda Q^\top = \lambda_1 \boldsymbol{v}_1 \boldsymbol{v}_1^\top + \lambda_2 \boldsymbol{v}_2 \boldsymbol{v}_2^\top + \ldots + \lambda_n \boldsymbol{v}_n \boldsymbol{v}_n^\top

    この式が示しているのは、ラプラシアン行列に含まれるすべてのノードに関する情報は、固有ベクトルの組み合わせで表現されていることです。

    よって、クラスタリングに必要な情報が得るには、固有ベクトルから適切に特徴量を抽出することが必要です。しかし、すべての固有ベクトルを使用すると、グラフの規模が大きい場合に次元数が増大し、計算コストが膨大になります。

    ここで重要なのは、どの固有ベクトルをどれだけ使えば、クラスタリングに適した特徴量を得るのに十分なのかを決定することです。

    そこで任意の特徴量ベクトルx\boldsymbol{x}を固有ベクトルを基底として展開してみます。

    x=∑i=1ncivi\boldsymbol{x} = \sum\limits_{i=1}^n c_i \boldsymbol{v}_i

    ここで、ci=vi⊤xc_i = \boldsymbol{v}_i^\top \boldsymbol{x}は係数です。つまり、特徴量ベクトルx\boldsymbol{x}を各固有値ベクトルを軸とした空間で表現しています。

    これを使ってスムーズさを評価します。

    x⊤Lx=(∑i=1ncivi)⊤L(∑j=1ncjvj)=(∑i=1ncivi)⊤(∑j=1nλjcjvj)=∑i=1n∑j=1nλjcicjvi⊤vj=∑i=1nλici2\begin{align*} \boldsymbol{x}^\top L \boldsymbol{x} &= \left(\sum\limits_{i=1}^n c_i \boldsymbol{v}_i\right)^\top L \left(\sum\limits_{j=1}^n c_j \boldsymbol{v}_j\right) \\ &= \left(\sum\limits_{i=1}^n c_i \boldsymbol{v}_i\right)^\top \left( \sum\limits_{j=1}^n \lambda_j c_j \boldsymbol{v}_j\right) \\ &= \sum\limits_{i=1}^n \sum\limits_{j=1}^n \lambda_j c_i c_j \boldsymbol{v}_i^\top \boldsymbol{v}_j \\ &= \sum\limits_{i=1}^n \lambda_i c_i^2 \end{align*}

    これにより、固有値が大きい成分が二次形式において支配的になり、ノード間の局所的な違いが強調されることを意味します。つまり、固有値が大きい固有ベクトルを特徴量に含めるとスムーズさが失われる可能性が高くなります。

    したがって、スペクトラル・クラスタリングでは、小さい固有値に対応する固有ベクトルを優先的に使用して特徴量を抽出し、ノード間の関係性を適切に反映したクラスタリングを実現します。

    特徴量ベクトルを作る

    最終的にスペクトラル・クラスタリングでは、k-meansクラスタリングを使います。これによって、クラスタ数kkを指定することができます。

    固有値と対応する固有ベクトルを次のように想定します。

    0=λ1≤λ2≤⋯≤λn,v1, v2,⋯ , vn0 = \lambda_1 \leq \lambda_2 \leq \cdots \leq \lambda_n, \quad \boldsymbol{v}_1, \boldsymbol{v}_2, \cdots, \boldsymbol{v}_n

    固有値が0となる固有ベクトルは必ず1つは存在します。そこで、固有値0に対応する全ての固有ベクトルを除外します。

    例えば、λ1\lambda_1とλ2\lambda_2が0だったら、固有ベクトルv1\boldsymbol{v}_1とv2\boldsymbol{v}_2は除外します。そして、残った固有ベクトルの中で、固有値が小さい方からkk個の固有ベクトルv3, v4,⋯ , vk+2\boldsymbol{v}_3, \boldsymbol{v}_4, \cdots, \boldsymbol{v}_{k+2}を選択します。

    スペクトラルクラスタリングでは、ノードをkk個のクラスタに分割することが目的であり、kk個の独立した(直行した)特徴があれば十分です。また、次元数をkk個に制限することで次元削減となり、大きく複雑なグラフに対して計算コストを抑えられます。

    選択した固有ベクトルを列ベクトルとしてまとめ、以下のような特徴量行列を作成します。

    特徴量行列=[v3 v4… vn]=[v3,1v4,1…vk+2,1v3,2v4,2…vk+2,2⋮⋮⋱⋮v3,nv4,n…vk+2,n]\text{特徴量行列} = \begin{bmatrix} \boldsymbol{v}_3 & \boldsymbol{v}_4 & \ldots & \boldsymbol{v}_n \end{bmatrix} = \begin{bmatrix} v_{3,1} & v_{4,1} & \ldots & v_{k+2,1} \\ v_{3,2} & v_{4,2} & \ldots & v_{k+2,2} \\ \vdots & \vdots & \ddots & \vdots \\ v_{3,n} & v_{4,n} & \ldots & v_{k+2,n} \end{bmatrix}

    この行列の各行が、それぞれのノードに対応する新しい特徴量ベクトルを表します。この特徴量は、ノード間の関係を低次元(kk次元)で示し、類似性の計算が効率的に行えるようになります。

    こうして得られた特徴量ベクトルは、固有値が小さい成分を利用して構築されており、グラフ上のスムーズな変動を捉えるため、ノード間で特徴量が似た値を持つように設計されています。これによって、グラフ全体の構造が反映されつつ、ノイズや過剰な変動が抑制されます。これがクラスタリングの精度が向上に寄与します。

    最後に、この特徴量行列をk-meansクラスタリングに入力することで、ノードを kk個のクラスタに分割できます。

    問題が生じるケース

    なお、スペクトラル・クラスタリングでは指定されたクラスタ数よりも使える固有ベクトルが少ないとクラスタリングがうまくいかない可能性があります。

    例えば、グラフに連結成分が多すぎる場合には、固有値が0の固有ベクトルが増え、正の固有値を持つ固有ベクトルが指定されたクラスタ数kkよりも少なくなることがあります。この場合、クラスタ数に対応する十分な次元を確保できず、クラスタリングが失敗する可能性があります。

    このような場合は、最適なクラスタ数kkを見つけるために、エルボー法やシルエット係数を活用すると成功するかもしれません。

    また、グラフ構造を簡素化するために、不要なエッジやノードを削減する前処理を行うことが有効な場合もあります。これはノードの連結の閾値などを見直したり、孤立したノードを除外したりします。

    これらの方法でも改善が難しい場合には、他のクラスタリング手法を試すことを検討する必要があるでしょう。

    次回予告

    次回は、scikit-learn の SpectralClustering で実験を行います。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ