メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㊶t-SNE

    前回は、PCA(主成分分析)の紹介をしました。実際に簡単なデータの次元削減を行いました。しかし、高次元データを2次元に変換して視覚化する際に、データの構造をうまく捉えられないケースもありました。

    今回は、t-SNE(t-distributed Stochastic Neighbor Embedding)を紹介します。t-SNEは、高次元データの局所構造を保ちつつ、2次元や3次元に変換することで、より直感的なデータの可視化を可能にする手法です。

    英語では「ティー・スニー」のように発音されることが多いです。人によっては「ティー・ズニー」と聞こえる場合もあります。また、「ティ・エス・エヌ・イー」と呼ぶ人もいます。

    日本語訳としては「t分布型確率的近傍埋め込み法」となりますが。長いので、この記事では、t-SNEという表記を使います。

    この記事では、t-SNEの仕組みを、実例を交えて解説していきます。

    まずは、PCAではうまく捉えられなかったデータの構造が、t-SNEではどのように見えるのか、確認していきましょう。

    t-SNEとPCAの比較:Iris

    簡単な実験を行います。Python環境は、前回と同じ設定を想定しています。

    Irisデータセット

    まずは、前回と同様にIris(アヤメ)のデータセットを使います。

    from sklearn.datasets import load_iris
    
    # Irisデータセットをロード
    iris = load_iris()
    
    X = iris.data  # 特徴量
    y = iris.target  # ラベル

    花の特徴を4つの数値で表現しています。このデータを使って、PCAとt-SNEを比較してみます。

    PCAとt-SNEで次元削減する

    Irisは4次元データですが、これを2次元に削減します。

    from sklearn.decomposition import PCA
    from sklearn.manifold import TSNE
    
    
    # PCAによる次元削減
    pca = PCA(n_components=2)
    X_pca = pca.fit_transform(X)
    
    # t-SNEによる次元削減
    tsne = TSNE(n_components=2, perplexity=30, random_state=42)
    X_tsne = tsne.fit_transform(X)

    t-SNEには「perplexity=30, random_state=42」といったパラメータがありますが、それ以外はPCAと使い方は同じです。

    PCAとt-SNEの結果を比較する

    では結果を表示します。プロットの日本語化にmatplotlib_fontjaを使っています。

    from matplotlib import pyplot as plt
    import matplotlib_fontja
    
    # クラスの名前
    target_names = ['セトーサ', 'バーシカラー', 'バージニカ']
    
    # 結果の可視化
    fig, axes = plt.subplots(1, 2, figsize=(12, 5))
    
    # PCAのプロット
    for i, label in zip(range(len(target_names)), target_names):
        axes[0].scatter(X_pca[y == i, 0], X_pca[y == i, 1], label=label)
    axes[0].set_title("PCAによる可視化")
    axes[0].legend()
    
    # t-SNEのプロット
    for i, label in zip(range(len(target_names)), target_names):
        axes[1].scatter(X_tsne[y == i, 0], X_tsne[y == i, 1], label=label)
    axes[1].set_title("t-SNEによる可視化")
    axes[1].legend()
    
    plt.show()
    画像

    t-SNEは、PCAよりも異なる花のグループを分離できています。特にPCAでは、バーシカラーとバージニカの境界が広く重なっているのに対し、t-SNEではおおかた分離されています。

    t-SNEとPCAの比較:Digits

    Digitsデータセット

    これも前回に使ったDigitsデータセットです。0から9までの数字が 64次元データで表現されたものです。

    from sklearn.datasets import load_digits
    
    # Digitsデータセットの読み込み(8x8ピクセルの手書き数字)
    digits = load_digits()
    X = digits.data  # 特徴量(64次元)
    y = digits.target  # ラベル(数字)

    64次元データを8x8画像の形にすると数字としてプロットできます。最初の10個を表示してみます。

    import matplotlib.pyplot as plt
    
    # 最初の10サンプルを描画
    fig, axes = plt.subplots(1, 10, figsize=(6, 5))
    for i in range(10):
        axes[i].imshow(X[i].reshape(8, 8), cmap='gray')
        axes[i].axis('off')
    
    plt.show()
    画像

    荒い画像ですが、数字の特徴はわかります。

    PCAとt-SNEで次元削減する

    先ほどと全く同じ方法で64次元から2次元へと次元削減を行います。

    from sklearn.decomposition import PCA
    from sklearn.manifold import TSNE
    
    
    # PCAによる次元削減
    pca = PCA(n_components=2)
    X_pca = pca.fit_transform(X)
    
    # t-SNEによる次元削減
    tsne = TSNE(n_components=2, perplexity=30, random_state=42)
    X_tsne = tsne.fit_transform(X)

    PCAとt-SNEの結果を比較する

    では結果を表示します。

    import matplotlib.pyplot as plt
    import matplotlib_fontja
    
    
    # 結果の可視化
    fig, axes = plt.subplots(1, 2, figsize=(15, 7))
    
    # PCAのプロット
    sc_pca = axes[0].scatter(X_pca[:, 0], X_pca[:, 1],
        c=y, cmap='tab10', alpha=0.8, s=30, edgecolors='k', linewidth=0.3)
    
    axes[0].set_title('PCAによる手書き数字データセットの次元削減')
    axes[0].legend(*sc_pca.legend_elements(), title='数字')
    axes[0].axis('equal')
    
    # t-SNEのプロット
    sc_tsne = axes[1].scatter(X_tsne[:, 0], X_tsne[:, 1],
        c=y, cmap='tab10', alpha=0.8, s=30, edgecolors='k', linewidth=0.3)
    
    axes[1].set_title('t-SNEによる手書き数字データセットの次元削減')
    axes[1].legend(*sc_tsne.legend_elements(), title='数字')
    axes[1].axis('equal')
    
    plt.show()
    画像

    PCAとt-SNEの結果が大きく異なっています。PCAでもある程度はグループ分けされていますが、8などは他のグループとかなり重なっています。一方で、t-SNEによる結果を見ると10個のグループがかなりはっきりと分離されています。

    では、なぜt-SNEはこれほど良い結果を出せるのでしょうか。t-SNEの仕組みを見ていきましょう。

    PCAとt-SNEのアプローチの違い

    まずは、直感的にPCAとt-SNEのアプローチの違いを考えてみます。

    PCAは大局的な分散方向に注目

    PCAは、データの分散を最大化する方向(軸)に投影することで、情報をなるべく失わずに次元を削減します。この軸は、元のデータを線形に組み合わせたもので主成分と呼ばれます。分散が小さい方向の主成分を切り捨てることで次元を削減するという仕組みです。

    しかし、PCAの変換は元の特徴量変数の線形な組み合わせであるため、変数間に非線形な関係があってもうまく捉えることができません。例えば、データが円状に分布している場合、PCAは「直線的に最も広がる方向」を選ぶだけなので、本来の円の構造を適切に保持することができません。

    t-SNEは局所的な類似性に注目

    一方、t-SNEは「データポイント間の近さ」という局所的な類似性に注目します。

    これは、DBSCANが密度に着目して局所的な類似性を辿ることで、複雑なクラスタリングに対応できたのと似ています。ただし、t-SNEのアプローチには確率的な要素が入ってきます。

    t-SNEは、各データポイントのその周囲のデータポイントとの関係を確率を使って表します。より具体的にいうと、高次元での各データポイントを中心とした確率分布を考え、確率が高い位置にあるデータポイントを「近い」とみなします。

    そして「高次元で構築された確率的な関係」を「低次元における確率の関係として再構築する」ことで次元削減を行うというのが基本的なアイデアです。

    その結果、高次元空間で「近い」と判断されたデータポイント同士は、低次元空間でもできるだけ近く配置されます。逆に、高次元空間で遠く離れたデータポイント同士は、低次元空間でも適切な距離を保つように配置されます。

    このように、PCAとt-SNEは次元削減のアプローチが根本的に異なり、t-SNEは特に非線形な構造を持つデータの可視化に優れています。

    高次元空間で類似度を計算する

    「近さ」を確率で表現する

    前述したように、t-SNEでは、高次元空間において各データポイント間の「近さ」(類似度)を確率を使って表現します。

    この確率を求めるために、各データポイントxi\boldsymbol{x}_iを中心とするガウス分布を考えます。ガウス分布の「近い点ほど高い確率、遠い点ほど低い確率を持つ」 という性質は、データの局所的な関係を表現するのに適しています。

    さらに、ガウス分布は 平均と分散だけで決まり、データ特有のバイアス(クラスタ構造の仮定など)を必要としません。そのため、データポイント間の距離情報のみを使って計算ができるという利点があります。

    多次元空間なので、データポイントxi\boldsymbol{x}_iはベクトルになりますが、以下のように距離に対してガウス分布を仮定するので、平均と分散だけで分布が決まります。

    この分布に従って、別のデータポイントxj\boldsymbol{x}_jとxi\boldsymbol{x}_iの「近さ」は、次のように計算されます。

    exp⁡(−∥xj−xi∥22σi2)\exp \left(- \frac{\| \boldsymbol{x}_j - \boldsymbol{x}_i\|^2}{2\sigma^2_i} \right)

    データポイントxi\boldsymbol{x}_iとxj\boldsymbol{x}_jが近ければ近いほど、この値は大きくなります。

    なお、この式は正規化されていないので、厳密には確率ではありません。
    12πσi2\frac{1}{\sqrt{2\pi\sigma^2_i}}をつけて正規化することもできますが、この後すぐに消えるので初めからつけていません。

    なお、分散の計算の仕方については後述します。

    次に、以下のように正規化することで、「データセット内でxj\boldsymbol{x}_jが相対的にxi\boldsymbol{x}_iにどれだけ近いのか」を評価することがきます。

    Pj∣i=exp⁡(−∥xj−xi ∥22σi2)∑k≠iexp⁡(−∥xk−xi ∥22σi2)P_{j \mid i} = \frac{\exp\left(- \frac{\| \boldsymbol{x}_j - \boldsymbol{x}_i \|^2}{2\sigma^2_i} \right)}{\sum\limits_{k \neq i} \exp \left( - \frac{\| \boldsymbol{x}_k - \boldsymbol{x}_i \|^2}{2\sigma^2_i} \right)}

    分母の総和が∑k≠i\sum\limits_{k \neq i}となっているのは、xi\boldsymbol{x}_i​自身との比較を除外するためです。この正規化により、xi\boldsymbol{x}_iを中心とした、すべてのデータポイントの確率の総和が 1 になり、確率として解釈できるようになります。

    ∑j≠iPj∣i=1\sum\limits_{j \neq i} P_{j|i} = 1

    この確率Pj∣iP_{j \mid i}は、ガウス分布を用いてデータポイント間の「近さ」を測定した上で求められており、Pj∣iP_{j \mid i}が高くなるほどxi\boldsymbol{x}_iから見てxjx_jがより「近い」と評価されます。

    ただし、Pj∣iP_{j \mid i}は、ガウス分布そのものではありません。あくまで、ガウス分布の性質を利用して類似度を測定し、最終的に正規化して確率として表現しています。

    非対称な「近さ」から類似度へ

    しかし、Pj∣iP_{j \mid i}は非対称です。

    これは「データポイントxi\boldsymbol{x}_iを基準としたガウス分布」と「データポイントxj\boldsymbol{x}_jを基準としたガウス分布」の分散が必ずしも一致しないからです。

    よって、一般にPj∣i≠Pi∣jP_{j \mid i} \neq P_{i \mid j}なので、類似度(距離)の尺度として扱えるようにするために、以下のように対称化します。

    pij=Pj∣i+Pi∣j2Np_{ij} = \frac{P_{j \mid i} + P_{i \mid j}}{2N}

    NNはデータポイントの総数です。2N2Nで割っているのはすべての類似度の和が1になるように正規化するためです。

    ∑i=1N∑j=1Npij= ∑i=1N∑j=1N Pj∣i+Pi∣j2N=12N (∑i=1N∑j=1NPj∣i+∑i=1N∑j=1NPi∣j)=12N (∑i=1N1+∑j=1N1)= 1\begin{aligned} \sum\limits_{i=1}^N \sum\limits_{j=1}^N p_{ij} &= \sum\limits_{i=1}^N \sum\limits_{j=1}^N \frac{P_{j \mid i} + P_{i \mid j}}{2N} \\ &= \frac{1}{2N}  \left(\sum\limits_{i=1}^N \sum\limits_{j=1}^N P_{j \mid i} + \sum\limits_{i=1}^N \sum\limits_{j=1}^N P_{i \mid j}\right) \\ &= \frac{1}{2N}  \left(\sum\limits_{i=1}^N 1 + \sum\limits_{j=1}^N 1\right) \\[3ex] &= \ 1 \end{aligned}

    ここでは、∑jPj∣i=1\sum\limits_{j} P_{j \mid i} = 1と∑iPi∣j=1\sum\limits_i P_{i \mid j} = 1であることを利用しました。

    パープレキシティで近傍を定義

    ここまで、類似度の計算について説明してきました。各データポイントxi\boldsymbol{x}_iを中心とするガウス分布を用いて類似度を求めましたが、その分散についてはまだ解説していません。

    この分散がどのように決まるのかが、t-SNEの重要なポイントのひとつです。

    なぜなら、分散σi2σ_i^2​(あるいは、標準偏差σiσ_i​)を調整が可能なパラメータとして扱うことで、データの局所構造を適切に捉えることができるからです。

    そのため、σi2σ_i^2​は、単純にデータポイント間の距離から決まるのではなく、Perplexity(パープレキシティ)を使って調整されます。

    パープレキシティは、情報理論において確率分布の不確実性を測る指標です。自然言語処理(NLP)における言語モデルの評価にも使用されます。

    ただし、t-SNEでは "perplexity" をユーザーが指定できるパラメータとして使っています。

    参考:パープレキシティとは

    t-SNEにおけるパープレキシティは、各データポイントが「おおよそ何個ぐらいのデータポイントと近傍の関係を持つべきか」を制御するためのパラメータです。

    直感的には、k近傍法(k-NN)の「k」に似た概念です。

    パープレキシティによって、t-SNEがデータセット内の局所構造をどの程度重視するかを決定します。

    • 低いパープレキシティ:狭い範囲(局所的な構造)に注目。クラスタが細かい

    • 高いパープレキシティ:広い範囲(大域的な構造)を考慮。クラスタが大きい

    この効果は実際に実験した方が理解しやすいです。

    異なるパープレキシティで実験

    scikit-learnのデフォルトでは、perplexity=30 です。明示的に設定するなら以下のようになります。

    from sklearn.manifold import TSNE
    
    tsne = TSNE(n_components=2, perplexity=30, random_state=42)

    scikit-learnの公式ドキュメントでは、一般的に5~50の範囲を推奨しています。ただし、データセットによって適切な値を選ぶ必要があります。特に、疎なデータでは、perplexityを高めに設定しないと、データが適切にグループ化されにくくなる可能性があります。

    試しに異なるパープレキシティによる結果を比べてみましょう。次のように、5と30の二つのパープレキシティで次元削減します。

    from sklearn.decomposition import PCA
    from sklearn.manifold import TSNE
    
    # t-SNEによる次元削減
    perplexities = [5, 30]
    X_tsnes = []
    
    for perplexity in perplexities:
        tsne = TSNE(n_components=2, perplexity=perplexity, random_state=42)
        X_tsne = tsne.fit_transform(X)
        X_tsnes.append(X_tsne)

    結果を表示します。

    import matplotlib.pyplot as plt
    import matplotlib_fontja
    
    
    # 結果の可視化
    n_perplexities = len(perplexities)
    fig, axes = plt.subplots(1, n_perplexities, figsize=(15, 7))
    
    # t-SNEのプロット
    for i, (X_tsne, perplexity) in enumerate(zip(X_tsnes, perplexities)):
        ax = axes[i]
        sc_tsne = ax.scatter(X_tsne[:, 0], X_tsne[:, 1],
            c=y, cmap='tab10', alpha=0.8, s=30, edgecolors='k', linewidth=0.3)
        ax.set_title(f'perplexity={perplexity}')
        ax.legend(*sc_tsne.legend_elements(), title='数字')
        ax.axis('equal')
    
    plt.show()
    画像

    パープレキシティが5(左図)の場合、全体としては10個のグループに分かれていますが、各グループ内に小さなクラスタが生じています。これは、t-SNEが各データポイントのごく近傍のみを重視するためで、同じグループでもより細かい分離が発生しやすくなっているからです。

    一方で、パープレキシティが30(右図)の場合、より広範囲のデータポイントを考慮するため、クラスタ内のサブクラスタは少なくなり、全体的にスムーズなグループ分布が得られます。

    つまり、適切にパープレキシティを指定することが重要です。異なる値による結果をプロットして比較し、最適な設定を見つけるのが望ましいでしょう。

    なお、指定したパープレキシティは、エントロピーを通して、分散のパラメータσi\sigma_iを調節するのに使われます。

    エントロピーによる分散の調節

    指定したパープレキシティを使ってσi\sigma_iを次のように決定します。

    (1) 情報エントロピーの定義:確率Pj∣iP_{j \mid i}のエントロピーは、以下で定義されます。

    Hi=−∑j Pj∣i log⁡⁡Pj∣iH_i = − \sum\limits_j \, P_{j \mid i} \,\log ⁡P_{j \mid i}

    繰り返しになりますが、Pj∣iP_{j \mid i}は次のように計算される条件付き確率です。

    Pj∣i=exp⁡(−∥xj−xi ∥22σi2)∑k≠iexp⁡(−∥xk−xi ∥22σi2)P_{j \mid i} = \frac{\exp\left(- \frac{\| \boldsymbol{x}_j - \boldsymbol{x}_i \|^2}{2\sigma^2_i} \right)}{\sum\limits_{k \neq i} \exp \left( - \frac{\| \boldsymbol{x}_k - \boldsymbol{x}_i \|^2}{2\sigma^2_i} \right)}

    エントロピーHiH_iは確率分布の不確実性(拡がり)を表現しています。つまり、データポイントxi\boldsymbol{x}_iの影響範囲(どれくらいの範囲の点が近いと見なすか)を表します。

    (2) パープレキシティとエントロピーの関係:パープレキシティとエントロピーの関係は次のように定義されます。

    perplexity=eHi\text{perplexity} = e^{H_i}

    つまり、パープレキシティによって、エントロピーHiH_iの値が決まります。なお、この関係はこちらでも解説しています。

    エントロピーが高いと、データポイントxi\boldsymbol{x}_iは広い範囲に含まれるデータポイントを「近い」と見なします。逆にエントロピーが低いと、より狭い範囲だけが「近い」とみなされます。

    よって、パープレキシティを指定することは、t-SNEがデータセット内の局所構造をどの程度重視するかをコントロールすることになります。

    そして、そのために、指定されたパープレキシティ(perplexityの値)とエントロピーHiH_iの関係が満たされるようにガウス分布の分散を調節する必要があります。

    (3) バイナリサーチで分散を調整:パープレキシティとエントロピーHiH_iの関係が満たされるように、バイナリサーチ(二分探索)によってσi\sigma_iを調整します。

    1. σi\sigma_iを適当に初期化

    2. HiH_iを計算する

    3. パープレキシティとエントロピーの関係がより満たされるようにσi\sigma_iを調整

      • HiH_iが大きすぎるなら、σi\sigma_iを小さくする(分布を狭くする)

      • HiH_iが小さすぎるなら、σi\sigma_iを大きくする(分布を広くする)

    4. 収束するまで繰り返す

    この方法により、各データポイントxi\boldsymbol{x}_iごとにσi\sigma_iを決定します。また、結果としてすべてのデータポイントの確率分布に関してエントロピーが一定になります。

    だとしたら、初めからエントロピーを指定するようにしても良さそうです。なぜパープレキシティを指定するのでしょうか。

    パープレキシティで指定の理由

    こちらでも解説しましたが、パープレキシティは不確実性をより直感的に表現できるため、パラメータとしてエントロピーよりも扱いやすい です。

    例えば、KK個の結果をもつランダムな事象x1,x2,…,xKx_1, x_2, \ldots, x_Kが等確率で生じるとします。この場合のエントロピーは次のように計算できます。

    H=−∑i=1KP(xi)log⁡P(xi)=−∑i=1K1Klog⁡1K=−log⁡1K= log⁡K\begin{aligned} H &= - \sum\limits_{i=1}^K P( x_i ) \log P(x_i) \\ &= - \sum\limits_{i=1}^K \frac{1}{K} \log \frac{1}{K} \\ &= - \log \frac{1}{K} \\[3ex] &= \ \log K \end{aligned}

    パープレキシティは以下になります。

    perplexity=eH=elog⁡K=K\text{perplexity} = e^{H} = e^{\log K} = K

    eeは自然対数です。

    ローレンス・ヴァン・デル・マーテンによるオリジナルのt-SNEの論文「Visualizing Data using t-SNE」では、パープレキシティを2H2^Hと定義していますが、その場合はエントロピーの計算などで使われる対数もベース2(log⁡2\log_2)に揃える必要があります。

    パープレキシティをeHe^Hした場合は、エントロピーもベースeeを使うのでこれまでの説明と整合性があります。

    いずれの場合も、上記の等確率でランダムな事象の場合、perplexity=K\text{perplexity} = Kとなります。

    なお、scikit-learnの実装を見ると、以下の記述が見られます。
    desired_entropy = math.log(desired_perplexity)

    Pythonのmath.logは自然対数なので、ここでのパープレキシティは自然対数eeによるものが想定されていることになります。

    ただし、パラメータとしての perplexity はユーザーが指定する数字にすぎないので、細かいことは気にしてもしょうがないです。以下に解説するように近傍の点の数に影響を与えるものと理解するだけで十分です。

    この記事では自然対数eeで統一して解説します。

    例えば、公平なコインでは「表」「裏」という事象(K=2K=2)が等確率で生じるので、パープレキシティ2 になります。また、6 面サイコロ(K=6K=6)のパープレキシティは 6 です。

    しかし「パープレキシティが 2 になるようなエントロピーはいくつか」と考えるのは直感的ではありません。

    また、1つの事象しか起こらない場合、エントロピーは 0 であり、パープレキシティは 1 になります。パープレキシティの方が直感的に理解しやすいです。

    ただし、ガウス分布では、分散によってエントロピーやパープレキシティが変化します。そこで、前述したバイナリサーチを使ってσi\sigma_iを自動的に調節します。

    これによって、データが密な領域ではσi\sigma_iが小さく、データが疎な領域ではσi\sigma_iが大きく設定されます。つまり、t-SNEはデータ密度を考慮した上で、各データポイントの近傍に含まれるデータの数を増減させます。

    このように、perplexity は局所的な近傍点の数を制御するパラメータであり、対数スケールのエントロピーを指定するよりも直感的です。

    ただし、scikit-learnのt-SNE実装では、perplexityは直接的に近傍点の数を指定するものではありません。近傍の点の数に影響を与えるものです。

    なお、k-NNと比較すると、k-NNは単純に「距離が最も近い k 個のデータポイントを選ぶだけ」です。よって、k番目に近いデータポイントが遠くにあったとしても強制的に選ばれてしまいます。

    これに対して、t-SNE はデータ密度に応じて「近傍の定義そのもの」を変化させるという違いがあります。また、σi\sigma_iと比べて遠くにあるデータポイントの確率は急激に減少するので除外されやすくなります。

    類似度を低次元空間に変換する

    ここまでの議論では、高次元空間において近傍や類似度が定義される仕組みを見てきました。t-SNEの特徴は、この類似度をできるだけ維持しながら、低次元空間に「変換」することです。特に、視覚化のために2次元や3次元への変換を行います。

    直感的に考えると、高次元空間でガウス分布を利用して類似度を測定したのだから、低次元空間でもガウス分布を使えばよさそうです。しかし、t-SNEは、低次元空間ではガウス分布ではなく t分布 を使います。

    t-SNEの t はここから来ています。

    t分布を使う理由について

    t-SNEが使うのは「自由度1のt分布」であり、コーシー分布とも呼ばれます。コーシー分布の確率密度関数は次の形をしています。

    Q(x)=1π(1+x2)Q(x) = \frac{1}{\pi(1 + x^2)}

    まずは、コーシー分布の性質を視覚的に理解するために、正規分布を比較します。

    import numpy as np
    import matplotlib.pyplot as plt
    import matplotlib_fontja
    from scipy.stats import cauchy, norm
    
    # x 軸の範囲
    x = np.linspace(-10, 10, 1000)
    
    # コーシー分布(自由度1のt分布)
    cauchy_pdf = cauchy.pdf(x)
    
    # 正規分布(平均0、標準偏差1)
    normal_pdf1 = norm.pdf(x, loc=0, scale=1)
    
    # 正規分布(平均0、標準偏差2)
    normal_pdf2 = norm.pdf(x, loc=0, scale=2)
    
    # グラフ描画
    plt.figure(figsize=(8, 5))
    plt.plot(x, cauchy_pdf, label="コーシー分布 (t=1)", linewidth=2)
    plt.plot(x, normal_pdf1, label="ガウス分布 (μ=0, σ=1)", 
             linestyle="dashed", linewidth=1)
    plt.plot(x, normal_pdf2, label="ガウス分布 (μ=0, σ=2)", 
             linestyle="dashed", linewidth=1)
    plt.xlim(-10, 10)
    plt.ylim(0, 0.5)
    plt.xlabel("x")
    plt.ylabel("確率密度")
    plt.title("コーシー分布と正規分布の比較")
    plt.legend()
    plt.grid()
    
    # グラフを表示
    plt.show()
    

    下図を見てください。

    画像

    コーシー分布は、ガウス分布と形が似ており、釣り鐘状で左右対称になっています。つまり、コーシー分布は、局所的な「近い」関係を強調する(高い確率を与える)ことができます。

    一方で、ガウス分布と比較して、コーシー分布の裾野が広くなっています。これは平均値からある程度離れても確率密度の減り具合が緩やかになっているからです。よって、ガウス分布と比較すると、コーシー分布は極端な値をより頻繁に生む分布です。

    もちろん、ガウス分布の分散をより大きくして幅を増やすことはできますが、標準偏差を超えると確率は急速に0に近づきます。よって、極端な値は生まれにくく平均値の周りにより確率が集中しています。

    では、なぜガウス分布ではなく、コーシー分布を低次元空間で使うのでしょうか。

    それは、高次元空間で低い確率(遠く)のデータポイントは、低次元空間におけるコーシー分布で同等の確率にマッピングする際により遠くに配置する必要があるからです。

    つまり、高次元空間において離れた位置にあるデータポイントは、低次元空間ではより遠くに配置されます。また、近いデータポイント同士は近くに配置されます。結果として異なるデータのグループがよりはっきりと引き離されるので、高次元空間でのグループを低次元空間で可視化することが可能となります。

    ただし、低次元空間での類似度をコーシー分布によって表現する必要があります。

    コーシー分布を利用した類似度

    コーシー分布(自由度1のt分布)の確率密度関数をここに再掲します。

    Q(x)=1π(1+x2)Q(x) = \frac{1}{\pi(1 + x^2)}

    ここで、xxは実数値であり、データポイント間の距離に相当します。

    よく見ると、コーシー分布には分散のパラメータがありません。これは期待値(平均値)が発散するため定義できないからです。

    E[X]=∫−∞∞x P(x)  dx= ∫−∞∞x 1π(1+x2)  dx=[12log⁡(π(1+x2))]−∞∞→ ∞\begin{aligned} \mathbb{E}[X] &= \int_{-\infty}^{\infty} x \, P(x) \; \mathrm{d}x \\[3ex] & =  \int_{-\infty}^{\infty} x \, \frac{1}{\pi(1 + x^2)} \; \mathrm{d}x \\[3ex] &= \left[ \frac{1}{2} \log (\pi(1 + x^2)) \right]_{-\infty}^{\infty} \\[3ex] &\rightarrow \ \infty \end{aligned}

    さらに、分散も定義できません。なぜなら、分散の定義式は以下のように期待値を必要とするからです。

    Var(X)=E[(X−E[X])2]\text{Var}(X) = \mathbb{E}[(X - \mathbb{E}[X])^2]

    仮に平均を 0 と仮定しても、分散の計算は発散してしまいます。

    E[(X−E[X])2]= ∫−∞∞x2 P(x)  dx→∞\mathbb{E}[(X - \mathbb{E}[X])^2] = \int_{-\infty}^{\infty} x^2 \, P(x) \; \mathrm{d}x \quad \rightarrow \quad \infty

    分散がないということは、コーシー分布を利用した距離の測定は、データポイントの観点によらず対称だということです。よって、類似度の計算がガウス分布を利用した場合より簡単になります。

    まず、低次元空間における2つのデータポイントyi\boldsymbol{y}_iとyj\boldsymbol{y}_jの距離dij=∥yi−yj∥d_{ij} = \| \boldsymbol{y}_i − \boldsymbol{y}_j \|を用いてコーシー分布に従う確率的な「近さ」を定義 します。

    Qij=11+∥yi−yj∥2Q_{ij} = \frac{1}{1 + \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2}

    なお、この定義は正規化されていませんが、基本的には、コーシー分布のxxの表現が変わっただけです。コーシー分布の確率密度に対応した「近さ」を表現(測定)していると考えてください。

    高次元空間でガウス分布を「近さ」の測定に使ったのと同じアプローチです。

    ただし、ガウス分布の時は、基準とするデータポイントによって分散が異なるので、類似度を定義するために非対称性をなくすステップが必要でした。

    一方、コーシー分布には分散がないため、ガウス分布のようにデータポイントごとに異なる分散を考慮する必要がありません。その結果、コーシー分布を利用した類似度の計算には、非対称性をなくすステップが不要です。

    この「近さ」の値QijQ_{ij}を正規化して確率として解釈できるようにします。

    qij=Qij∑k≠lQklq_{ij} = \frac{Q_{ij}}{\sum\limits_{k \neq l} Q_{kl}}

    k≠lk \neq lとなっているのは、基準となるデータポイントを除外するためです。

    中身を展開すると、以下になります。複雑に見えてもやっていることは同じです。

    qij=11+∥yi−yj∥2∑k≠l11+∥yk−yl∥2= (1+∥yi−yj∥2)−1∑k≠l(1+∥yk−yl∥2)−1q_{ij} = \frac{\frac{1}{1 + \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2}}{\sum\limits_{k \neq l} \frac{1}{1 + \| \boldsymbol{y}_k - \boldsymbol{y}_l \|^2}} = \frac{(1 + \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2)^{-1}}{\sum\limits_{k \neq l} (1 + \| \boldsymbol{y}_k - \boldsymbol{y}_l \|^2)^{-1}}

    これによって、コーシー分布を利用した類似度が定義できました。

    KLダイバージェンスと最適化

    低次元空間への変換の目的は、高次元空間でのデータの局所構造(データ同士の類似度)を保ちつつ、視覚的に解釈しやすい低次元表現を得ることです。ただし、高次元と低次元のデータ空間では距離の性質が異なる確率分布に基づくため、単純な変換では元の局所構造を適切に保持することはできません。

    そこで、高次元空間での類似度と低次元空間での類似度の違いを数値化して最小化することを考えます。2つの類似度では両方とも確率として表現されているので、KLダイバージェンスによって分布の違いを数量化することができます。

    まず、高次元空間における類似度は対称化された確率pijp_{ij}で定義しました。

    pij=Pj∣i+Pi∣j2Np_{ij} = \frac{P_{j \mid i} + P_{i \mid j}}{2N}

    また、低次元空間における確率qijq_{ij}を次のように定義しました。

    qij=(1+∥yi−yj∥2)−1∑k≠l(1+∥yk−yl∥2)−1q_{ij} = \frac{(1 + \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2)^{-1}}{\sum\limits_{k \neq l} (1 + \| \boldsymbol{y}_k - \boldsymbol{y}_l \|^2)^{-1}}

    そして、pijp_{ij}とqijq_{ij}のKLダイバージェンスは以下に定義されます。

    DKL(pij∥qij)=∑i∑jpijlog⁡pijqijD_{KL}(p_{ij} \| q_{ij}) = \sum\limits_i \sum\limits_j p_{ij} \log \frac{p_{ij}}{q_{ij}}

    KLダイバージェンスは一般に非対称な指標であり、DKL(pij∥qij)D_{KL}(p_{ij} \| q_{ij})はpijp_{ij}の確率分布を基準としてqijq_{ij}がどのくらい異なるのかを数値化するという意味です。

    ∥\|の前にある確率分布が基準となります。

    参考:情報理論:KLダイバージェンス

    よって、DKL(pij∥qij)D_{KL}(p_{ij} \| q_{ij})をできるだけ小さくすることができれば、qijq_{ij}がpijp_{ij}の確率分布をよりよく反映したものになります。これは、低次元空間におけるデータポイントの配置を変えqijq_{ij}を調節することで実現できます。

    なお、高次元空間でのデータポイントの関係を維持する必要があるので、pijp_{ij}の確率分布は固定したままで変更しません。

    よって、pijp_{ij}が大きい場合(高次元空間で近い点)は、qijq_{ij}を大きくするように低次元空間での配置がより近くに調整されます。一方で、pijp_{ij}が小さい場合(高次元空間で遠い点)に対しては、qijq_{ij}が小さくなるように低次元空間での配置がより遠くに調整されます。

    その上、qijq_{ij}はコーシー分布に基づくので、最適化の過程の結果としてグループ間の距離がより強調されます。

    この最適化は、KLダイバージェンスをコスト関数(損失関数)とした勾配降下法によって行われます。なお、scikit-learnのTSNEでは、以下のような最適化に関連したパラメータを指定することができます。

    • learning_rate:学習率(デフォルト:auto)

    • max_iter: 最適化の繰り返し回数の最大値(デフォルト:1000、最低250)

    • n_iter_without_progress:最適化が進まない場合に中止するまでのステップ回数(デフォルト:300、50回ごとに判断される)

    • random_state:再現性のための乱数シード(デフォルト:None)

    最適化では、低次元空間の初期配置(yi\boldsymbol{y}_iの初期値)がランダムに選ばれ、そこから勾配降下法を用いて最適化を進めます。よって、乱数シードを固定することで再現性が確保されます。

    他のパラメータの説明は、公式ドキュメントを参照してください。

    t-SNEの仕組みにおける注意点

    t-SNEの仕組みの簡単なまとめ

    だいぶ長く説明してきたので、t-SNEを簡単にまとめて総括します。

    • PCAとの比較:PCAは、データの「分散」を基準に次元削減する(線形変換)が、t-SNEは、データの「近さ」を確率として捉え、低次元空間でその関係を維持するように配置(非線形変換)。

    • 高次元空間においてガウス分布を利用:ガウス分布を利用し、パープレキシティを一定に保つことで、データ密度に合わせた近傍の範囲を設定。

    • 低次元空間においてt分布を利用:コーシー分布(自由度1のt分布)を使うことで、クラスタ間の距離を低次元空間で適切に表現。

    • KLダイバージェンスの最小化:高次元の関係を維持しつつ、視覚化のための2D/3D表現を得る非線形変換を実現。

    t-SNEを使用する上での注意点

    t-SNE は視覚化として優れていますが、次のような注意点があります。

    • ランダム性:初期化によって結果が異なるため、再現性を保つには乱数シードを設定する必要があります。

    • 解釈が困難:t-SNE の出力座標はデータの相対的な関係を示すものであり、異なる t-SNE の結果同士を直接比較できません。

    • 計算コスト:厳密にはO(N2)O(N^2) の計算量がかかるため、Barnes-Hutという近似の計算手法がデフォルトで採用されており、計算量はO(Nlog⁡N)O(N \log N)に削減されている。

    それでも、実際に走らせた方は「割と時間がかかる」と気づいたかもしれません。やはり、これは計算コストが高いためです。

    そのため、PCAやTruncatedSVDで次元をある程度まで削減してから t-SNEを適用するなどの工夫が必要になるかもしれません。

    次回予告

    次回は、もう一つ別の次元削減の手法である TruncatedSVD を紹介します。

    PCAとの違いとしては、疎行列(スパースデータ)を扱えるため、レコメンデーションシステムなどのスパースデータに適用することができます。

    また、特異値分解(SVD)を部分的に適用して次元削減するため、すべての主成分を求める必要がなく、PCA よりも高速に処理できます。

    t-SNE のような視覚化ではすべての主成分が必要になるわけではないため、TruncatedSVDを前処理として使うことで計算負荷を軽減できます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ