メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㉟スペクトラル・クラスタリング実践編

    前回までにスペクトラル・クラスタリングの理論的な側面を紹介しました。

    今回は、scikit-learn の SpectralClustering を使って、クラスタリングの実験を行います。

    scikit-learnでは、隣接行列の計算方法として、「RBF」と「k近傍」があります。また、独自に準備した隣接行列を使うことでエッジの重みを自分で計算することもできます。

    画像

    これらの異なるアプローチを使ってスペクトラル・クラスタリングの結果を比較していきます。

    Python環境の準備

    Pythonの仮想環境を作ってscikit-learnとJupyterなど必要なライブラリをインストールします。

    # 作業フォルダを作って、そこへ移動する
    mkdir spectral_clustering_test
    cd spectral_clustering_test
    
    # 仮想環境を作り、アクティベートする
    python3 -m venv venv
    source venv/bin/activate
    
    # pip をアップグレードしておく
    pip install --upgrade pip
    
    # 必要なライブラリをインストール
    pip install numpy scikit-learn jupyter matplotlib 

    Jupyterノートブックを立ち上げてPython3のノートブックを作成してください。Jupyterノートブックに関しては、こちらを参照してください。

    なお、ノートブックの閲覧編集にはVSCode(Visual Studio Code)も使えます。私は、どちらかというとVSCodeをよく使います。これについてもこちらで簡単に解説しています。

    実験データ1

    まずは、クラスタリングをするためのデータを生成します。

    from sklearn.datasets import make_moons
    
    # 月形のデータセットを生成
    X, y = make_moons(n_samples=200, noise=0.08, random_state=42)

    これはこれまで何度も使っている手法ですが、月型の2Dデータセットを生成します。以下のファンクションを使って表示します。

    import matplotlib.pyplot as plt
    
    x1 = X[:, 0]
    x2 = X[:, 1]
    
    plt.plot(x1, x2, 'o', markerfacecolor='none', markeredgecolor='k', markersize=6)
    plt.title("Initial Data Points (No Clustering)")
    plt.xlabel("Feature 1")
    plt.ylabel("Feature 2")
    plt.show()
    画像

    アフィニティについて

    SpectralClusteringの初期設定で、隣接行列の計算方法を affinity パラメータで指定できます。これによって、データの連結の仕方が決まります。

    • 'rbf': Radial Basis Function(ガウス関数)を使用(デフォルト)。

    • 'nearest_neighbors': 近傍にあるデータポイントを使う。

    • 'precomputed': 手動で計算した隣接行列を指定する。

    なお、scikit-learnでは、affinityで指定された値によって、データの連結の仕方だけでなく、エッジの重みの計算方法も決まります。

    RBFアフィニティ

    パラメータ設定1

    スペクトラル・クラスタリングでは、k-meansのようにクラスタ数を指定します。ここでは、クラスター数を2と指定します。

    from sklearn.cluster import SpectralClustering
    
    model = SpectralClustering(n_clusters=2)
    • n_clusters: クラスタの数を指定するパラメータです。

    • アフィニティはデフォルトのままです。

    では、クラスタリングを実行します。

    labels = model.fit_predict(X)

    fit_predict(X) は、スペクトラル・クラスタリングによってデータをクラスタに分け、それぞれのデータポイントのクラスタ番号(ラベル)をリスト(NumPyの配列)にして返します。

    labels
    画像

    結果として2つのクラスタが判別されているのがわかります。

    なお、fit_predict(X) の代わりに fit(X) を実行すると、クラスタの計算だけ行います。その場合、クラスタ番号のリストを取得するには、モデルの属性であるlabels_ を参照します。

    model.labels_

    結果を色分けして表示します。

    import matplotlib.pyplot as plt
    
    def show_result(X, labels):
        plt.figure(figsize=(8, 6))
        plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', s=50)
        plt.title("Spectral Clustering Results")
        plt.xlabel("Feature 1")
        plt.ylabel("Feature 2")
        plt.colorbar(label="Cluster")
        plt.show()
    
    show_result(X, labels)
    画像

    これはあまりよろしくないですね。パラメータを工夫する必要がありそうです。

    パラメータ設定2

    デフォルトのRBFでは、重みWijW_{ij}をガウス関数を使って以下のように計算します。

    Wij=exp⁡(−γ ∥xi−xj∥2)W_{ij} = \exp\left(-\gamma \, \|\boldsymbol{x}_i - \boldsymbol{x}_j\|^2\right)

    ∥xi−xj∥\|\boldsymbol{x}_i-\boldsymbol{x}_j\|はii番目のデータxi\boldsymbol{x}_iとjj番目のデータxj\boldsymbol{x}_jのユークリッド距離です。

    また、γ>0\gamma > 0は、距離による重みの低減を調節するためのハイパーパラメータとして使われます。

    • γ\gamma が大きいほど、カーネルの値(類似度)が急激に減少します。つまり、近いデータポイント間だけが高い類似度を持つようになります。

    • γ\gamma が小さいほど、類似度の減少が緩やかになり、遠く離れたデータポイント間にもそれなりに高い類似度が生じやすくなります。

    このγ\gammaを、gamma で指定することができますが、そのデフォルト値は、1.0です。これを大きくすると、近いデータポイントだけが考慮されるようになるので、調節してみます。

    model = SpectralClustering(n_clusters=2, gamma=20)
    labels = model.fit_predict(X)
    show_result(X, labels)
    画像

    これは何度か手作業で調節した結果です。たまたま、gamma=20 が良い結果となりました。

    なお、隣接行列の中身は次のように確認できます。

    model.affinity_matrix_
    画像

    この隣接行列のサイズは、200 x 200 です。これはデータポイントの数が200であるためです。

    グリッドサーチとシルエット係数

    グリッドサーチで gamma の値を試しながら、シルエット係数で評価し最適な gamma を見つけられるか実験します。

    まず、モデルを準備します。

    from sklearn.cluster import SpectralClustering
    
    # デフォルトが `rbf` だが、分かりやすいように明示的に設定
    model = SpectralClustering(n_clusters=2, affinity='rbf')

    次に、結果を評価するためのファンクションを設定します。これにはシルエット係数を使います。

    from sklearn.metrics import silhouette_score
    
    def silhouette_scorer(estimator, X):
        labels = estimator.fit_predict(X)
        return silhouette_score(X, labels)

    この評価関数を指定して、グリッドサーチを行います。

    from sklearn.model_selection import GridSearchCV
    
    param_grid = {'gamma': list(range(30))}
    grid = GridSearchCV(model, param_grid, scoring=silhouette_scorer)
    grid.fit(X)
    
    print("Best Parameters:", grid.best_params_)
    画像

    gamma = 3 と出ました。先ほどとは異なる値です。結果を表示してみます。

    best_model = grid.best_estimator_
    
    show_result(X, best_model.labels_)
    画像

    これはうまくいっていません。

    シルエット係数の解説はこちらにありますが、簡単にいうと「データポイントがクラスタの中でどれだけうまく収まっているか、そして他のクラスタからどれだけ明確に分離されているか」を評価する係数です。

    よって、データの分布が非線形形状(例: 半月形やらせん状)だと、近さとクラスタの形状の関係を適切に評価できない可能性があります。

    k近傍アフィニティ

    パラメータ設定1

    affinity を 'nearest_neighbors'にして近傍にあるデータポイントを使う設定にします。

    model = SpectralClustering(n_clusters=2, affinity='nearest_neighbors')

    近傍に含める数kkは、n_neighbors で指定しますが、ここではデフォルトの値として10が指定されます。これによって、グラフ構築する時に、10個の隣接点だけがエッジで結合しているとみなします。

    結果を確認します。

    labels = model.fit_predict(X)
    
    show_result(X, labels)
    画像

    今度はうまく行きました。

    隣接行列の中身

    隣接行列の中身を見てみましょう。

    model.affinity_matrix_
    画像

    これは、行列が密(dense)ではなく疎(sparse、0要素が多い)であり、コンパクトに圧縮された形式になっているからです。200 x 200 の行列要素の内に 2,282 要素のみが使われています。

    ここで、一つ疑問が湧きます。200個のデータポイントが10個の近傍を持つならば、合計は2000個になるべきではないでしょうか。

    これは、隣接行列が対称行列である(方向性がない)必要があるためです。

    簡単な例として、k=3の場合を考えます。

    画像

    まずは、データポイントAの近傍を3つ選びます。

    画像

    次に、データポイントBの近傍を3つ選びます。

    画像

    このままだと、Aから見るとBは近傍に含まれないのに、Bから見るとAは近傍に含まれるため対称性がありません。よって、次のような結合にすることで対称性を確保します。

    画像

    よって、この場合は、Aの近傍は4つあることになります。

    では、話を戻して、近傍を密の形式にして表示します。

    model.affinity_matrix_.toarray()
    画像

    デフォルトで n_neighbors = 10 なので、各データポイントに対して10個以上の近傍のデータポイントが接続(=1)されています。

    隣接行列を指定する

    隣接行列を直接指定することもできます。これは、独自の手法でエッジの重みを計算したい時に使います。

    独自に隣接行列を計算する

    ここでは、scikit-learnのRBFカーネルを使って計算してみます。

    from sklearn.metrics.pairwise import rbf_kernel
    
    # カスタム隣接行列を作成(RBFカーネルを使用)
    gamma = 20  # カーネルのパラメータ
    affinity_matrix = rbf_kernel(X, gamma=gamma)

    gamma = 20 で重みを計算したので、この隣接行列でスペクトラル・クラスタリングを行えば、前述した結果と同じになるはずです。

    独自の隣接行列で実行する

    独自の距離や類似度計算方法を使いたいので、affinity='precomputed' と指定して、fit_predict に準備しておいた隣接行列を入力します。

    from sklearn.cluster import SpectralClustering
    
    # 独自の隣接行列を使いたい
    model = SpectralClustering(n_clusters=2, affinity='precomputed')
    
    # SpectralClusteringに隣接行列を渡す
    labels = model.fit_predict(affinity_matrix)
    
    show_result(X, labels)
    画像

    同じ結果になりました。

    次回予告

    次回は、GMM(Gaussian Mixture Model)を紹介します。

    GMMは、教師なし学習モデルであり、観測データからクラスラベルを指定せずにクラスタリングや分布の推定を行います。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ