
scikit-learn機械学習㊵PCA(主成分分析)
前回は、scikit-learnを使ってガウス混合モデル(GMM)によるクラスタリングを行いました。GMMではデータを複数のガウス分布に基づいて分類しますが、データの次元数が増えるとうまく機能しない(次元の呪い)問題もあります。
そこで今回は、次元削減のためのアルゴリズムである主成分分析(Principal Component Analysis、PCA)を紹介します。
次元削減というと、単にデータの一部を削るような印象を持つかもしれません。しかし、PCAはデータの本質的な構造を理解し、重要な特徴(主成分)を見出すための手法です。その結果として、あまり重要でない特徴を切り捨て次元を減らすことを可能になります。
PCAを使うことで、重要な特徴量だけを選んで使えば、計算負荷を軽減しつつ、モデルの入力として有用な情報を抽出することができます。
例えば、PCAで次元を削減した後にGMMを使ってクラスタリングを行うことでPCAとGMMをデータ分析の過程で補完的に活用すれば次元の呪いを軽減できる可能性があります。
本記事では、PCAの理論的背景と実例を混ぜ合わせながら紹介します。
PCAの実例で理解する
まずは、簡単な実例を見ていきましょう。Python環境は、前回と同じ設定を想定しています。
データ内容の確認
まず、scikit-learnからアヤメ(Iris)のデータセットをロードします。
from sklearn.datasets import load_iris
# Irisデータセットをロード
iris = load_iris()
X = iris.data # 特徴量
y = iris.target # ラベルIris は花の特徴に基づくデータセットで、機械学習の入門用に広く使われている有名なデータセットです。
特徴量(特徴的な属性)は、アヤメの花の「がくの長さ」「がくの幅」「花弁の長さ」「花弁の幅」の4つの数値です。これらの特徴量は、各花の測定値です。
データの形を確認します。
print(X.shape)(150, 4)150行のデータがあります。各行は一つの花であり、説明通りの4次元データになっています。最初の5行を見てみます。
print(X[:5])[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]
[4.6 3.1 1.5 0.2]
[5. 3.6 1.4 0.2]]ラベル(ターゲット)は、3つの異なるアヤメの品種(Setosa, Versicolor, Virginica)に対応する0、1、2のラベルで、各花の品種を示します。
print(y)[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]3種類の花(セトーサ, バーシカラー, バージニカ)のラベルが0から2の整数値になっています。
正規化と標準化について
各列の特徴量で値の範囲に大きなバラ付きがあると、大きい値の特徴量がより重要として扱われてしまう可能性があります。このようなバイアスを取り除くためにデータの正規化や標準化がよく行われます。
ただし、Irisの場合は、同じアヤメの中の種類であり、大きさの違い自体が特徴を反映していると言えます。データの統計量を確認します。
import pandas as pd
# データをpandas DataFrameに変換
df = pd.DataFrame(X, columns=iris.feature_names)
# ラベルごとに必要な統計量を表示
statistics_by_species = df.groupby(y).describe(percentiles=[]).T
statistics_by_species
こうしてみると平均や標準偏差などの違いが花の種類を見分けるのに重要なのが分かります。よって、ここでは正規化や標準化は行いません。
次元削減による可視化
では、PCAを適用してIrisのデータを2次元に次元削減します。
from sklearn.decomposition import PCA
# PCAで次元削減(2次元)
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)n_components = 2 で次元数をしてしています。
2次元の特徴と花の種類をプロットします。
import numpy as np
import matplotlib.pyplot as plt
import matplotlib_fontja
# 2次元に削減されたデータをプロット
plt.figure(figsize=(8, 6))
plt.scatter(X_pca[:, 0], X_pca[:, 1],
c=y, cmap='tab10', s=30)
plt.xlabel('主成分1')
plt.ylabel('主成分2')
plt.title('PCAによるIrisデータセットの次元削減')
plt.legend(handles=scatter.legend_elements()[0],
labels=['セトーサ', 'バーシカラー', 'バージニカ'],
title='花の種類')
plt.show()
もともと4次元だった特徴量を2次元に削減したことで、このようにデータの可視化が容易になるのは次元削減の一つの利点です。
バーシカラーとバージニカが少し入り混じっているところはもありますが、3種類の花をほぼ線形の境界で区別できそうです。この2次元の特徴量を入力としてモデルの学習を行うことも可能です。例えば、k-means や GMM などによる教師なし学習(クラスタリング)やSVMなどの教師あり学習も可能です。
以上より、PCAの直感的な理解ができたので、理論的な側面を見ていきましょう。
PCAの数学的な基礎
scikit-learn の PCA の実装では、いくつかのアルゴリズムがあり、svd_solver で計算方法を選択できます。デフォルトは、'auto' となっており、特徴量やサンプル数に応じて、最適な手法が選ばれます。
ここで解説する手法は'covariance_eigh'と呼ばれるものです。
新しい基底と主成分軸
PCAの重要な概念の一つは、データを新しい基底で表現することです。具体的なイメージを掴むために次のような2次元データを使います。

このデータの特徴量の基底は、x軸とy軸です。ここでは次元削減はしていませんが、PCAによる主成分1と2を赤色と青色の矢印で表示しています。
この2つのデータ群は、主成分1と主成分2を新しい基底とすると以下のように見ることが出来ます。

この場合、主成分1だけによって、データがどちらのグループに属するのかを判断することが出来ます。つまり、主成分2は必要ありません。よって、切り捨ても問題ありません。よって、次元削減が可能となります。
ちなみに、上図は以下のコードで描きました。
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import make_blobs
# 2次元データセットを生成(仮想データ)
X, y = make_blobs(n_samples=100, centers=2, n_features=2, random_state=42)
# PCAの実行
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
# プロット
plt.figure(figsize=(8, 6))
# 散布図を描画
plt.scatter(X[:, 0], X[:, 1],
c=y, cmap='viridis', edgecolor='k', s=50, alpha=0.7)
# 主成分を矢印で表示(平均から主成分の4倍の位置まで)
mean = np.mean(X, axis=0)
principal_component_1 = pca.components_[0] * 4 # 第一主成分
principal_component_2 = pca.components_[1] * 4 # 第二主成分
# 第一主成分の矢印
plt.quiver(mean[0], mean[1],
principal_component_1[0], principal_component_1[1],
angles='xy', scale_units='xy', scale=1, color='r', label='主成分1')
# 第二主成分の矢印
plt.quiver(mean[0], mean[1],
principal_component_2[0], principal_component_2[1],
angles='xy', scale_units='xy', scale=1, color='b', label='主成分2')
# ラベルとタイトル
plt.xlabel('特徴量1')
plt.ylabel('特徴量2')
plt.title('PCAによるデータの主成分軸')
plt.legend()
# プロット表示
plt.grid(True)
plt.axis('equal')
plt.show()中でPCAを使っています。PCAが計算した主成分のベクトルを4倍にして矢印として散布図と一緒に表示しているだけです。
では、PCAはどのようにして、主成分を決めているのでしょうか。
データの分散を最大化する
PCAは、データの分散を最大化する方向を探し、その方向を新しい軸(主成分)として選びます。
分散は、データがその特徴量の平均からどれだけ広がっているかを示す指標であり、データのばらつきを表します。
よって、データの分散が大きくなる方向では、データ間の区別が容易になります。逆に、データの分散が小さい方向ではデータ間の区別が困難です。
最も分散が大きい方向を第1主成分とし、その後の主成分は順番に分散が小さいものになっていきます。このため分散の小さい主成分では、次元削減を行ってもデータの重要な情報は失われません。
数学的には、共分散行列と固有値・固有ベクトルを計算しています。
共分散行列のおさらい
共分散行列は、特徴量間の関係性を表すもので、PCAではこの行列を用いて主成分軸を決定します。ガウス混合モデルでも登場した共分散行列ですが、2次元の行列でデータ分布の形を表現するものです。
以下、簡単に復習します。
共分散行列の対角要素は、各特徴量の分散を表します。対角要素が大きい場合、その特徴量の分散が大きいことを意味し、データの広がりが大きいことを示します。
例えば、特徴量1の分散は対角成分 (1, 1) です。また、特徴量2の分散は対角成分 (2, 2) です。
共分散行列の非対角要素は、2つの特徴量間の共分散を表します。共分散は、2つの特徴量がどのように一緒に変動するか、つまり相関を示します。
正の共分散(非対角要素が正)は、2つの特徴量が同じ方向に変動することを意味します。負の共分散(非対角要素が負)は、2つの特徴量が逆方向に変動することを意味します。
例えば、非対角成分 (1, 2) が大きい場合、特徴量1が大きくなると、特徴量2も大きくなる傾向があることになります。なお、共分散行列は対称行列なので非対角成分 (2, 1) も同じ値であり、同じ意味があります。
共分散がゼロの場合、2つの特徴量は独立している、または相関がないことを示します。ゼロに近ければほぼ相関がないことになります。
まとめると共分散は次のような情報を持っています。
対角要素: 各特徴量の分散(どれだけ広がっているか)
非対角要素: 2つの特徴量間の共分散(どのように相関しているか)
次に、固有値と固有ベクトルを考えます。
固有値と固有ベクトル
共分散行列は正方行列(行数と列数が等しい)ので、固有値分解をすることが出来ます。これによって、得られた固有値と固有ベクトルが得られます。こちらでも解説しました。
数学的には、共分散行列は次のように分解されます。
行列は行列の逆行列を意味します。
まず、は固有値を大きい値から順番に対角線上に並べたものです。データが次元のならば以下になります。
は各固有値に対応する固有ベクトルを列ベクトル(次元)として並べたものです。
固有値と固有ベクトルの関係は以下になります。
このような関係を満たすベクトルは無数にあります。例えば、ある固有ベクトルを2倍したらこれも上記の関係を満たします。よって、通常は固有ベクトルの大きさは1になるように定めます。
なお、共分散行列は対称行列なので、行列は直行行列となり、固有ベクトル()は互いに直行します。
よって、行列を転置すると逆行列になります。つまり、です。よって、共分散行列の固有値分解は次のように書くことが出来ます。
この次元の固有ベクトルは、すべて直行しているので基底として機能します。つまり、どんな次元データも、これらの固有ベクトルを基底として表現することが出来ます。
は、新しい基底を軸とした空間における座標となります。
なお、固有ベクトル(基底)の数が特徴量の数より少なくなるケースがあります。
例えば、データの数が特徴量の数より少ない場合は、固有ベクトルの数は最大でもまでとなります。さらに、特徴量の間に線形の関係があると、一部の特徴量は他の特徴量の組み合わせで表せるため、固有ベクトルの数も実際に識別できる特徴の数までに制限されます。
ただし、ここでは十分な数のデータがあり、特徴量はすべて独立だとしています。
これまで話してきた数学的な基礎を踏まえて、主成分がどう決まるのかを見ていきましょう。
なぜ主成分が求まるのか
PCA(主成分分析)では、データの最も重要な特徴(主成分)を見つけることが目的です。このために、データの分散を最大化する方向を探して、新しい基底(主成分軸)を決定します。そのために固有値分解をする、という話の流れになっています。
しかし、そもそも「PCAは、データの分散を最大化する方向を探し、その方向を新しい軸(主成分)として選びます」ということにどう関係するのでしょうか。
この疑問に答えるために、データ行列を考えます。
この行列の各行が一つのデータポイントに相当します。また、各列は特徴量を表します。これまで見てきたデータセットの定義と同じです。なお、はデータの次元数で、はデータの全体数です。
では、データ行列から共分散行列を計算します。こちらでも解説しています。
まず、各特徴量の平均を計算します。これは列ごとの平均になります。
これをの各行から平均ベクトルを引いて、各特徴量を中心化した行列をとします。これによって共分散行列は以下のように計算されます。
共分散行列を固有値分解したものは以下になります。
さらに、を行列を使って次のように変換を考えます。
の各列は固有値ベクトルなので、は中心化されたデータセットをの固有ベクトルを基軸とした座標系に変換しているのと同じです。つまり、データは新しい基底(主成分軸)に投影されます。
を使って共分散行列を計算します。
つまり、新しい座標系におけるデータセットの共分散行列は元の共分散行列をとでサンドウィッチした形になりました。
さらに、を代入して計算を続けます。
ここで、はの逆行列なので、となることを利用しました。
この結果から、の固有ベクトルを基底とした新しい座標系における共分散行列は固有値を対角線上に並べた行列に等しいことがわかります。つまり、この座標系では各特徴量の分散だけが存在し、それは固有値と同じ値です。そして、共分散がないので各特徴量は独立になります。
よって、「データの分散を最大化する方向を探し、その方向を新しい軸(主成分)として選びます」という目的が達成されました。より分散(固有値)が大きい軸は、より重要な特徴なので、主成分の順番は固有値の大きさ順になるわけです。
PCAの限界と注意点
PCAは有用な手法ですが、いくつかの限界や注意点があります。
線形変換しか扱えない
PCAは、データを行列で線形変換して、新しい座標系で特徴量を表現します。しかし、これによってデータがうまく分離できるかどうかはデータの複雑さによります。
難しいデータの例として、scikit-learnから手書き数字データ(Digits)を使ってPCAを適用してみます。まず、データをロードします。
from sklearn.datasets import load_digits
# Digitsデータセットの読み込み(8x8ピクセルの手書き数字)
digits = load_digits()
X = digits.data # 特徴量(64次元)
y = digits.target # ラベル(数字)このデータセットには、8x8ピクセルのグレースケール画像が含まれており、各画像は64(=8x8)次元の特徴を持っています。1,700枚以上の手書き数字がラベル付きで提供されています。
グレースケール画像は、色を使わず、明るさのみで白から黒までを表現した画像です。Digits画像の各ピクセルは0から16の範囲の値を持ちます。
最初の10画像を表示してみます。
import matplotlib.pyplot as plt
# 最初の10サンプルを描画
fig, axes = plt.subplots(1, 10, figsize=(6, 5))
for i in range(10):
axes[i].imshow(X[i].reshape(8, 8), cmap='gray')
axes[i].axis('off')
plt.show()
データを直接プリントしてみます。
print(X)[[ 0. 0. 5. ... 0. 0. 0.]
[ 0. 0. 0. ... 10. 0. 0.]
[ 0. 0. 0. ... 16. 9. 0.]
...
[ 0. 0. 1. ... 6. 0. 0.]
[ 0. 0. 2. ... 12. 0. 0.]
[ 0. 0. 10. ... 12. 1. 0.]]各行が一つの画像に相当します。0から16にピクセル値がみられます。データの形も確認します。
print(X.shape)(1797, 64)1797個の画像があり、各画像は64次元になっているのが確認できます。
PCAを使って、64次元から2次元に削減します。
from sklearn.decomposition import PCA
# PCAで次元削減(2次元に)
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)n_components=2 で次元を指定しました。次元削減されたデータを確認します。
print(X_pca)[[ -1.25946645 -21.27488348]
[ 7.9576113 20.76869896]
[ 6.99192297 9.95598641]
...
[ 10.8012837 6.96025223]
[ -4.87210009 -12.42395362]
[ -0.34438963 -6.36554919]]各画像が2次元になっているのが分かります。データの形も確認します。
print(X_pca.shape)(1797, 2)では、2次元の特徴量と数字ラベルの関係を表示します。
import matplotlib.pyplot as plt
import matplotlib_fontja
# 2次元に削減されたデータをプロット
plt.figure(figsize=(8, 6))
# 色を離散的に設定
scatter = plt.scatter(X_pca[:, 0], X_pca[:, 1],
c=y, cmap='Set3', alpha=0.8, s=30, edgecolors='k', linewidth=0.3)
plt.xlabel('主成分1')
plt.ylabel('主成分2')
plt.title('PCAによる手書き数字データセットの次元削減')
plt.legend(*scatter.legend_elements(), title='数字')
plt.axis('equal')
plt.show()
こうしてみると割と綺麗に分かれている数字もありますが、8のようにかなり他の数字と重なっているものもあります。手書き数字データのように、数字間に複雑な相関がある場合は、PCAがデータの変動を最大化する方向にデータを投影したとしても、データ群を綺麗に分離できなかったことがわかります。
このような場合は、t-SNE など他の手法を試す必要があります。
データのスケールが重要
PCAによる処理を行う前に、データセットの正規化や標準化をしないと不適切な結果になることがあります。
これは、PCAが分散を最大化する方向にデータを投影するため、特徴量のスケール(単位や範囲)が異なると、分散が大きい特徴量が優先的に選ばれてしまい、他の重要な特徴量を無視する可能性があるからです。
例えば、身長(cm単位)と体重(kg単位)の特徴量がある場合で、体重の変動の方が大きいとしたら、PCAは体重の方向に偏った結果を出す可能性があります。
異なる特徴量が異なるスケール(単位)を持っている場合、その差が分散の違いに影響を与えることがあります。
しかし、これも常に行うのが良いとは限りません。Iris のデータセットでは正規化や標準化は行いませんでした。また、Digitsも64次元の全てピクセル単位であり、スケールも同じでした。
よって、データセットの性質を考慮した上で、どう対処するのか決める必要があります。
解釈の難しさ
PCAでは、元々の特徴量(例えば、画像のピクセル値や、異なる測定項目)が主成分軸に沿ってどのように結びついているかを理解するのが難しくなります。
主成分による新しい軸における値は、複数の特徴量を線形結合したものです。元来の特緒量の座標系からすると解釈が難しくなります。2次元や3次元まで削減すればプロットして吟味することも可能ですが、もっと次元が高くなると難しいです。
高次元データにおける問題
PCAは次元削減を行なって次元の呪い(Curse of Dimensionality)の問題を軽減するために使われたりします。しかし、PCAも高次元データにおける問題がいくつかあります。
まず、共分散行列のメモリ使用量がO(n^2}のオーダーで増加します。さらに、共分散の計算はのオーダーになります。
はの行列なので、転置した行列はとなり、行列積は、の行列になります。その各要素を計算するためにの計算(積と加算)が必要になります。
また、高次元でのデータは疎になり(密ではない)ので、外れ値なのかどうかの判断も難しいです。前述したように高次元では解釈が難しくなっており、分散の計算の結果が何かのノイズに大きく反応しただけであっても気づかれにくいです。
もちろん、これはPCAに限った問題ではなく、多くの機械学習モデルに当てはまることではあります。
特異値分解による実装
最後に、特異値分解などPCA内の異なるアルゴリズムについて簡単に紹介します。
アルゴリズムを自動的に選ぶ
固有値分解による PCA は計算負荷やメモリ使用量が大きくなります。そのため、scikit-learnの実装ではデータの特徴量数やサンプル数に応じて異なるアルゴリズムを選択できる(あるいは自動的に選択される)ようになっています。
scikit-learn の PCA では、svd_solver = 'auto' がデフォルトとなっており、特徴量数とデータ数によって自動的に、より効率的な手法が選ばれます。
大きく分けて2つの手法があります。
共分散行列を固有値分解
これはこの記事で解説した手法です。
特徴量の数が1000未満で、サンプル数が特徴量数に比べて10倍以上の場合は、共分散行列を固有値分解する手法(covariance_eigh)が選ばれます。共分散行列のサイズが比較的小さく、固有値分解が高速に実行できます。
データ行列を特異値分解
上記の条件を満たさない場合は、特異値分解(SVD)を用いたオプション(full, arpack, randomized)から最適なものが選ばれます。共分散行列の計算が不要なため、メモリ効率が良いという利点があります。
full:LAPACKライブラリを使用。高精度だが計算コストが高い。小規模行列や、すべての特異値が必要な場合に使う。
arpack:ARPACKライブラリを使用。部分的なSVDを行い、上位の特異値・特異ベクトルのみを求める場合に適している。大規模データに効率的。
randomized:ランダム化アルゴリズムを用いたSVD。高速でメモリ効率がよいが、精度はやや低い。次元削減や近似解で十分なタスクに向いている。
詳細は、公式ドキュメントで確認してください。
次回予告
次回は、より複雑なデータの次元削減を扱え、特に可視化に便利なt-SNEを紹介します。
お楽しみに!