
scikit-learn機械学習㉗ニューラルネットワーク
前回は、非線形データをSVMのカーネルトリックで分離する実験を行いました。
SVMには、線形カーネル、多項式カーネル、RBFカーネルなどがあり、それぞれ特性が異なるため、最適なカーネルを選ぶにはデータの特徴を深く理解する必要があります。
しかし、これはSVMに限らず、従来の機械学習モデル全般に言えることです。特徴量の設計やモデルの選択は多くの試行錯誤を伴い、複雑なデータに対しては手動での調整が非常に困難になります。
その一方で、ニューラルネットワークは自動的に特徴量を抽出できます。そのため、人間の介入なしにデータから適切な特徴を抽出し、複雑なタスクも高精度で解決できるようになりました。
もちろん、データの特徴を理解する必要性はなくなりませんが、これまで扱ってきた機械学習におけるモデルの選択や特徴量の設計とはアプローチが異なります。
よって今回は、ニューラルネットワークについて解説します。
ニューラルネットワークの進化史
ニューラルネットワークはこちらの記事で、パーセプトロンに関してはこちらの記事で紹介しているので今回は詳細は省きますが、歴史的な出来事をここにまとめました。
単純パーセプトロンと多層パーセプトロン
パーセプトロンが登場したのは、第1次AIブームの最中でした。
1943年:人工ニューラルネットワークの理論が提唱される(ウォーレン・マカロックとウォルター・ピッツの論文)
1958年:パーセプトロンとして人工ニューラルネットワークがハードウェア上に実装される(アメリカの心理学者フランク・ローゼンブラット)
1969年:単純パーセプトロンは線形に分離可能なパターンしか識別できない事を発表される(マービン・ミンスキーとシーモア・パパート)
ここで、第1次AIブームが終わり、1970年代は、AIの冬の時代になります。
なお、フランク・ローゼンブラットは、単純パーセプトロンを複数重ねた多層パーセプトロン(Multi-Layer Perceptron、MLP)を考えてはいましたが、効果的に訓練する方法が見つかっていませんでした。
勾配降下法と誤差逆伝播法
ニューラルネットワークの学習で使われる勾配降下法の原型は、1847年にオーギュスタン・ルイ・コーシーによって最適化手法として考案されており、その歴史は古いです。誤差逆伝播法(バックプロパゲーション)と組み合わせた機械学習への適用はずっと後になります。
1986年:誤差逆伝播法が発表され、多層パーセプトロンの重みを効率的に調整できるようになる(デイヴィッド・ルーメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズ)
この誤差逆伝播法を勾配降下法の中で使うことで効率的な学習が行われ、特徴量抽出の自動化が可能になりました。
しかし、深層の多層パーセプトロンでは、勾配消失問題が認識されていました。層の数が多くなると、初期の層に到達する前に勾配情報が消失し、学習がうまく進まないという問題です。
これは、深層学習が普及する2010年代ごろまでは解決されていませんでした。
汎用近似定理による理論的優位性
ニューラルネットワークは、任意の連続関数を任意の精度で近似できることが数学的に証明されています。これを汎用近似定理(Universal Approximation Theorem)と呼びます。
1989年:シグモイド活性化関数を持つ単一の隠れ層を持つフィードフォワードネットワークが、任意の連続関数を任意の精度で近似できることを証明される(George Cybenko)
1991年:活性化関数の具体的な選択ではなく、多層のフィードフォワード構造自体がニューラルネットワークに汎用近似能力を与えることが示される(Kurt Hornik)
汎用近似定理により、単一の隠れ層でも、適切な活性化関数と十分なニューロン数があれば、あらゆる連続関数を近似できることが明らかになりました。
ただし、これは理論的な話であり、実際の学習では層の数、データ量、最適化アルゴリズムの選択によりパフォーマンスが大きく左右されます。
そのため、畳み込み層の導入など、モデル構造を工夫することでさらなる精度の向上が目指されました。また、ビッグデータと組み合わせてディープラーニングの発展につながりました。
勾配消失問題の回避
勾配消失問題は長く未解決のままでした。複数の研究者による一連の発見と改良によって、徐々に改善されてきました。
2010年:Xavier初期化による深層ネットワークの学習が安定化(Xavier Glorot と Yoshua Bengio)
2011年:ReLU (Rectified Linear Unit) 活性化関数が勾配消失問題を大幅に軽減(Xavier Glorot、Antoine Bordes、Yoshua Bengio)
2012年:AlexNetによるReLUの効果的な使用と、ドロップアウトなどの正則化技術を組み合わせ(Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton)
2015年:ResNetのスキップ接続で非常に深いネットワークでも効果的に学習(Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun)
2014年:Adam最適化アルゴリズムが勾配消失問題をさらに軽減(Diederik P. Kingma と Jimmy Ba)
これらの貢献により、勾配消失問題は大幅に軽減され、より深層のネットワークの学習が可能になりました。しかし、完全に解決されたわけではなく、特に非常に深いネットワークや複雑なアーキテクチャでは依然として課題となっています。
scikit-learnによるニューラルネットワーク
scikit-learnには、分類モデルのMLPClassifier、回帰モデルのMLPRegressorがあります。
畳み込みなどより複雑な構造は実装されていません。また、GPUをサポートしていないので、ディープラーニングのように何十、何百層となると学習速度が遅くなります。そういったものが必要な場合は、PyTorchなどを利用してください。入門用のシリーズ記事があります。
MLPClassifier
MLPClassifierは次のように生成します。
from sklearn.neural_network import MLPClassifier
# MLPClassifier のインスタンス作成
mlp = MLPClassifier(hidden_layer_sizes=(10, 20), # 第1層10ユニット、第2層20ユニット
activation='relu', # ReLU活性化関数
solver='adam', # Adamオプティマイザ
max_iter=1000, # 最大1000回のエポック
random_state=42)このように非常に簡単に、ニューラルネットワークを生成することができます。
あとは、準備した訓練データセットにフィットするだけです。
# モデルの訓練
mlp.fit(X_train, y_train)実験してみる
前回のSVMで行ったのと同様に make_moons で作ったデータセットで実験してみます。以下のコードをJupyterノートブックなどで実行してください。
# 必要なライブラリのインポート
from sklearn.datasets import make_moons
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, classification_report
import matplotlib.pyplot as plt
import numpy as np
# サンプルデータの生成
X, y = make_moons(n_samples=300, noise=0.2, random_state=42)
# データを訓練用とテスト用に分割
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, random_state=42)
# データの標準化(ニューラルネットワークの学習を安定させるため)
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
# MLPClassifier のインスタンス作成
mlp = MLPClassifier(hidden_layer_sizes=(10, 20), # 10ユニット、20ユニット
activation='relu', # ReLU活性化関数
solver='adam', # Adamオプティマイザ
max_iter=1000, # 最大1000回のエポック
random_state=42)
# モデルの訓練
mlp.fit(X_train, y_train)
# テストデータに対する予測
y_pred = mlp.predict(X_test)
# 精度の表示
print(f"Accuracy: {accuracy_score(y_test, y_pred):.2f}")
print("Classification Report:\n", classification_report(y_test, y_pred))
# 訓練データと分類結果のプロット
plt.figure(figsize=(10, 5))
# 訓練データのプロット
plt.subplot(1, 2, 1)
plt.title("Training Data")
plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap='viridis')
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
# テストデータと分類結果のプロット
plt.subplot(1, 2, 2)
plt.title("Decision Boundary on Test Data")
# グリッドを作成して、各グリッド点の分類を予測
xx, yy = np.meshgrid(
np.linspace(X_test[:, 0].min()-1, X_test[:, 0].max()+1, 100),
np.linspace(X_test[:, 1].min()-1, X_test[:, 1].max()+1, 100))
Z = mlp.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)
# 境界の描画
plt.contourf(xx, yy, Z, alpha=0.8, cmap='viridis')
plt.scatter(X_test[:, 0], X_test[:, 1],
c=y_test, edgecolor='k', cmap='viridis')
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
# プロット表示
plt.tight_layout()
plt.show()結果は以下になります。とても良い性能を発揮しています。
Accuracy: 0.98
Classification Report:
precision recall f1-score support
0 0.97 0.97 0.97 38
1 0.98 0.98 0.98 52
accuracy 0.98 90
macro avg 0.98 0.98 0.98 90
weighted avg 0.98 0.98 0.98 90以下は、生成された訓練データとテストデータでの境界線を表示したものです。

SVMでは、多項式カーネルとかRBFカーネルにするとか考えていましたが、ニューラルネットワークではその必要もありません。自動で非線形の特徴量を学習してくれるので、非常に簡単でパワフルなのがわかります。
次回予告
次回は、scikit-learnにある便利な道具でこれまでに解説してこなかったものをいくつか紹介します。
お楽しみに!