
scikit-learn機械学習⑰ランダム・サーチ
前回は、アダブーストで簡単な実験を行いましたが、ハイパーパラメータのチューニングの必要性が課題となりました。よって、今回は、scikit-learnにあるハイパーパラメータのチューニングのためのツールを使います。
最も単純なのは、以前にも登場したグリッド・サーチ(Grid Search)と呼ばれる手法で、調節したい各ハイパーパラメータに対して試したい値のリストを準備し、その組み合わせをすべて順番に実行して一番良い性能を出すパラメータ値の組み合わせを決定します。
例えば、AdaBoostClassifierの内部で使う弱学習器の数を[50, 100, 150, 200, 250]と徐々に増やして試したいとします。さらに、学習率も変化させたいので[0.01, 0.1, 1.0, 1.2, 1.4]などの値を用意します。
この二つだけを考えてもその組み合わせは、個になります。自分でプログラムを書いて多重ループを準備するとしたらこんな感じでしょうか。
from sklearn.ensemble import AdaBoostClassifier
from sklearn.metrics import accuracy_score
# 最も精度が高かったモデルを保存するための変数
best_accuracy = 0
best_model = None
# ハイパーパラメータの組み合わせごとに予測精度を表示
for n_estimators in [50, 100, 150, 200, 250]:
for learning_rate in [0.01, 0.1, 1.0, 1.2, 1.4]:
# モデルの学習
model = AdaBoostClassifier(n_estimators=n_estimators,
learning_rate=learning_rate,
algorithm='SAMME',
random_state=42)
model.fit(X_train, y_train)
# テストデータで評価
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
# 結果の表示
print(f"n_estimators: {n_estimators}")
print(f"learning_rate: {learning_rate}")
print(f"accuracy: {accuracy:.2f}")
# 最も精度が高かったモデルを保存
if accuracy > best_accuracy:
best_accuracy = accuracy
best_model = model
# 最も精度が高かったモデルの精度を表示
print(f"Best accuracy: {best_accuracy:.2f}")ちなみに、前回と同じ環境設定でこれを実行すると、最高の精度でも87%となり前回よりは良い結果です。よってハイパーパラメータの重要性がわかります。
ただし本記事では、さらにこれを超える精度を出します。
scikit-learnのGridSearchCVを使えば、自分でループを書くことなく、もっと簡単にグリッド・サーチを行うことができます。
また、今記事ではランダム・サーチ(Random Search)も取り上げ、グリッド・サーチとの違い、使う理由などを解説します。
準備設定
Pythonの環境設定などは前回同様なので省略します。
前回同様、digits のデータセットは、scikit-learn から次のように読み込みます。
from sklearn.datasets import load_digits
# データセットの読み込み
digits = load_digits(as_frame=True)訓練用と評価用のデータに分割します。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
digits.data, digits.target, test_size=0.2, random_state=42)以上で準備OKです。
グリッド・サーチ
ハイパーパラメータの値の準備
AdaBoostClassifierでは、n_estimators や learning_rate だけでなく、弱学習器を設定することができます。なので、次のように各パラメータに対して試したい値のリストを準備します。
from sklearn.tree import DecisionTreeClassifier
param_grid = {
# 弱学習器の数を変えてみる
'n_estimators': [50, 100, 150, 200, 250],
# 学習率を変えてみる
'learning_rate': [0.01, 0.1, 1.0, 1.2, 1.4],
# 弱学習器である決定機の深さを変えてみる
'estimator': [
DecisionTreeClassifier(max_depth=1),
DecisionTreeClassifier(max_depth=2),
DecisionTreeClassifier(max_depth=3),
DecisionTreeClassifier(max_depth=4),
DecisionTreeClassifier(max_depth=5),
]
}アダブーストのデフォルトの弱学習器は深さが1の決定木です。ここでは、より高い精度を目指して最大の深さを5まで設定しています。
それぞれのパラメータで、異なる値の数を持つことができますが、ここではたまたまどのパラメータも5個の値のリストになっています。
グリッド・サーチの生成
では、グリッド・サーチを生成します。
from sklearn.ensemble import AdaBoostClassifier
from sklearn.model_selection import GridSearchCV
# グリッドサーチの設定
grid_search = GridSearchCV(estimator=AdaBoostClassifier(algorithm='SAMME'),
param_grid=param_grid,
cv=5,
scoring='accuracy')CVはクロスバリデーション(Cross Validation、交差検証)の略です。これも以前にこちらで解説しました。
簡単に解説すると、クロスバリデーションは、モデルの性能をより正確に評価するために用いられ、データセットを複数の小さなグループに分割し、それぞれのグループをテストセットとして使用する手法です。
`cv`が指定されていない場合のデフォルトでは、データセットを5つのグループに分割します。5つのグループのうちの一つがテスト用として使われます。また、それぞれのグループが一度はテストセットとして使用されます。
今回は、明示的にcv=5と指定していますが、指定しなくともデフォルトは5が使われます。
なお、scoring = 'accuracy' と指定しているのは、モデルの評価を行うために正解率(accuracy)を使いたいからです。他にも、たくさんのオプションがあり、こちらで調べることができます。
グリッド・サーチの実行
訓練用のデータセットを使ってグリッド・サーチを実行します。
# トレーニングデータを用いてグリッドサーチを実行
grid_search.fit(X_train, y_train)たったこれだけです。モデルを訓練データにフィットさせるのと全く同じ形式になっています。
これによって、個の組み合わせを試しています。コンピュータの性能によっては結構時間がかかるかもしれません。
その場合は、GridSearchCVを生成するときに並列に走らせるジョブの数を指定すると速くなるかもしれません。
例えば、こんな感じです。
grid_search = GridSearchCV(
estimator=AdaBoostClassifier(algorithm='SAMME'),
param_grid=param_grid,
cv=5,
scoring='accuracy',
n_jobs=2)n_jobs = -1 と指定すると使えるプロセッサを全て使います。必要に応じて指定してください。
実行した後は、最適なパラメータを見てみましょう。
# 最適なハイパーパラメータを表示
print(f"Best parameters: {grid_search.best_params_}")結果は次のようになりました。
Best parameters: {'estimator': DecisionTreeClassifier(max_depth=5), 'learning_rate': 1.0, 'n_estimators': 200}
最適なモデルの評価
最適なモデルは次のように取り出すことができます。
# 最適なモデル
best_model = grid_search.best_estimator_では、テストデータで評価してみます。
from sklearn.metrics import accuracy_score
# 最適なモデルを用いてテストデータを予測
y_pred = best_model.predict(X_test)
# 予測精度を表示
accuracy = accuracy_score(y_test, y_pred)
print(f"Test set accuracy: {accuracy:.2f}")結果は次のようになりました。
Test set accuracy: 0.99
クラスごとの評価も確認してみましょう。
from sklearn.metrics import classification_report
print(classification_report(y_test, y_pred))
前回と比べるとずっと良い成績になりました。
ランダム・サーチ
なぜランダム・サーチ?
グリッド・サーチでは、ハイパーパラメータのすべての値の組み合わせを実行するため、ハイパーパラメータの数や値の数が多いいと時間がかかります。
そこで、ランダム・サーチではランダムな組み合わせを指定された回数だけ試します。よって、全体的な計算時間を大幅に削減することが可能です。
しかし、見逃す組み合わせもあるわけで、それなら少し我慢してグリッド・サーチをすれば良いと思われるかもしれません。確かに、待つことができるならばそれでも大丈夫です。
ただし、グリッド・サーチよりも広範な範囲をカバーしたいとか、選択肢を増やしたい場合は、ランダム・サーチならばパラメータ空間全体をランダムに探索するため、グリッド・サーチでは見つけにくい良いハイパーパラメータの組み合わせを見つけられる可能性が有ります。
また、最初は広い範囲で良さそうな組み合わせがどの辺にあるのかを観察したい場合も時間の節約になります。
例えば、初期のランダムサーチで良好な結果を得たパラメータ範囲に焦点を絞ってからグリッドサーチを行うことで、より精密な最適化が可能となります。
ハイパーパラメータの準備
次のように、ハイパーパラメータの候補値を準備しました。
import numpy as np
param_distributions = {
# 弱学習器の数を50から500(未満)まで50ずつ変えてみる
'n_estimators': np.arange(50, 500, 50),
# 学習率を0.001から1まで対数スケールで変えてみる
'learning_rate': np.logspace(-3, 0, 20),
# 弱学習器である決定機の深さを1から10まで変えてみる
'estimator': [
DecisionTreeClassifier(max_depth=d) for d in range(1, 11)
]
}学習率は、ベース10の対数のスケールで、からまでを20分割して指定しており、実際の値のリストは次のようになります。
[0.001 , 0.00143845, 0.00206914, 0.00297635, 0.00428133,
0.00615848, 0.00885867, 0.01274275, 0.01832981, 0.02636651,
0.0379269 , 0.05455595, 0.078476 , 0.11288379, 0.16237767,
0.23357215, 0.33598183, 0.48329302, 0.6951928 , 1. ]確率分布による指定
なお、ランダム・サーチの値は、確率分布で指定することも可能です。
例えば、scipy.stats からのnormを使うことができます。
from scipy.stats import norm
param_distributions = {
'n_estimators': np.arange(50, 500, 10),
# 平均0.1、標準偏差0.05の正規分布からサンプリング
'learning_rate': norm(loc=0.1, scale=0.05),
...
}ランダムサーチで使用できる代表的な確率分布には以下のようなものがあります。
均等分布(Uniform Distribution):scipy.stats.uniform
対数均等分布(Log-Uniform Distribution):scipy.stats.loguniform
正規分布(Normal Distribution):scipy.stats.norm
指数分布(Exponential Distribution):scipy.stats.expon
整数の範囲(Integer Range):scipy.stats.randint
これらを使うことで、ハイパーパラメータの値は確率分布からサンプルされるようになります。
ランダム・サーチの実行
ランダム・サーチの生成は、グリッド・サーチと同じですが、準備したパラメータの指定するときに、param_grid ではなく、param_distributions を指定します。
from sklearn.model_selection import RandomizedSearchCV
# ランダムサーチの設定
random_search = RandomizedSearchCV(
estimator=AdaBoostClassifier(algorithm='SAMME'),
# パラメータ名の違いに注意
param_distributions=param_distributions,
# イテレーションの数と乱数シードを指定
n_iter=20,
random_state=42,
cv=5,
scoring='accuracy',
n_jobs=-1)また、試す回数としてイテレーション(n_iter)と乱数シード(random_state)を指定します。
この例では、n_iter=20 により、20回のランダムサーチを行うよう設定しています。
では、実行しましょう。
# トレーニングデータを用いてランダムサーチを実行
random_search.fit(X_train, y_train)
# 最適なハイパーパラメータを表示
print(f"Best parameters from Random Search: {random_search.best_params_}")Best parameters from Random Search: {'n_estimators': 150, 'learning_rate': 1.0, 'estimator': DecisionTreeClassifier(max_depth=7)}
ベストなハイパーパラメータの組み合わせは、グリッド・サーチとは異なるものになりました。グリッド・サーチでは指定されていなかった max_depth = 7 が選ばれています。
グリッド・サーチで同じ範囲の値を試していたら結構な時間がかかっていたでしょう。
最適なモデルの評価
random_search.best_estimator_ で最適なモデルを取り出し、テストデータで評価してみます。
from sklearn.metrics import accuracy_score
# 最適なモデルを用いてテストデータを予測
best_model = random_search.best_estimator_
y_pred = best_model.predict(X_test)
# 予測精度を表示
accuracy = accuracy_score(y_test, y_pred)
print(f"Test set accuracy: {accuracy:.2f}")結果は次のようになりました。
Test set accuracy: 0.99
これはグリッド・サーチと同じ結果になりました。すでに高得点なので差が見られません。
クラスごとの評価も確認してみましょう。
from sklearn.metrics import classification_report
print(classification_report(y_test, y_pred))
多少異なるところもありますが、大方グリッド・サーチと同様の結果となりました。
次回予告
次回は、アダブーストのようにブースティングの一種である、勾配ブースティング(Gradient Boosting)を紹介します。
お楽しみに!