メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㊸ガウス過程

    前回は、TruncatedSVDを実例を交えて紹介しました。また、PCAやt-SNEとの違いも解説しました。今回は、ガウス過程の解説をします。

    「ガウス過程」という名前からは、何となく「データをガウス分布に当てはめるのかな?」という印象を持つかもしれませんが、実際には少し違います。

    ガウス過程では、「関数そのものに確率分布を定義する」ことで、予測値とその不確実性の両方を同時に扱うことができます。

    とはいえ、いきなり理論から入ると少しとっつきにくいかもしれません。

    そこで今回は、まずは実演を通じて、ガウス過程がどのように機能するのかを見ていくところから始めます。

    まずはガウス過程を使ってみる

    Python環境の設定

    Pythonの仮想環境を作ってscikit-learnとJupyterなど必要なライブラリをインストールします。

    # 作業フォルダを作って、そこへ移動する
    mkdir gp_test
    cd gp_test
    
    # 仮想環境を作り、アクティベートする
    python3 -m venv venv
    source venv/bin/activate
    
    # pip をアップグレードしておく
    pip install --upgrade pip
    
    # 必要なライブラリをインストール
    pip install numpy scikit-learn pandas jupyter matplotlib matplotlib-fontja

    `matplotlib-fontja`は、matplotlibで日本語を使うためです。

    Jupyterを立ち上げるか、vscode内で新規に作った.ipynbファイルを開いてセルを追加しながら実行していくスタイルを想定しています。

    正弦関数データの準備

    使うデータとして、正弦関数sin⁡(x)\sin(x)にノイズを加えたものを準備します。

    import numpy as np
    
    np.random.seed(42)  # 乱数シードの設定
    
    # ノイズ入り正弦関数(sin)データの作成
    x = np.linspace(0, 10, 50)
    y = np.sin(x) + 0.1 * np.random.randn(len(x))

    0から10の間で等間隔にとった50個の点をxxとしています。それに対して、正弦関数の値sin⁡(x)\sin(x)を計算しノイズを追加しています。

    なお、np.random.randn で標準正規分布からのランダムな値を 0.1 倍に縮小したしたものをノイズとして加えています。

    また、はじめに乱数シードを固定して再現性を確保しています。

    これを可視化します。

    import matplotlib.pyplot as plt
    import matplotlib_fontja  # 日本語フォントサポート
    
    
    # 可視化
    plt.figure()
    plt.scatter(x, y, c='k', s=1, label='ノイズ入りデータ')
    plt.plot(x, np.sin(x), 'r-', label='正弦関数')
    plt.xlabel("x")
    plt.ylabel("y")
    plt.legend()
    plt.title("ノイズ入り正弦関数(sin)データ")
    plt.show()
    画像

    グラフ中の黒い点が、学習データ(ノイズ付き)、赤が本来の関数を示しています。この黒い点だけを入力としてモデルを訓練します。

    ガウス過程による回帰

    ガウス過程ではカーネルを指定します。

    from sklearn.gaussian_process.kernels import RBF, WhiteKernel
    
    
    # カーネルの定義(RBF + ノイズ)
    kernel = RBF(length_scale=1.0) + WhiteKernel(noise_level=0.1)

    ここでは、2つのカーネル(関数)を指定しています。

    • RBF

    • WhiteKernel

    この二つのカーネルをガウス過程(Gaussian Process)モデルに指定します。

    from sklearn.gaussian_process import GaussianProcessRegressor
    
    # ガウス過程(Gaussian Process)モデルの学習
    gp = GaussianProcessRegressor(kernel=kernel)

    なお、scikit-learn では、入力データは、2次元配列(データ数 x 特徴量数)である必要があるので、最初にデータの整形を行ないます。

    # データの整形
    X = x.reshape(-1, 1)  # 2次元配列に変換 (scikit-learnの要件)

    特徴量はxxの1種類だけなので、x.reshape(-1, 1) としています。

    モデルにXXとyyを渡してフィットさせます。

    gp.fit(X, y)

    モデルは、データ全体がうまく説明できるように、内部でカーネルのパラメータを調節します。学習はこれで終了です。

    では、モデルを評価するためのテストデータを準備しましょう。

    # テストデータの生成
    x_test = np.linspace(0, 10, 1000)
    X_test = x_test.reshape(-1, 1)

    ここでは1000個の入力データを準備しました。

    少ない入力データでも予測はできますが、多いほうが可視化したときに点のつながりがよりスムーズに見えます。

    次のように推論を行います。

    # テストデータでの予測
    y_pred, sigma = gp.predict(X_test, return_std=True)

    return_std = True とすることで、標準偏差も取得することができます。つまり、予測された数値 y_pred は平均的に期待される値であって、その不確実性が sigma の数値になります。これらの値は入力データごとです。

    可視化するのが一番わかりやすいです。

    # ガウス回帰の結果を可視化
    plt.figure()
    plt.scatter(x, y, c='k', s=1, label='ノイズ入りデータ')
    plt.plot(x, np.sin(x), 'r-', label='正弦関数')
    plt.plot(x_test, y_pred, 'b', label='予測平均')
    plt.fill_between(x_test, y_pred - sigma, y_pred + sigma,
                     alpha=0.2, label='±1σ 信頼区間')
    plt.xlabel("x")
    plt.ylabel("y")
    plt.legend()
    plt.title("ガウス過程回帰の結果")
    plt.show()
    画像

    青い線がガウス過程モデルが予測したものです。赤い線の正弦関数をかなり良く近似しています。あの少ない学習データで、知らない関数をうまく表現しています。

    水色の帯は、予測された平均値の上下に標準偏差の値を足した(引いた)範囲、つまり予測の不確実性を表しています。特に正弦波の頂点や谷底付近では帯が広がっているのがわかります。なぜこのように不確実性が変化するのかについては、後ほど詳しく解説します。

    要点としては、ガウス過程によって各入力点におけるガウス分布(出力の平均値とその標準偏差)が予想されているということです。

    この結果からガウス過程のイメージは、以下のようにまとめられます。

    • 複数のカーネルのパラメータを調節して学習データの形状に合わせる

    • 推論では、予測値(平均値)と不確実性(標準偏差)を取得可能

    ここまでは「ガウス過程が何をしているか」を実践して紹介しました。

    次は、「カーネルは何をしているのか」を解説します。

    カーネルの役割と仕組み

    ここではガウス過程の仕組みと、それを支えるカーネルの役割を解説します。

    カーネルによる形状表現

    ガウス過程は、カーネルを使ってデータの背後にある関数の「形状」を学ぼうとします。これがどう行われるのかは後述しますが、異なるカーネルでは想定している形状が変わっています。

    また、カーネルは内部に調整可能なパラメータを持っています。

    ガウス過程は学習時にこれらのパラメータを自動的に調整し、データをよりよく説明できるように最適化します。

    ちょっと話が抽象的にすぎるので、すでに使った RBF と WhiteKernel の定義をみていきましょう。

    RBFカーネルの仕組み

    RBFカーネルは、次の関数を使って2つの入力データ点の類似度を数値化します。

    kRBF(xi,xj)=exp⁡(−(xi−xj)22[length_scale]2)k_\text{RBF}(x_i, x_j) = \exp \Biggl( - \frac{(x_i - x_j)^2}{2 [\text{length\_scale}]^2} \Biggr)

    (xi−xj)2(x_i - x_j)^2は、距離(ユークリッド距離)の2乗です。指数関数exp⁡\expの中にマイナスが付いているので距離が離れるほど全体としてゼロに近づきます。

    逆に、2つのデータ点の距離が0に近づくほど、指数関数は1に近づきます。

    つまり、RBFカーネルは、「距離が近い点どうしは関係が強い」「距離が遠い点どうしは関係が薄い」とみなすカーネルです。よって、入力値が近ければ、出力値も近いことを関数の形状として想定しています。

    ここまで読んでしっくりこなくとも、ガウス過程の理論の説明の所で腑に落ちると思います。ここでは、RBFカーネルは2点の距離が近いほど1に近づき、遠いほど0に近づくとだけ理解してください。

    なお、[length_scale][\text{length\_scale}]は、データ点同士の距離のスケールを決めるパラメータであり、学習中に最適化されます。

    パラメータの最適化

    先ほどの実践時に、RBFカーネルに length_scale = 1.0 と指定しました。

    # カーネルの定義(RBF + ノイズ)
    kernel = RBF(length_scale=1.0) + WhiteKernel(noise_level=0.1)

    RBFのデフォルトでは、このスケール値を初期値として受け取り、データに合わせて自動調節(最適化)していきます。

    調節されたスケールの値は、学習(フィット)の後にプリントして確認できます。

    print(gp.kernel_)

    次のように、length_scale = 1.89 と初期値よりも大きくなったのがわかります。

    RBF(length_scale=1.89) + WhiteKernel(noise_level=0.00848)

    なお、WhiteKernel の noise_level も同様に最適化されるパラメータです。

    また、パラメータの最適化の範囲を指定することもできます。

    RBF(length_scale=1.0, length_scale_bounds=(1e-2, 1e2))  # 0.01 から 100

    さらに、パラメータとして固定値を使いたい場合は、optimizer = None を指定して自動調節を無効にできます。

    gp = GaussianProcessRegressor(kernel=kernel, optimizer=None)

    最適化で選べるのは、デフォルトの optimizer = 'fmin_l_bfgs_b' か自分で設定した関数になります。デフォルトの場合は、scipy.optimize.minimize(method = "L-BFGS-B") が使われます。

    参考:公式ドキュメント

    この最適化の目的は「モデルが仮定する各点における出力のガウス分布が、実際の観測データをできるだけよく説明する」ようにカーネルのパラメータを調整することです。

    数学的にいうと、モデルの尤度を最大化しています。つまり、モデル(カーネル群とそのパラメータ)による確率分布によって、実際のデータを観測する確率が高くなるようにパラメータを最適化します。

    ただし、押さえるべきポイントは、カーネルによる想定をもとにデータをうまく説明できるようにパラメータが自動調節されることです。

    次に、WhiteKernel の定義を見ていきましょう。

    ホワイトカーネルの仕組み

    WhiteKernel(ホワイトカーネル)は、出力値のばらつき(=観測誤差、ノイズ)をモデルに組み込むためのカーネルです。

    kWhite(xi,xj)=[noise_level]⋅δijk_\text{White}(x_i, x_j) = [\text{noise\_level}] \cdot \delta_{ij}

    • [noise_level][\text{noise\_level}]:ノイズの度合い(ばらつきの大きさ)

    • δij\delta_{ij}:クロネッカーのデルタ(i=ji = jなら1、そうでなければ0)

    文字通りに理解すると、同じデータ点同士(i=ji=j)の時だけ、ノイズがあるということです。つまり、データ点固有のノイズを表現しています。

    RBFが「この2つの入力はどれくらい似ているか?」という、点どうしの関係性の強さを表現するのに対して、WhiteKernel はそれとは逆に「このデータ点は他の点との関係にかかわらず、もともとこれくらいはバラつくものだ」という想定をしています。

    ちなみに、先ほどの実験をホワイトノイズなしに行うとこんな結果になります。

    # カーネルの定義(RBFだけ)
    kernel = RBF(length_scale=1.0)
    
    # ガウス過程(Gaussian Process)モデルの学習
    gp = GaussianProcessRegressor(kernel=kernel)
    gp.fit(X, y)
    
    # テストデータでの予測
    y_pred, sigma = gp.predict(X_test, return_std=True)

    以前と同様に可視化した結果が以下になります。

    画像

    これをみると、ガウス過程による予測が横一直線(青線)になっています。また、不確実性の帯がほぼデータ全体を覆っています。

    つまり、RBFカーネルだけ(WhiteKernelなし)で学習したガウス過程モデルは、まったく何も学習していないかのように見えます。

    学習データを見れば明らかなように、データ点にはばらつき(ノイズ)が含まれています。しかし、WhiteKernel を使っていないため、モデルはこのばらつきをノイズとはみなさず、すべて誤差のない正確な値だとして扱います。

    つまり、誤差があるかもしれないという想定が欠如しています。

    とすると、近いデータ点同士の出力は近くにある必要があります。しかし、実際にはノイズのために近いデータでも遠くに離れているケースもあります。これに対応するには、length_scale パラメータをできるだけ小さくして、2つのデータ点がすごく近い時だけ、出力値も近くなるという判断をするしかありません。

    しかし、RBFカーネルの length_scale パラメータをいくら調整しても、
    このバラバラな点をうまく説明できず、モデルが行き詰まってしまいます。

    学習後のカーネルのパラメータを確認すると次のようになっています。

    gp.kernel_
    RBF(length_scale=1e-05)

    近いと見做されるスケールが非常に小さく(l=0.00001l = 0.00001)という非常に小さい値が選ばれており、RBFカーネルにとっては「どの2点も遠くて無関係」とみなすような設定になっています。

    kRBF(xi,xj)=exp⁡(−(xi−xj)22[length_scale]2)k_\text{RBF}(x_i, x_j) = \exp \Biggl( - \frac{(x_i - x_j)^2}{2 [\text{length\_scale}]^2} \Biggr)

    この式では、length_scale\text{length\_scale} が極端に小さいと、たとえ xix_i​ と xjx_j​ が近くても、分母が小さいので分数の値は非常に大きくなります。また、マイナスがついているので指数関数の値はほぼゼロになります。つまり、「全部バラバラすぎて相関なんかない」と判断してしまっているというわけです。

    このように、RBFカーネルだけでは、ノイズを含むデータをうまく説明できない場合があります。WhiteKernel を加えることで、「これはノイズかも」と判断できるようになり、より柔軟で正確な予測が可能になります。

    そしてノイズの大きさは、WhiteKernel の noise_level パラメータを通して自動的に調節されます。

    他にもカーネルは複数ありますが、このままカーネルの紹介を続けるよりも、ガウス過程の仕組みを解説した方が、より理解が深まります。

    そこで次は、「ガウス過程」の理論的な側面を解説します。

    ガウス過程の理論と仕組み

    出力をガウス分布として扱う

    ガウス過程では、各入力点に対するモデルの出力をガウス分布として扱います。これはすでに上述のプロットで見ましたが、予測値はガウス分布の平均で、その周りの帯は標準偏差σ\sigmaによる信頼空間を意味しました。

    なので、「ガウス過程」という名前に「ガウス」があるのは納得できます。しかし、「過程」とは何でしょうか。「過程」という言葉は、時間入力に対して変化するものを指すことが多いですが、ここでは一般の入力値に対して、出力のガウス分布が変化していくことを意味します。よって、「ガウス過程」です。

    例えば、ある入力点x1x_1に対して、関数の出力f(x1)f(x_1)が次のようにガウス分布に従ってランダムに決まるとします。

    f(x1)∼N(μ(x1),σ2(x1))f(x_1) \sim \mathcal{N}(\mu(x_1), \sigma^2(x_1))

    ここで注目して欲しいのは、平均μ\muと分散σ2\sigma^2が両方とも入力データによって決まるということです。こうすることで、各データ点における平均的な出力値とその不確実性を扱うことができます。

    ただし、これだけだと、データ点同士の関係を反映していないので、次のように2つの入力点x1,x2x_1, x_2に関して関数値を考えてみます。

    [f(x1)f(x2)]∼N([μ(x1)μ(x2)],[σ2(x1)cov(x1,x2)cov(x2,x1)σ2(x2)])\begin{bmatrix} f(x_1) \\[1ex] f(x_2) \end{bmatrix} \sim \mathcal{N}\left( \begin{bmatrix} \mu(x_1) \\[1ex] \mu(x_2) \end{bmatrix}, \begin{bmatrix} \sigma^2(x_1) & \text{cov}(x_1, x_2) \\[1ex] \text{cov}(x_2, x_1) & \sigma^2(x_2) \end{bmatrix} \right)

    ここでは、2変数における共分散行列が使われています。

    • 対角成分:各点の分散(ばらつき)

    • 非対角成分:2点の相関(関係の強さ)

    つまり、この2次元ガウス分布に従って、サンプルを1つ引けば、関数ffの2点x1x_1とx2x_2でのサンプル出力値が得られるわけです。

    同様にx1,x2,…,xnx_1, x_2, \ldots, x_nに拡張すれば、関数の形状そのものを「1回のサンプル」として引き出せます。

    [f(x1)f(x2)⋮ f(xn)]∼N([μ(x1)μ(x2)⋮ f(xn)],[σ2(x1)cov(x1,x2)…cov(x1,xn)cov(x2,x1)σ2(x2)…cov(x2,xn) ⋮⋮⋱⋮ cov(xn,x1)σ2(xn)…cov(xn,xn) ])\begin{bmatrix} f(x_1) \\[1ex] f(x_2) \\[1ex] \vdots \\[1ex] f(x_n) \end{bmatrix} \sim \mathcal{N}\left( \begin{bmatrix} \mu(x_1) \\[1ex] \mu(x_2)\\[1ex] \vdots \\[1ex] f(x_n) \end{bmatrix}, \begin{bmatrix} \sigma^2(x_1) & \text{cov}(x_1, x_2) & \ldots & \text{cov}(x_1, x_n) \\[1ex] \text{cov}(x_2, x_1) & \sigma^2(x_2) & \ldots & \text{cov}(x_2, x_n) \\[1ex] \vdots & \vdots & \ddots & \vdots \\[1ex] \text{cov}(x_n, x_1) & \sigma^2(x_n) & \ldots & \text{cov}(x_n, x_n) \\[1ex] \end{bmatrix} \right)

    なお、共分散行列は対称行列なのでcov(xi,xj)=cov(xj,xi)\text{cov}(x_i, x_j) = \text{cov}(x_j, x_i)です。

    一回のサンプルによって、各点のガウス分布に従ってその点での出力を生成することができるので、この確率分布は「関数ffのガウス分布」と呼ばれます。

    しかし、各xix_iにおける観測データyiy_iは一つしか与えられていません。とすると、その統計的な平均や共分散行列を計算することは不可能です。

    そこで、カーネルが登場します。

    カーネルによる共分散行列

    ガウス過程では、経験的な統計量の代わりに、カーネルによる「関係性」の値を使って、関数のガウス分布を構築します。

    すでに見てきたカーネルを使って解説していきます。

    # カーネルの定義(RBF + ノイズ)
    kernel = RBF(length_scale=1.0) + WhiteKernel(noise_level=0.1)

    このように設定されたカーネルは、実はRBFカーネルとWhiteKernelを加算した1つのカーネルとして扱われます。

    数式で書くと以下のように表現されます。

    k(xi,xj)=kRBF(xi,xj)+kWhite(xi,xj)k(x_i, x_j) = k_\text{RBF}(x_i, x_j) + k_\text{White}(x_i, x_j)

    つまり、このカーネルは次の関数の形をしています。

    k(xi,xj)=exp⁡(−(xi−xj)22[length_scale]2)+[noise_level]⋅δijk(x_i, x_j) = \exp \Biggl( - \frac{(x_i - x_j)^2}{2[\text{length\_scale}]^2} \Biggr) + [\text{noise\_level}] \cdot \delta_{ij}

    このように加算によって合成されたカーネルは、出力の関係性が表現されています。RBFカーネルは近い入力点同士の出力値は近くなる(相関が強い)こと表現し、WhiteKernelが各点の独立ノイズを表現しています。

    つまり、関数の出力の相関関係を「連続構造(RBF)+ 独立ノイズ(White)」として分離して考えているわけです。

    カーネルの合成の仕方は、加算だけでなく、乗算など他にも手法があります。

    これらによって、f(xi)f(x_i)とf(xj)f(x_j)の共分散行列の要素を次のように設定します。

    σ2(xi)=k(xi,xi)cov(xi,xj)=k(xi,xj)\begin{aligned} \sigma^2(x_i) &= k(x_i, x_i) \\ \text{cov}(x_i, x_j) &= k(x_i, x_j) \end{aligned}

    これは、実際のデータから計算される統計的な共分散とは異なり、カーネルによって事前に定義された想定による共分散構造です。

    それでも、カーネルのパラメータ(length_scale や noise_level)をデータに合わせて最適化すると、結果的にデータ間の相関をうまく捉えられるようになります。

    こうして、ガウス過程は「予測だけでなく不確実性までわかる」仕組みになっています。

    関数をサンプルしてみる

    上述の例でプロットしているのは、ガウス分布からの平均値のリストとその信頼区間であって、サンプルされたランダムな関数の形ではありません。

    関数をサンプルするには次のように行います。

    まず、ガウス過程を作って学習データにフィットさせます。

    # カーネルの定義(RBF + ノイズ)
    kernel = RBF(length_scale=1.0) + WhiteKernel(noise_level=0.1)
    
    # ガウス過程(Gaussian Process)モデルの学習
    gp = GaussianProcessRegressor(kernel=kernel)
    gp.fit(X, y)

    次に、サンプリングするデータ点を準備します。

    # サンプリング用の入力データ
    x_samples = np.linspace(0, 10, 100)
    X_samples = x_samples.reshape(-1, 1)

    これを使って、関数を3回サンプリングします。

    # 関数のサンプリング
    y_samples = gp.sample_y(X_samples, n_samples=3, random_state=42)

    また、平均と標準偏差を取得しておきます。後でプロットするためです。

    # 平均 + 標準偏差の取得
    y_mean, sigma = gp.predict(X_samples, return_std=True)

    1番目のサンプルを可視化します。

    # ガウス過程の1番目のサンプルを可視化
    
    y_sample1 = y_samples[:, 0]
    
    plt.figure()
    plt.plot(x, np.sin(x), 'r-', label='正弦関数')
    plt.scatter(x_samples, y_sample1, c='b', s=1, alpha=0.5, label='サンプル1')
    plt.fill_between(x_samples, y_mean - sigma, y_mean + sigma,
                     alpha=0.2, label='±1σ 信頼区間')
    plt.xlabel("x")
    plt.ylabel("y")
    plt.title("ガウス過程のサンプル")
    plt.legend()
    plt.show()
    画像

    上のグラフでは、ガウス過程から得られた関数サンプルのうち1本(青線)を表示し、同時に予測値に対する不確実性(±1σ)を灰色の帯で表しています。

    サンプルされた関数は、この帯の中に収まるとは限りませんが、それでもこの標準偏差の帯が「ばらつき」を表す目安になっています。

    なお、これまでデータ点xxをスカラーとして説明してきましたが、ベクトル値でも議論の内容は変わりません。その際は、xix_iは複数の要素を値として持つベクトルになり、距離の2乗の計算も要素間の差の2乗の総和になるだけです。

    次回予告

    これまでに取り上げてきた分類・回帰・クラスタリング・次元削減といった scikit-learn の代表的な手法も、実はガウス過程の枠組みで再現することができます。

    次回は、異なるカーネルの組み合わせを使って、それらのモデルをガウス過程でどのように表現できるかを実験します。さらに、これまで触れてこなかった新しい応用例にも挑戦します。

    お楽しみに!


     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ