メインコンテンツへスキップ
見出し画像

scikit-learn機械学習㉓SVM理論2:ソフト・マージンの導入

    前回は、マージンの最大化によるデータの分類について解説しました。

    しかし、その手法の問題点としてハイパープレーンで完全に2分割できないケースに対応できないことも浮かび上がってきました。

    画像
    線形分離が不可能なデータセット

    そこで今回はソフト・マージンが登場します。その理論的な仕組みと、scikit-learnにおける実装のされ方や過学習への影響などを解説します。

    マージン最大化分類器

    前回のおさらいとして、マージン最大化分類器の基本概念を整理します。

    ハイパープレーン

    マージンの最大化では、データを分類する際に、ハイパープレーンと呼ばれる境界線を設定します。ハイパープレーンは、元の空間よりも1次元下がった部分空間です。

    プレーン(plane)という言葉には「平面」の意味があるので、3次元空間上にあるデータポイント(ベクトル)を平面で2つのグループ(部分空間)に分けるというのが直感的にイメージしやすいです。つまり、3次元空間では平面がハイパープレーンに該当します。

    もちろん、より高次元のnn次元空間にもハイパープレーンの概念を拡張することができます。一般に、nn次元空間ではn−1n-1次元の部分空間がハイパープレーンとなります。

    データ空間を分割するとは、両クラスのデータポイントから最大限離れたハイパープレーンを見つけることです。この最大の余白をマージンと呼びます。マージンは、ハイパープレーンとその最も近いデータポイント(サポート・ベクトル)との距離です。

    図にしやすいように2次元空間で考えると、直線がハイパープレーンです。

    画像

    最も近いデータポイント(サポート・ベクトル)は、上図における点線上にあるデータポイントのことです。上図では、各クラスに一つしかサポート・ベクトルがありませんが、データセットによっては複数もありえます。

    マージンの最大化

    サポート・ベクトルに対して、できるだけ大きなマージンを確保するようにハイパープレーンを調整します。これがマージンの最大化の基本原理です。

    マージンが最大化されるようにハイパープレーンを設定できれば、新しいデータの分類を行えます。そのために、pp次元のデータセットの特徴量から学習する分類器の目的関数は次のように設定します(詳しくは前回の記事を参照して下さい)。

    arg max⁡β0,β1,…,βpM 条件:∑j=1pβj2=1yi(β0+β1xi1+β2xi2+…+βpxip)≥M(i=1,…,n)\begin{aligned} & \argmax\limits_{\beta_0, \beta_1, \ldots, \beta_p} M \\  \\ &\text{条件}:\\ &\sum\limits_{j=1}^p \beta_j^2 = 1 \\ & y_i(\beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \ldots + \beta_p x_{ip}) \geq M \quad (i = 1, \ldots, n) \end{aligned}

    MMはマージンの大きさです。これを最大化するパラメータβ0,β1,…,βp\beta_0, \beta_1, \ldots, \beta_pを見つけます。

    上述の条件で見つかった境界線に基づいて、データポイントの分類を行うことができます。このようなモデルをマージン最大化分類器と呼びます。

    分離不可能なケース

    しかし、訓練データを2つのクラスに分割することが常に可能なわけではありません。

    下図のように、いくら境界線を調節しても、反対側に異なるクラスが出てしまうケースも考えられます(緑で囲ったデータポイント)。

    画像

    この場合は、(絶対値を取らない)距離が負の値になります。とすると目的関数の条件を満たすことができません。だとすると分類器の学習が完了しません。

    サポート・ベクトル分類器

    スラック変数とソフト・マージン

    上述のマージンの最大化では、すべてのデータポイントがハイパープレーンからマージンの外側に配置されることを要求しています。しかし、実際のデータでは、ノイズや外れ値が存在し、完全に線形分離ができないことが多いです。

    また、そもそもデータ分布の本質が線形の境界で分離できるものとは限りません。それでも近似的にある程度は分類できるのであれば、少し制限を緩くして現実的な問題に対応することも有効です。

    ここで、ソフト・マージンが役立ちます。

    ソフト・マージンでは、いくつかのデータポイントがマージンの内側やハイパープレーン(境界)の反対側に位置することを許容します。

    この許容を数値的に制御するパラメータをSSとし、以下のように目的関数に含めます。

    arg max⁡β0,β1,…,βpM 条件:∑j=1pβj2=1yi(β0+β1xi1+β2xi2+…+βpxip)≥M(1−ϵi)(i=1,…,n),ϵi≥0,∑i=1nϵi≤ S\begin{aligned} & \argmax\limits_{\beta_0, \beta_1, \ldots, \beta_p} M \\  \\ &\text{条件}:\\ &\sum\limits_{j=1}^p \beta_j^2 = 1 \\ & y_i(\beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \ldots + \beta_p x_{ip}) \geq M(1 - \epsilon_i) \quad (i = 1, \ldots, n), \\ &\epsilon_i \geq 0, \quad \sum\limits_{i=1}^n \epsilon_i \leq S \end{aligned}

    上式で使われているϵi\epsilon_iはスラック変数(Slack variable)と呼ばれる変数で、各データポイントごとに条件を緩くする正の値ϵ≥0\epsilon \geq 0を指定しています。

    これによって、マージンの条件がM(1−ϵi)M(1 - \epsilon_i)となるので条件を緩くすることができます。これをソフト・マージンと呼びます。

    ただし、制限なく条件を緩めてはマージンとしての意味がないので、スラック変数の和がSSを超えないように∑i=1nϵi≤S\sum\limits_{i=1}^n \epsilon_i \leq Sとしています。SSは、正の値のハイパーパラメータとなります。

    SSの値が大きくなると、各データポイントに対するスラック変数が大きくなることを許すので、結果としてマージンの条件が緩くなります。つまり、マージンの中に含めれるデータポイントの数が多くなります。

    よって、ソフト・マージンでは元々のマージンMMに違反するデータポイントをどの程度許容するのかに関係しています。つまり、ハイパープレーンを使った予測による誤分類をどの程度許すのかに影響します。

    正則化としてのソフト・マージン

    scikit-learn の SVC などの実際の実装では、誤分類に対するペナルティの大きさをCCというパラメータで制御します。これは、違反を許容する度合いをSSとは逆に制御するパラメータと捉えることができます。

    つまり、正則化の一環としてソフト・マージンが導入されています。

    高いCC値は誤分類を強く抑制し、マージンを狭くします。これは、上目的関数におけるCCの値を小さくすることに対応します。

    低いCC値は誤分類を許容し、マージンが広くなります。これは、上目的関数におけるCCの値を大きくすることに対応します。

    では、実際にソフト・マージンがどのような効果をもたらすのかを見ていきましょう。

    次のようなデータがあるとします。

    画像

    まずは、C=100によるマージンの形成を見てみましょう。

    画像
    SVC(kernel='linear', C=100)

    誤分類を減らすためにマージンが狭くなり、境界がよりデータに適合しています。

    次に、C=1の結果を見てみます。

    画像
    SVC(kernel='linear', C=1)

    先ほどよりもマージンが広くなっています。よって、マージンの中に含まれるデータポイントの数が増えています。

    最後に、C=0.1の結果を確認します。

    画像
    SVC(kernel='linear', C=0.1)

    さらに誤分類を許容しながら広いマージンを確保しています。そのため、マージン内により多くのデータポイントが含まれます。

    以上より、CCの調整によるソフト・マージンの挙動の違いが視覚的に理解できました。

    ソフト・マージンで過学習を防ぐ

    これまでの理解より、CCの値はなるべく小さい方が良さそうですが、実はそうでもありません。

    ソフト・マージンには過学習を防ぐ効果もあるからです。

    これを理解するために下図を見て下さい。

    画像

    ここでは、ソフト・マージンなしにマージンの最大化を行なっています。その際、2つの点線はマージンを決めています。しかし、よく考えてみると、これを決めているのはたった2つのデータポイント(サポート・ベクトル)です。

    それ以外のデータポイントはマージンを決めるのに何の効果もありません。

    つまり、サポート・ベクトルとなるデータポイントが少数である場合、これらのポイントがわずかに変わるだけでマージンが大きく変化する可能性があります。特に、ノイズや外れ値がサポート・ベクトルに含まれると、モデルがそれに過度に適合してしまい、過学習が生じる原因となります。

    ソフト・マージンでは誤分類をある程度許容することで、モデルが過度に訓練データに適合することを防ぎ、汎化性能を向上させます。これにより、特異なデータポイントに対する影響が緩和され、モデルがより多くのデータに対して適切に学習できるようになります。

    scikit-learnなどでは、ソフト・マージンが正則化のハイパーパラメータCCを通して実装されており、この機能により、モデルが過度にデータに適合するのを防ぐことができます。

    具体的には、高いCC値は誤分類を強く抑制し、モデルがデータに適合しやすくなる反面、過学習のリスクも高まります。一方、低いCC値は誤分類をある程度許容することで、汎化性能が向上する可能性がありますが、過度に正則化されるとモデルの性能が低下することもあります。

    そのため、グリッド・サーチやランダム・サーチなどの手法を用いて最適な正則化のハイパーパラメータCCを決めることが重要になります。

    線形な境界の問題点

    ソフト・マージンでは、一部のデータポイントがマージンや境界に違反することを許容するため、データが完全に線形分離できない場合でも、学習を完了させることが可能になることがわかりましたが、まだ問題があります。

    線形分離の手法では、非線形なデータを扱えません。

    例えば、こんなデータです。

    画像
    線形分離が不可能なデータ

    さて、どうしたものでしょうか。

    ここで、カーネルという概念が重要となってきます。

    次回予告

    次回は、SVMにおける線形分離が不可能なデータを扱うための仕組みを解説します。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ