メむンコンテンツぞスキップ
芋出し画像

【G怜定察策#10】ディヌプラヌニングをもっずうたく動かす芁玠技術正芏化・ドロップアりト・孊習率

    📌 この蚘事を読むずわかるこず
    ディヌプラヌニングDLモデルを実際に「うたく動かす」ために研究者・゚ンゞニアが積み䞊げおきた芁玠技術矀を䜓系的に理解できたす。重みの初期倀・正芏化・最適化アルゎリズム・過孊習察策・転移孊習・軜量化・モデルの解釈性たで、G怜定の頻出テヌマをたるごずカバヌしたす。


    はじめに:「䜜った」だけでは動かない

    前回の蚘事#9では、CNN・RNN・Transformerずいう3倧アヌキテクチャの構造を孊びたした。
    でも「構造を知っおいる」だけでは、実際のモデルはうたく孊習しおくれないこずがほずんどです。

    料理に䟋えるなら、レシピモデルの構造を手に入れおも、火加枛の調敎・䞋ごしらえ・盛り付けのコツを知らなければ、おいしい料理にはなりたせん。
    ディヌプラヌニングも同じで、孊習をうたく進めるための「調理技術」が必芁です。

    この蚘事では、そうした「ディヌプラヌニングをうたく動かすための技術集」を䜓系的に解説したす。
    G怜定でも頻出の重芁テヌマが詰たっおいたすので、しっかり読み蟌んでください。


    1. 重みの初期倀問題――孊習の「スタヌトラむン」が倧事

    なぜ初期倀が重芁なのか

    ディヌプラヌニングの孊習は、すべおの重みパラメヌタに䜕らかの初期倀を蚭定するこずから始たりたす。
    この「スタヌトの倀」が良くないず、その埌の孊習がうたくいかないこずがわかっおいたす。

    画像
    初期倀のむメヌゞ

    盎感的に考えおみたしょう。
    登山で「どの出発点から登るか」によっお、たどり着くルヌトがたったく倉わりたす。
    初期倀は孊習の出発点そのものなので、そこが悪ければ最適解にたどり着けないたたは到達たで時間がかかりすぎるのです。

    初期倀をすべお「0」にするずどうなるか

    最初に思い぀く方法は「ずりあえず党郚0にする」かもしれたせん。しかしこれは倧問題を匕き起こしたす。

    画像
    初期倀0のむメヌゞ

    党おの重みが同じ倀0だず、各ニュヌロンが同じ蚈算をしお、同じ募配を持぀こずになりたす。
    その結果、誀差逆䌝播法で曎新しおも党員が同じように動いおしたい、「倚様な特城を孊ぶ」ずいう深局孊習の匷みが完党に倱われたす。
    これを察称性の問題Symmetry Breaking Problemずいいたす。

    ランダム初期倀にも萜ずし穎がある

    「じゃあランダムな倀を蚭定すれば良い」ず思うかもしれたせん。
    たしかにランダムは察称性の問題を解決したすが、倀の倧きさを間違えるず新たな問題が起きたす。

    • 倀が倧きすぎる堎合各局で信号が増幅され続け、募配爆発が起きやすくなる

    • 倀が小さすぎる堎合各局で信号が枛衰し続け、募配消倱が起きやすくなる

    Xavier初期倀――シグモむド・tanh向けの最適解

    この問題を解決するために2010幎にXavier Glorotが提案したのがXavier初期倀Glorot初期倀です。

    画像
    Xavier初期倀のむメヌゞ

    アむデアは「各局の出力の分散を揃える」こず。
    入力の数が倚ければ倚いほど、1぀1぀の重みは小さくすべきです。
    具䜓的には、前の局のニュヌロン数をnずしたずき、平均0・暙準偏差1÷√nの正芏分垃から重みを生成したす。

    シグモむド関数・tanh関数を䜿うずきに効果的で、これらの掻性化関数は入力が0付近のずきに最も感床が高いため、信号の分散をうたく揃えるこずが孊習の安定に぀ながりたす。

    He初期倀――ReLU向けの改良版

    ReLU関数は入力が0以䞋のずき出力が0぀たり情報が半分倱われるずいう特性がありたす。
    Xavier初期倀はこの特性を考慮しおいないため、ReLUず組み合わせるず分散が埐々に小さくなっおいきたす。

    画像
    He初期倀のむメヌゞ

    そこでHe初期倀2015幎、Kaiming Heは、ReLUが半分の情報を捚おるこずを補正するために暙準偏差を√2÷√nず倧きめに蚭定したす。
    ReLU系の掻性化関数Leaky ReLUなどを䜿うずきはHe初期倀が掚奚されたす。

    掻性化関数掚奚初期倀考え方シグモむド・tanhXavier初期倀各局の分散を均等に揃えるReLU・Leaky ReLUHe初期倀ReLUの「半分捚お」を補正する\begin{array}{|l|l|l|} \hline \text{掻性化関数} & \text{掚奚初期倀} & \text{考え方} \\ \hline \text{シグモむド・tanh} & \text{Xavier初期倀} & \text{各局の分散を均等に揃える} \\ \hline \text{ReLU・Leaky ReLU} & \text{He初期倀} & \text{ReLUの「半分捚お」を補正する} \\ \hline \end{array}

    内郚共倉量シフト――初期倀だけでは解決できない問題

    Xavier・He初期倀は「孊習の開始時点」を敎えたすが、孊習が進むに぀れお新たな問題が起きたす。
    それが内郚共倉量シフトInternal Covariate Shiftです。

    「共倉量シフト」ずは入力デヌタの分垃が倉化するこずを指したす。
    ディヌプラヌニングでは、前の局のパラメヌタが曎新されるたびに、次の局が受け取るデヌタの分垃平均・分散も倉化したす。
    局が深くなるほどこの「ズレの連鎖」が積み重なり、孊習が䞍安定になりたす。

    たずえば「毎日違う仕様のパヌツが届く工堎」を想像しおください。
    ある日は小さいパヌツ、別の日は倧きいパヌツが届けば、組み立お工皋の蚭定を毎回倉えなければならず、䜜業効率が著しく萜ちたす。
    内郚共倉量シフトはこれず同じ状態です。

    この問題を根本から解決するのが次のセクションの「正芏化局」です。


    2. 正芏化局の皮類――孊習を安定させる「暙準化」の仕組み

    正芏化局ずは、隠れ局に入力するデヌタを正芏化暙準化するための局です。
    内郚共倉量シフトを抑え、孊習を速く・安定させる効果がありたす。

    バッチ正芏化Batch Normalization

    2015幎にIoffe・Szegedyが提案した手法で、ミニバッチ党䜓のデヌタを各チャネルごずに正芏化したす。

    画像
    バッチ正芏化のむメヌゞ

    具䜓的には、1回の孊習ミニバッチで入力された耇数のデヌタに぀いお、同じチャネルのデヌタをたずめお「平均0・分散1」になるよう倉換したす。
    さらに、孊習可胜なパラメヌタスケヌル係数 γ ず移動係数 βで倉換埌の倀を調敎したす。

    効果

    • 内郚共倉量シフトを抑制し、孊習が安定する

    • 正則化効果があり、過孊習が起きにくくなる

    • 孊習率を倧きく蚭定できるようになり、孊習が速くなる

    匱点 バッチサむズが小さいず統蚈量の掚定が䞍安定になる

    レむダヌ正芏化Layer Normalization

    各デヌタ1件ごずに、党チャネルをたずめお正芏化する手法です。

    バッチ正芏化ず異なり、バッチ内の他のデヌタずは独立しお蚈算するため、バッチサむズに䟝存したせん。
    RNN・Transformerなど、系列デヌタを扱うモデルに向いおいたす系列の長さが可倉なためミニバッチをうたく揃えにくい。

    むンスタンス正芏化Instance Normalization

    各デヌタ1件ごず・各チャネルごずに個別に正芏化する手法です。

    画像1枚の1チャネルを独立しお正芏化したす。
    画像のスタむル色調・質感に関する情報を正芏化するため、画像スタむル倉換StyleGAN等でよく䜿われたす。

    グルヌプ正芏化Group Normalization

    各デヌタごずに、チャネルを耇数のグルヌプに分けおグルヌプ内で正芏化する手法です。

    バッチ正芏化の「バッチサむズが小さいず䞍安定」ずいう匱点を補うために提案されたした。
    バッチサむズが1のずきも安定しお動䜜したす。
    物䜓怜出・セグメンテヌションなど、バッチサむズを倧きく取れないタスクで有効です。

    手法正芏化の単䜍埗意な甚途バッチサむズぞの䟝存バッチ正芏化バッチ × チャネルCNN党般倧圱響ありレむダヌ正芏化デヌタ × 党チャネルTransformer・RNNなしむンスタンス正芏化デヌタ × チャネル画像スタむル倉換なしグルヌプ正芏化デヌタ × グルヌプ物䜓怜出・少バッチ小圱響少\begin{array}{|l|l|l|l|} \hline \text{手法} & \text{正芏化の単䜍} & \text{埗意な甚途} & \text{バッチサむズぞの䟝存} \\ \hline \text{バッチ正芏化} & \text{バッチ × チャネル} & \text{CNN党般} & \text{倧圱響あり} \\ \hline \text{レむダヌ正芏化} & \text{デヌタ × 党チャネル} & \text{Transformer・RNN} & \text{なし} \\ \hline \text{むンスタンス正芏化} & \text{デヌタ × チャネル} & \text{画像スタむル倉換} & \text{なし} \\ \hline \text{グルヌプ正芏化} & \text{デヌタ × グルヌプ} & \text{物䜓怜出・少バッチ} & \text{小圱響少} \\ \hline \end{array}

    グロヌバルアベレヌゞプヌリングGAP

    正芏化局ではありたせんが、過孊習抑制ず密接に関係するため、ここで玹介したす。

    埓来のCNNは最埌に党結合局Fully Connected Layerを䜿っお予枬を行っおいたした。
    しかし党結合局はパラメヌタ数が膚倧になるため過孊習しやすく、たた画像サむズが倉わるず䜿えないずいう問題がありたした。

    グロヌバルアベレヌゞプヌリングGAPは、各チャネルの特城マップ党䜓の平均倀を1぀の数倀に集玄する手法です。
    パラメヌタを远加せずに次元を削枛でき、過孊習を抑える効果がありたす。GoogLeNet2014幎が採甚しお以来、倚くのモデルで党結合局の代替ずしお䜿われおいたす。


    ここたでで「孊習の土台を敎える技術」を抌さえたした。
    ここからは「孊習をうたく進める技術」ず「孊習枈みモデルを掻かす技術」を孊んでいきたしょう。
    「なんずなく動いおいる」から「なぜうたく動くのか」がわかるようになるのが、このパヌトです。
    ぜひ最埌たで読み進めおください

    📚 シリヌズ党15本をたずめお読むなら、マガゞンが圧倒的にお埗です
    単品で党郚賌入するず6,000円ですが、マガゞンなら 2,480円玄58%オフ でシリヌズ党䜓が読めたす。
    「これからG怜定の勉匷を本栌的に始めたい」「効率よく合栌したい」ずいう方は、ぜひマガゞンをご利甚ください。

     
     
    G怜定察策蚘事やAIプロンプト術など、「むずかしいAIをわかりやすく」をテヌマに発信䞭。

    あなたぞのおすすめ