メインコンテンツへスキップ
見出し画像

レイヤー正規化とは

    言語モデルで使われるレイヤー正規化(Layer Normalization)は、学習の安定性を高めるための手法です。訓練中にデータの分布(平均や標準偏差)が大きく変動することを防ぎ、学習を安定かつ効率的に進めることができます。

    この目的は、画像処理でよく使われるバッチ正規化(Batch Normalization)と共通しています。しかし、バッチ正規化はバッチ全体で平均と分散を計算するため、入力データごとにシーケンス長が異なる自然言語処理(NLP)のようなタスクには適していません。

    そこでこの記事では、まずバッチ正規化について簡単に紹介し、次にレイヤー正規化がどのようにそれを補う役割を果たしているのかを解説します。

    画像

    最後まで読むとこの表の意味がはっきりと理解できるようになっています。

    バッチ正規化

    バッチ正規化は、ニューロンの出力(活性化)に対して、バッチごとに平均と標準偏差を計算し正規化を行う手法です。これにより、出力が平均0・標準偏差1の分布になるよう調整され、学習が安定しやすくなります。さらに、正規化された値にはスケールγ\gammaとシフトβ\betaという学習可能なパラメータを加えることで、表現の柔軟性も保たれます。

    ただし、バッチ正規化が扱う層の種類によって、その実装には違いがあります。

    線形層(全結合層)

    線形層(Linear Layer)では、各ニューロンに対してバッチ正規化を適用します。

    バッチサイズをNNとすると、同じニューロンから得られるNN個の出力(活性化)に対して、平均と分散を計算します。

    あるニューロンの出力をベクトルx=(x1,x2,…,xN)\boldsymbol{x} = (x_1, x_2, \dots, x_N)とすると、平均E[x]E[\boldsymbol{x}]と分散Var(x)Var(\boldsymbol{x})は以下の式で計算されます。

    E[x]=1N∑i=1Nxi Var(x)=1N ∑i=1N(xi−E[x])2E[\boldsymbol{x}] = \frac{1}{N} \sum\limits_{i=1}^N x_i \\  \\ Var(\boldsymbol{x}) = \frac{1}{N} \sum\limits_{i=1}^N (x_i - E[\boldsymbol{x}])^2

    この平均と分散を用いて、正規化された出力ベクトルx^\hat{\boldsymbol{x}}を計算します。

    x^=x−E[x]Var(x)+ϵ\hat{\boldsymbol{x}} = \frac{\boldsymbol{x} - E[\boldsymbol{x}]}{\sqrt{Var(\boldsymbol{x}) + \epsilon}}

    ここでϵ\epsilon(エプシロン)は、分散がゼロに近い場合に除算によるエラーを防ぐための小さな定数です。コンピュータの計算の精度には限度があるので、ゼロに極めて近い値がゼロと見做される場合もあり、そのようなケースにも対応しています。

    こうして、このニューロンからの各出力はバッチの平均と分散によって正規化されます。

    x^=(x^1, x^2,…, x^N)\hat{\boldsymbol{x}} = (\hat{x}_1, \hat{x}_2, \ldots, \hat{x}_N)

    さらに、正規化された値に調整(スケールとシフト)を加えて、最終的な出力y=(y1,y2,…,yN)\boldsymbol{y} = (y_1, y_2, \ldots, y_N)を得ます。

    y= γ x^+β\boldsymbol{y} = \gamma \, \hat{\boldsymbol{x}} + \beta

    γ\gamma(ガンマ)とβ\beta(ベータ)は、学習によって最適化されるパラメータです。

    数式でまとめると、線形層におけるニューロンのバッチ正規化は次のように表されます。

    y=γx−E[x]Var(x)+ϵ+β\boldsymbol{y} = \gamma \frac{\boldsymbol{x} - E[\boldsymbol{x}]}{\sqrt{Var(\boldsymbol{x}) + \epsilon}} + \beta

    これを各ニューロンに対して個別に実行します。

    γ\gammaとβ\betaは、各ニューロンごとに固有です。したがって、層内のニューロン数がDDであれば、DD個のγ1,γ2,…,γD\gamma_1, \gamma_2, \ldots, \gamma_Dとβ1,β2,…,βD\beta_1, \beta_2, \ldots, \beta_Dが存在します。

    この一連の処理によって、各層の出力(つまり、次の層への入力)の分布が安定し、学習の収束が速くなることが期待されます。

    バッチ正規化がない場合、バッチごとに平均や分散が大きく異なる可能性があり、後続の層から見ると入力の分布がバッチごとにばらついてしまうことになります。すると、各バッチに応じて層の内部パラメータを大きく調整する必要が出てきてしまい、学習が安定しづらくなります。

    バッチ正規化の効果を直感的に捉えると、出力をバッチごとに正規化した上で、スケールとシフトを加えることで、後続の層には常に「扱いやすく、期待される範囲の値」が入力されるようになります。

    これにより、勾配が安定し、パラメータの更新もスムーズになり、学習がより速く・安定して進むようになるわけです。

    畳み込み層

    画像処理でよく使われる畳み込み層(Convolutional Layer)では、チャンネルごとにバッチ正規化を行います。

    そのため、空間位置にわたる平均と分散をバッチ全体で計算します。

    例えば、畳み込み層の出力の形状が(N,C,H,W)(N,C,H,W)とします。

    • NN:バッチサイズ

    • CC:チャンネル数

    • HH:高さ

    • WW:幅

    この場合、各チャンネルCCに対して、全バッチNNと全空間位置H×WH \times Wを対象に平均μc\mu_cと分散σc2\sigma_c^2を求めます。

    μc=1N⋅H⋅W∑n=1N∑h=1H∑w=1Wxn,c,h,wσc2= 1N⋅H⋅W∑n=1N∑h=1H∑w=1W(xn,c,h,w−μc)2\begin{aligned} \mu_c &= \frac{1}{N \cdot H \cdot W} \sum\limits_{n=1}^N \sum\limits_{h=1}^H \sum\limits_{w=1}^W x_{n, c, h, w} \\[5ex] \sigma_c^2 &=  \frac{1}{N \cdot H \cdot W} \sum\limits_{n=1}^N \sum\limits_{h=1}^H \sum\limits_{w=1}^W (x_{n, c, h, w} - \mu_c)^2 \end{aligned}

    これより、正規化された出力は次のように計算されます。

    x^n,c,h,w=xn,c,h,w−μcσc2+ϵ\hat{x}_{n, c, h, w} = \frac{x_{n, c, h, w} - \mu_c}{\sqrt{\sigma_c^2 + \epsilon}}

    これにスケールγc\gamma_cとシフトβc\beta_cを適用して最終的な出力とします。

    yn,c,h,w=γc x^n,c,h,w+βcy_{n,c,h,w} = \gamma_c \, \hat{x}_{n,c,h,w} + \beta_c

    ここで、γc\gamma_cおよびβc\beta_cはチャンネルごとの学習可能なパラメータであり、チャンネル数CCに応じてそれぞれCC個存在します。

    このようにチャンネルごとに統計量を計算するのは、畳み込みの処理において「特徴が現れる位置が異なっても本質的な意味は変わらない」(位置の普遍性がある)ためです。

    位置に依存しないという畳み込みの基本的な性質を考えると、ピクセルごとの統計量で正規化するのは、その前提と相反するともいえます。

    さらに、バッチ全体で平均と分散を求めることで、個々の画像に固有のばらつきが抑えられ、チャンネルごとの出力分布がより安定します。

    そのうえで、スケールγ\gammaとシフトβ\betaを加えることにより、必要な表現の自由度を保ったまま学習を安定させることができます。

    レイヤー正規化

    バッチ正規化が正しく機能するためには、バッチ内のデータ構造(形状)が固定されていることが前提となります。しかし、この前提は「可変長のシーケンスを扱う言語モデルのようなタスク」では成り立ちません。

    この課題を解決するのが、レイヤー正規化(Layer Normalization)です。

    再帰型ニューラルネットワーク

    バッチ正規化は、再帰型ニューラルネットワーク(Recurrent Neural Network、RNN)ではうまく機能しません。

    その理由は主に2つあります。

    まず、RNNにはステップ毎の再帰構造があり、さらに入力されるシーケンス(時系列や文章など)の長さがデータごとに異なるため、バッチ単位での平均や分散を計算することが困難になっています。

    また、仮にバッチ全体の平均や分散が計算できたとしても、異なるシーケンス(例:文章)を混ぜ合わせて統計を取ることになり、意味のある正規化とはいえません。

    このような課題に対処するため、RNNでは各ステップごとに平均と分散を計算し、正規化する手法が用いられます。

    つまり、各ステップで得られる隠れ状態(hidden state)ベクトルに対して、その内部の各要素から平均・分散を計算し、正規化を行います。

    画像
    RNNのステップ毎に正規化

    その後に、スケールとシフトを加えて調整します。

    RNNの隠れ状態の各要素は、それぞれの特徴を表現しているので、スケールγ\gammaとシフトβ\betaのパラメータは、各要素ごとに固有に割り当てられます。

    したがって、隠れ状態ベクトルの次元数がDDであれば、γ\gammaとβ\betaもそれぞれDD個ずつ存在します。

    このように、RNNの層(レイヤー)からの出力ごとに正規化を行なうことから、「レイヤー正規化」と呼ばれています。この手法では、シーケンスごとに長さ(ステップ数)が異なっていても問題になりません。

    また、同じ層が繰り返し使われるRNN構造の中で、各ステップの出力分布が安定し、学習全体の安定性が向上します。

    トランスフォーマー

    トランスフォーマーは言語モデルであり、バッチ正規化ではなくレイヤー正規化を採用しています。

    この設計は、GPTやLlamaなどトランスフォーマーの構造を受け継ぐ多くの言語モデルにも共通しています。

    なぜバッチ正規化では不適切なのか?
    トランスフォーマー系の言語モデルでも訓練時にはバッチ処理が行われますが、各シーケンス(文章)の長さが異なるため、短いものにはパディング(Padding)と呼ばれる意味を持たない特別なトークンが追加されます。

    このような構造の中で、バッチ全体で平均や分散を計算すると、パディング部分が統計量に悪影響を及ぼす可能性があります。

    さらに、仮にパディングがなかったとしても、異なる文章間で平均や分散を取ること自体に、統計的な意味があるとは言えません。

    では、バッチ単位ではなく「シーケンスごとに統計を計算すればよいのでは?」と思うかもしれません。

    しかしそれは結局、異なるトークン間で平均を取ることになり、やはり意味を持たない統計処理です。たとえば「私」「犬」「仲良し」の平均や分散を想像してみてください…無理がありますね。

    これは「トークン間の意味的な関係を無視して単純にベクトルの平均を取る」ことの問題です。実際の学習では、アテンション機構(Attention)が導入されており、各トークンの埋め込みベクトルは文脈に応じた重みで結合されるように設計されています。

    一方で、レイヤー正規化は、各ベクトルのスケールを調整するための処理です。

    まとめると、トークンや文章ごとに意味が大きく異なる自然言語処理では、バッチ単位の正規化は本質的に不自然であり、学習にとって逆効果になりかねないということです。

    参考:トランスフォーマーを理解する

    トランスフォーマーでは、レイヤー正規化を「各トークンごと」に適用します。

    つまり、各トークンが持つ埋め込みベクトルの内部で平均と分散を計算し、そのトークンの各要素を正規化を行います。

    この処理は、単純で計算コストが低く、並列化も可能で効率的です。

    たとえば、512次元の埋め込みベクトルに対しては、512個の値の平均と分散を計算し、各要素の値を正規化します。

    さらにその後、学習可能なスケールγ\gammaとシフトβ\betaのパラメータを適用することで、層ごとの表現の柔軟性を保ちながら、学習を安定性を確保します。

    トランスフォーマーにおいては、各トークンの埋め込みベクトルの各要素が、それぞれ異なる特徴を表現しています。

    そのため、スケールγ\gammaとシフトβ\betaのパラメータは、各要素ごとに個別に割り当てられます。したがって、埋め込みベクトルの次元数がDDであれば、DD個のγ\gammaとβ\betaが存在します。

    このようにレイヤー正規化は、バッチサイズやシーケンス長に依存しないため可変長の文を含む自然言語タスクにも柔軟に対応でき安定した学習が可能になります。

    まとめ

    これまで紹介してきた内容を表にしてまとめました。

    画像

    いずれのケースにおいても、後続の層が一貫性のある分布から意味のある値を受け取ることによって、パラメータ更新の安定性と学習効率を高めています。

    (以上です)

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ