メインコンテンツへスキップ
見出し画像

【第4章:LLMの正体編】第30話:「Attentionだけじゃなかったの!?」Transformer Blockを支えるFeed Forward・Residual・Normalization

    はじめて読む方へ

    こんにちは。CognitiveAIヒロシです。

    このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、

    「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。

    前回、第29話。

    ヒロシは、ついにMulti-Head Attentionまで理解しました。

    一つのAttentionではなく、

    複数のHeadが、異なるQ・K・Vを使って並行して情報を取り込む。

    そして最後に、

    Concatして一つにまとめる。

    ここまで来て、ヒロシは思った。

    「もうTransformerはほぼ理解したな」

    ヨシコが言った。

    「まだ半分くらい」

    ヒロシは固まった。

    「半分?」

    「AttentionだけでTransformerはできてないから」

    「でも論文タイトル、Attention Is All You Needだろ?」

    「タイトルを文字どおり受け取りすぎ」

    ヒロシ、42歳。

    論文タイトルに騙された気分になった。


    1.Attentionの後に、まだ処理がある

    ヨシコがホワイトボードに書いた。

    Multi-Head Attention

    その下に、

    Feed Forward Network

    さらにその横に、

    Residual Connection

    Layer Normalization

    ヒロシが言った。

    「急に部品が増えたな」

    「前からあった」

    「今まで隠してただろ」

    Transformer Blockには、Attentionだけでなく、複数の重要な部品がある。

    かなり単純化すると、

    入力
    ↓
    Multi-Head Attention
    ↓
    Add & Norm
    ↓
    Feed Forward Network
    ↓
    Add & Norm
    ↓
    出力

    という流れで理解するとよい。

    ヒロシは言った。

    「Add & Normって何?」

    「今日はそこまで全部やる」

    「今日、重くない?」

    「ここを超えるとTransformer Blockが一個完成する」

    それを聞いて、ヒロシは少し姿勢を正した。


    2.まずFeed Forward Networkって何?

    ヒロシが一番気になったのは、

    Feed Forward Network

    だった。

    「名前だけなら、普通のニューラルネットワークっぽいな」

    「その理解でいい」

    TransformerのFeed Forward Networkは、各Tokenの表現に対して適用されるニューラルネットワークだ。

    元祖Transformerでは、各位置に対して同じFeed Forward Networkを適用する。

    つまり、

    あるTokenだけ特別扱いするわけではない。

    各Tokenのベクトルを、

    別のベクトル表現へ変換する。

    講義資料では、

    巨大な2層のMLP

    として説明されている。

    ヒロシが聞いた。

    「MLPって何だっけ」

    「Multi-Layer Perceptron」

    「それを聞いてわかると思う?」

    「簡単に言えば、何段かの線形変換と活性化関数を使うニューラルネットワーク」

    ヒロシはメモした。

    Attention:他のTokenから情報を集める

    Feed Forward:集めた情報を各Tokenごとに加工する

    「これでいい?」

    「かなりいい」


    3.AttentionとFeed Forwardは役割が違う

    ヨシコが例を出した。

    文章:

    「ヒロシはAIの本を読んだ。」

    Attentionでは、

    「ヒロシ」

    「AI」

    「本」

    「読んだ」

    などのToken同士の関係を取り込む。

    つまり、

    他Tokenとの情報交換

    が起きる。

    一方、Feed Forwardでは、

    Attentionを通ったあとの各Token表現を、それぞれさらに変換する。

    ヒロシが言った。

    「会議で情報を集めたあと、自分の机に戻って整理する感じ?」

    ヨシコは少し考えた。

    「比喩としては悪くない」

    Attention
    → 会議で他人の情報を集める

    Feed Forward
    → 自分の中で情報を加工する

    「やっぱ会社員の例が一番わかる」

    「あなたはね」


    4.なぜAttentionだけでは足りないのか?

    ヒロシが聞いた。

    「でもさ、Attentionで情報を集めたら終わりじゃないの?」

    「集めただけでは、十分な変換ができない」

    Attentionは、

    どのTokenから、どのくらい情報を取り込むか

    を計算するのが得意だ。

    しかし、Transformerにはそれだけではなく、

    各Token表現そのものを非線形に変換する仕組み

    も必要になる。

    そこでFeed Forward Networkが働く。

    かなり単純化すると、

    Attentionで、

    誰の情報を取り込むか

    を決め、

    Feed Forwardで、

    取り込んだ情報をどう加工するか

    を学ぶ。

    ヒロシは言った。

    「情報収集と情報処理を分業してる?」

    「そう考えるとわかりやすい」


    5.Feed Forwardの中では何をしている?

    ヨシコが式を書いた。

    FFN(x) = W₂ σ(W₁x + b₁) + b₂

    ヒロシが目を細めた。

    「今日は数式少ないって言わなかった?」

    「言ってない」

    ヒロシは諦めた。

    この式も、意味だけ追えばいい。

    まず、

    W₁x + b₁

    で一度変換する。

    その後、

    σ

    つまり活性化関数を通す。

    さらに、

    W₂

    でもう一度変換する。

    ざっくり言えば、

    入力
    ↓
    広げる
    ↓
    非線形変換
    ↓
    戻す

    という流れだ。

    元祖Transformerでは中間層の次元を大きくしていた。

    ヒロシが言った。

    「一回広げてから考え直す感じ?」

    「そういうイメージでもいい」


    6.じゃあ、Residual Connectionって何?

    ヨシコが次に書いた。

    Residual Connection

    ヒロシは首をかしげた。

    「残差?」

    「Residualは“残り”とか“差分”みたいな意味」

    Transformerでは、

    ある処理を通した結果だけを次へ送るのではなく、

    元の入力を足し戻す。

    つまり、

    Output = x + F(x)

    のような形になる。

    ヒロシは言った。

    「せっかく加工したのに、元データも戻すの?」

    「そう」

    「なんで?」

    ここが重要だ。


    7.元の情報を“逃げ道”として残す

    深いニューラルネットワークでは、

    Layerを何十、何百と重ねていく。

    そのたびに入力を完全に作り直していたら、

    学習が難しくなることがある。

    Residual Connectionでは、

    元の入力をショートカットで次へ渡す。

    ヨシコが図を書いた。

    x
    ├──────────────→ + → 出力
    │
    └→ F(x) ───────→

    ヒロシが言った。

    「高速道路のバイパスみたいだな」

    「それでもいい」

    処理F(x)を通るルートと、

    元のxが直接通るルート。

    最後に両方を足す。

    これによって、

    モデルは“全部作り直す”のではなく、“元の表現に必要な変化を加える”形で学習しやすくなる。

    講義資料でも、Residual Connectionは深い層の学習をする時のテクニックとして整理されている。


    8.会社員で例えると?

    ヒロシが勝手に例え始めた。

    「つまりさ」

    「何?」

    「上司が資料をレビューするとする」

    元資料:x

    レビュー結果:F(x)

    でも最終版は、

    元資料を全部捨てて、レビューコメントだけ残す

    わけではない。

    元の資料を残しつつ、

    修正を加える。

    つまり、

    x + F(x)

    ヒロシは得意げに言った。

    「完璧だろ」

    ヨシコが言った。

    「かなり強引だけど、残差の感覚としてはいい」

    ヒロシはまた一つ満足した。


    9.そしてNormalization

    次に登場したのが、

    Layer Normalization

    だった。

    ヒロシが言った。

    「名前が一番地味」

    「でも重要」

    ニューラルネットワークでは、各層を通るにつれて数値のスケールや分布が変化する。

    それが極端になると、学習が不安定になることがある。

    そこでNormalizationを使う。

    講義資料では、

    隠れ層の次元軸で平均と分散を取り、正規化する

    と説明されている。

    ヒロシが顔をしかめた。

    「平均と分散とか言われると急に統計になるな」

    「今日は数式はやらなくていい」

    「助かった」


    10.Normalizationは“温度調整”?

    ヨシコが言った。

    「ものすごく単純化して言えば、数値の状態を扱いやすい範囲に整えるイメージ」

    ヒロシが言った。

    「温度を一定に保つ空調みたいな?」

    「比喩としてはいい」

    各Layerで、

    数値が大きくなりすぎたり、

    小さくなりすぎたり、

    偏りすぎたりすると、

    学習が難しくなる。

    Layer Normalizationを入れることで、

    学習を安定させる助けになる。

    講義資料でもNormは、

    学習を安定させるテクニック

    と整理されている。


    11.Add & Normって、結局何?

    ヒロシはここで気づいた。

    「さっきのAdd & Normって……」

    「そう」

    Add

    = Residual Connection

    Norm

    = Layer Normalization

    つまり、

    処理結果に元の入力を足し、

    その後Normalizationする。

    元祖Transformerでは、この形が使われていた。

    ヒロシが書いた。

    Attention
    ↓
    Add
    ↓
    Norm

    さらに、

    Feed Forward
    ↓
    Add
    ↓
    Norm

    「これが一つのBlock?」

    「基本形としてはね」


    12.ただし、現在のLLMは順番が違うこともある

    ヨシコが少し真面目になった。

    「ここで一つ重要」

    「また例外?」

    「そう」

    2017年の元祖Transformerでは、

    Sublayer → Residual Add → LayerNorm

    という順番だった。

    これは一般に、

    Post-Norm

    と呼ばれる。

    しかし、現在のLLMでは、

    LayerNormを先に置く、

    Pre-Norm

    系の構成も広く使われている。

    つまり、

    現代のすべてのLLMが、元祖Transformerと同じ順番ではない。

    ヒロシはため息をついた。

    「また覚えた瞬間に例外」

    「だから基礎構造と実装差を分けて理解するの」

    ここではまず、

    Residual ConnectionとNormalizationが、深いTransformerを安定して学習させるために重要

    と理解しておけばいい。


    13.Transformer Blockを一個完成させよう

    ヨシコがホワイトボードに全部書いた。

    入力Token表現

    ↓

    Multi-Head Self-Attention

    他のTokenから情報を取り込む

    ↓

    Residual Connection + Normalization

    元の情報を残しつつ、学習を安定させる

    ↓

    Feed Forward Network

    各Token表現をさらに変換する

    ↓

    Residual Connection + Normalization

    再び元の情報を残しつつ安定化

    ↓

    出力Token表現

    ヒロシはじっと見た。

    「これが……Transformer Block?」

    「そう」

    「一個分?」

    「一個分」

    ヒロシは少し感動した。

    30話目にして、

    ようやくTransformerの部品が一つの箱に収まった。


    14.でも、このBlockを一個使えばLLMになる?

    ヒロシは期待を込めて聞いた。

    「じゃあ、このBlockを一個使えばGPTになる?」

    「ならない」

    即答だった。

    Transformer系モデルでは、

    このBlockを何層も積み重ねる。

    Layer 1
    ↓
    Layer 2
    ↓
    Layer 3
    ↓
    ……
    ↓
    Layer N

    各Layerを通るたびに、

    Tokenの表現が少しずつ変化する。

    最初は単純なEmbeddingだったものが、

    他Tokenとの関係を取り込み、

    Feed Forwardで加工され、

    Residual Connectionで情報を保ち、

    Normalizationで整えられながら、

    何層も進んでいく。

    ヒロシは言った。

    「だから“Deep Learning”なのか」

    「そこにもつながるね」


    15.Layerを重ねると何が起きる?

    ヒロシが聞いた。

    「でも、何層も重ねる意味って何?」

    ヨシコが答えた。

    「一回の変換だけでは表現できない複雑な関係を、何段階もかけて作っていける」

    例えば、

    最初のLayerでは、

    近くのTokenとの関係。

    その次では、

    より複雑な文脈。

    さらに上のLayerでは、

    より抽象的なパターン。

    といった形で、内部表現は段階的に変化していく。

    ただし、

    「Layer 1は文法、Layer 2は意味」

    のように固定的に考えるのは危険だ。

    ヒロシが言った。

    「Headのときと同じだな」

    「そう。人間がきれいに役割分担させているわけじゃない」


    16.Transformerは“文章を理解している”のか?

    ここまで聞いて、ヒロシは考え込んだ。

    「ヨシコ」

    「何?」

    「俺たち、“AIが文章を理解する”って普通に言うよな」

    「言うね」

    「でも実際は……」

    Tokenに分ける。

    Embeddingにする。

    Q・K・Vを作る。

    Attentionする。

    Valueを混ぜる。

    Multi-Headで並行処理する。

    Feed Forwardで変換する。

    Residualで元情報を残す。

    Normalizationで整える。

    それを何層も繰り返す。

    ヒロシが言った。

    「ずっとベクトル計算じゃん」

    「そう」

    「“理解”って、人間が便利にそう呼んでる部分もある?」

    ヨシコはうなずいた。

    「その視点は大事」

    LLMは、人間の脳と同じ仕組みで文章を理解しているわけではない。

    内部では、

    大量の数値計算によって、Token表現を段階的に変換している。

    その結果として、

    人間から見ると高度な言語理解に見える振る舞いを示す。

    ヒロシは言った。

    「魔法じゃない」

    「そう」

    「でも、魔法みたいな結果が出る」

    「それが面白いところ」


    17.じゃあ、最終的にどうやって次のTokenを出すの?

    ここでヒロシは重大なことに気づいた。

    「待って」

    「何?」

    「Transformer Blockの中はわかった」

    「うん」

    「でも……」

    ヒロシは第24話を思い出した。

    Language Modelは、

    次のTokenを予測する。

    でも、今までやったのは、

    Tokenのベクトルを変換するところまで。

    「最後にどうやって、“次はこのTokenです”って決めるんだ?」

    ヨシコが笑った。

    「そこが次」

    「まだあるのか」

    「ある」

    Transformer Blockを何層も通したあと、

    モデルは最後の表現から、

    Vocabulary上の各Tokenに対するScore

    を計算する。

    そこにSoftmaxを使えば、

    次Tokenの確率分布

    になる。

    ヒロシが目を見開いた。

    「Softmax、また出るの?」

    「また出る」

    「Attention専用じゃなかったのか」

    「全然違う」

    ヒロシは頭を抱えた。

    Softmax、二度目の登場。


    今日わかったこと

    1. TransformerはAttentionだけではない。
      Multi-Head Attentionに加えて、Feed Forward Network、Residual Connection、Layer Normalizationなどが重要な構成要素になる。

    2. Feed Forward Networkは、各Token表現をさらに変換する。
      Attentionが他Tokenとの情報交換を担うのに対し、Feed Forwardは各位置の表現を非線形に加工する役割を持つ。

    3. Feed ForwardはMLPとして実装される。
      元祖Transformerでは2層のFeed Forward Networkが使われた。

    4. Residual Connectionでは元の入力を足し戻す。
      x + F(x)の形で、深いニューラルネットワークを学習しやすくする重要な仕組みである。

    5. Layer Normalizationは学習の安定化を助ける。
      隠れ層の次元方向で正規化を行い、数値の状態を扱いやすくする。

    6. Add & NormはResidual ConnectionとLayer Normalizationの組み合わせ。
      元祖TransformerではAttentionとFeed Forwardの各サブレイヤの後に適用された。

    7. 現在のLLMは必ずしも元祖Transformerと同じ順番ではない。
      Post-NormだけでなくPre-Norm系の構成も広く使われている。

    8. Transformer Blockは何層も積み重ねられる。
      各Layerを通るたびにToken表現が更新され、より複雑な情報を扱えるようになる。


    ヒロシのAI理解度

    ★★★★☆

    第27話でTransformerを知り、

    第28話でSelf-Attentionを理解し、

    第29話でMulti-Head Attentionへ進み、

    第30話で、

    Transformer Block一個分の全体像

    までたどり着いた。

    今ならヒロシは言える。

    Transformerは、

    Attentionだけの仕組みではない。

    Attention。

    Feed Forward。

    Residual Connection。

    Normalization。

    それらを組み合わせ、

    何層も積み重ねながらToken表現を変換していく。

    しかし、一つだけ大事な問いが残っている。

    最終的に、どうやって次のTokenを選ぶのか?


    次回予告

    第31話:「最後は確率で決めるの!?」LLMが“次のToken”を選ぶまで

    Transformer Blockを何層も通った。

    Token表現も変化した。

    でも最後に必要なのは、

    実際のToken。

    どうやってベクトルからVocabulary上のToken候補へ戻すのか。

    Logitsとは何か。

    なぜSoftmaxがまた登場するのか。

    「一番確率が高いTokenを毎回選べばいい」のか。

    Temperatureとは何か。

    Samplingとは何か。

    そして、

    なぜ同じ質問でもLLMの答えが変わることがあるのか。

    次回、ヒロシはついに、

    入力された文章が、次のTokenとして出力されるまで

    を一本につなぐ。

    これでなんとか明日も、

    「Attentionさえ入っていればTransformerですよね?」

    と言わずに生き残っていけそうだ!


    📚 CognitiveAIヒロシを続けて読む

    ⬅️ 前回:第29話
    「Attentionが8人いる!?」Multi-Head Attentionは、なぜ“複数の視点”を持つのか

    https://note.com/fine_lotus9013/n/n5bdd15495359

    📖 第1話から読む
    42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。

    https://note.com/fine_lotus9013/n/n0fffb9b7b85a

    ➡️ 次回:第31話
    「最後は確率で決めるの!?」LLMが“次のToken”を選ぶまで

    →【第31話のURL/公開後に設定】

     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ