
初級編(初級迷宮)第21話 集めた情報は、どう加工される? 〜FFNの中身〜
第21話 集めた情報は、どう加工される? 〜FFNの中身〜
いよいよ、根城への攻めこみが始まりました。第一隊が先に動いて、見張りを抑えながら、根城の一部を少しずつ制圧していきます。
連絡係の役目を終えたリナ、カイ、ミオの三人は、第二隊の人から「ここは危ない。下がっていろ」と言われてしまいました。役に立ちたいのに、足手まとい扱いです。
通路のわきには、古い机がありました。開いた引き出しの中には、細長い金の針が一本。そのすぐ横に、石のように固まったフクロウが転がっています。
リナが針を手に取って、思わずフクロウにそっと触れました。すると、固まっていたはずのフクロウが、羽をふるわせて、ぱちりと目を開けたのです。
「うそ……動いた」と、ミオが息をのみます。
フクロウはしばらく三人を見つめてから、暗い通路の奥へ飛んでいきました。
「おい、邪魔だ。そのフクロウを追ってろ!」と、第二隊の声が飛んできます。
三人は「えっ……あっ、はい」と返事をして、フクロウのあとを追いかけました。
三人がフクロウを追いかけているころ、第二隊のところでは、第一隊が持ち帰った報告書をもとに、次の作戦の準備が進んでいました。
今回の主役は、AIの中で情報を加工するFFNです。
報告書を受け取った第二隊は、何をしているのでしょう
前回は、Attentionが情報を集めて、FFNが集まった情報を加工する、という二つの役割の違いを見ましたね。今回はその続きです。FFNの中で、加工がどんな順番で行われているのかを、いっしょに見ていきましょう。
まずは、いつものように、たとえ話で考えてみますね。
第二隊が、第一隊から報告書を受け取ったとします。報告書には「見張りは三人」「この経路は狭い」「岩陰が多い」などと書かれています。でも、この短い報告をそのまま読むだけでは、作戦は立てにくいですよね。そこで第二隊は、作業を三つの段階に分けて進めます。
FFNの中でも、これとよく似た三つの段階が行われています。順番は、「広げる」、「ひねる(非線形)」、「元の大きさに戻す」の三つです。
まず「広げる」――細かく書き出してみる
第一段階は、報告書の内容を、いったん大きな紙に書き出してみることです。
付箋に書かれた短いメモを、大きなスケッチブックに写して、マインドマップのように広げていくイメージですね。短いメモのままだと、書ける要素が少なくて、見えてこない関係もあります。だから、いったん広げて、細かい項目に分けて並べ直すのです。
FFNでも、これと似たことが起きています。集まった情報(ベクトル。数字をたくさん並べた、データのかたまりのことでしたね。第8話で見ました)を、いったん元より大きな表現に広げるのです。この広げる計算を「W1(ダブリューワン)」と呼びます。
原典のTransformerでは、512個の数字の並びを、2048個へ、4倍に広げていました。今のモデルでは、大きさや仕組みは設計によって違いますが、いったん広げてから戻す、という考え方は広く使われています。
ここで、「広げる」の意味を確かめておきましょう。文章が長くなったり、新しい単語が増えたりするわけではありません。一つのトークン(単語や単語の一部)を表す数字の並びが、計算の途中で長くなる、というイメージです。
また、情報を新しく足しているわけでもありません。広げるのは、このあとの加工で、より多くの特徴を扱えるようにするための準備なのです。
次に「非線形」――ひねりを加える
第二段階は、広げた情報に手を加えることです。ここがFFNの中心にあたります。
報告書のたとえで言えば、書き出した項目に手を加えて、元の報告だけでは表しにくかった特徴が表れるようにする作業です。ただし、ここでも、AIが気持ちで「これは重要そうだ」と選んでいるわけではありません。決められた計算によって、数字の変わり方が決まるだけです。
この段階で使われるのが、「非線形(ひせんけい)」な処理です。前回お話しした「ひねり」ですね。
代表的なものに、ReLU(レルー)があります。原典のTransformerでは、このReLUが使われました。今のモデルでは、GELU(ゲルー)など、別の非線形な処理が使われることもあります。名前は、今は覚えなくても大丈夫ですよ。大切なのは、役割のほうです。
たとえば、ReLUは、0より小さい数字は0にして、0以上の数字はそのまま通します。数字を選り分けるフィルターのようなもの、と思ってください。こうして、数字の変わり方にメリハリが生まれます。
では、どうして、こうしたひねりが必要なのでしょうか。数字を決まった割合で足し引きして変えるだけの計算は、何段重ねても、全体としては「まっすぐな変化」の範囲から出にくいのです。そこで、途中に非線形な処理を入れることで、単純な組み合わせだけでは表しにくい、より複雑な変化を扱えるようにします。
最後に「元の大きさに戻す」
第三段階は、広げて加工した情報を、もう一度、元の大きさにまとめ直すことです。この計算を「W2(ダブリューツー)」と呼びます。
大きな紙に書きっぱなしでは、次の処理へ渡しにくいですよね。だから、元と同じくらいの大きさに戻すのです。
ここで注意したいのは、戻す前と後で、中身が同じではないということです。大きさは元に戻っても、入っている数字の組み合わせは、非線形な処理を通ったぶん、変わっています。同じ大きさの、違う表現になっているのです。
AttentionとFFNは、役割が違います
ここで、二つの役割をもう一度、区別しておきましょう。
Attentionは、ほかのトークンとの関係を見て、情報を集めます。FFNは、すでに集まった情報を、一つずつ加工します。FFNは、ほかの場所へ情報を取りに行く仕組みではありません。ここは混ざりやすいので、覚えておいてくださいね。
もう一つ大切なのは、FFNは、トークンごとに、それぞれ別々に処理されるという点です。あるトークンを加工するときに、隣のトークンの内容は使われません。ベルトコンベアで運ばれてくる言葉(トークン)に、それぞれ同じスタンプを押していくような仕組み、とイメージしてみてください。
どの位置のトークンにも、同じ加工のルール(AIの用語では「重み」といいます)が使われます。場所ごとに別の加工をするわけではないので、どの位置の情報にも、同じ加工のルールを適用できるのです。
まとめ――同じ大きさなのに、同じではない
FFNの中では、広げる、非線形な処理でひねりを加える、元の大きさに戻す、という三つの段階が行われています。順番は、この通りです。
そして、ここが今回いちばん残しておきたい点です。元の大きさに戻ったからといって、元の表現に戻ったわけではありません。広げて、非線形な処理を通したことで、入力のままでは表しにくかった特徴が、表せるようになっています。同じ大きさの数字の並びなのに、中身は違うのです。だから、次の処理では、前とは違う手がかりが使えるようになります。
さて、迷宮のフクロウに話を戻しましょう。
フクロウは、人の目には何も見えない暗い通路で、羽ばたきをやめて、地面のある一点をじっと見つめていました。三人が近づいても、そこには何もないように見えます。フクロウが何を見つけたのかは、まだ分かりません。三人は、顔を見合わせました。
フクロウは、何を見つけたのでしょう。そして、FFNの真ん中にある「非線形」の処理は、なぜ必要なのでしょう。この二つの答えは、次回へ続きます。
今日のAI用語
FFN(Feed Forward Network)
Attentionが集めたトークンの表現を、位置ごとに独立に加工する仕組みです。まず数字の並びを広げ(W1)、非線形な処理でひねりを加え、元の大きさに戻す(W2)、という三段階で行われます。どの位置のトークンにも、同じ加工のルール(重み)が使われます。
非線形(ひせんけい)
決まった割合で足し引きするだけの、まっすぐな計算では表しにくい、複雑な変化を起こすための処理です。ReLUやGELUなどがあります。
今日のまとめ
FFNの中では、「広げる(W1)→ 非線形な処理 → 元の大きさに戻す(W2)」の三段階が行われています。
広げるのは、情報を足すためではなく、このあとの加工で、より多くの特徴を扱えるようにするための準備です。
非線形な処理には、ReLUやGELUなどがあり、まっすぐな計算だけでは表しにくい変化を作ります。
元の大きさに戻っても、中身は同じではなく、違う表現になっています。
FFNは、トークンごとに別々に処理され、どの位置にも同じ加工のルールが使われます。
AIが気持ちで選んでいるのではなく、決められた計算で、数字の表し方を変えています。
明日の方向
次回は、迷宮のフクロウが見つけたものと、FFNの真ん中にある「非線形」の処理が、なぜ必要なのかを、もう少しくわしく見ていく予定です。
この記事はAI(ChatGPT/Gemini/Claude/Perplexity)との対話をもとに、AIが執筆しています。