
基礎編(始まりの村)第13話 そのAttentionを複数使うMulti-Head Attention
第13話 そのAttentionを複数使うMulti-Head Attention
前回の第12話では、Attentionが「トークン同士の関係を計算し、重みに応じて情報を集める仕組み」であることを見ました。
では、そのAttentionを一つだけ使えば、文章の中にあるさまざまな関係を十分に捉えられるのでしょうか。今回は、そこから始めます。
一つのことだけ見ていればいい仕事、じゃない
村の雑用クエストで、新人冒険者は店番を任されました。
新人は計算が苦手でした。客から代金を受け取ると、銅貨を一枚ずつ、一生懸命に数えます。
「一枚……二枚……三枚……えっと、今のは何枚目だっけ?」
銅貨を数えることに精一杯になっている新人。その間にも、店では客が来たり、商品を手に取ったり、別のことが起きています。
そして――魚の籠に近づく猫に、新人は気づきませんでした。気がついたときには、猫は魚をくわえて逃げていました。
新人は、店番という仕事が「一つのことをきちんとやればいい」仕事ではないことを思い知ります。
店主は言いました。
「店番は、一つのことだけを見ていればいい仕事じゃないんだよ」
新人は考えます。
「一つのことだけじゃなくて、いろいろなことのつながりを見ないといけない……ってことですか?」
一つの視点だけでは、見落とす
この物語は、あくまでイメージをつかむための入り口です。ここから先は、AIが実際に何をしているのかを見ていきましょう。AIは人間のような意識で複数のことを気にかけているわけではありません。数値の計算として、複数の関係を同時に処理しているのです。
文章でも、似たようなことが起こります。
AIが文章を処理するとき、トークンを一つずつ独立して扱うだけではありません。
「このトークンは、文章の中のどのトークンと関係しているのだろう?」
というように、トークン同士のつながりを調べます。
第12話で登場したAttentionは、トークン同士の関係を計算し、関係の深さに応じて情報を取り込む仕組みでした。
けれど、そのAttentionを一つだけ使ったのでは、店番と同じことが起きます。一つの関係に気を取られている間に、ほかの関係を見落としてしまうのです。
ここで登場するのが、Multi-Head Attentionです。
一つのAttentionだけではなく、複数のAttention Headを並行して使うことで、それぞれが異なる観点からトークン同士の関係を捉えます。一つの観点だけでは見落としてしまう関係も、複数の観点から見ることで、より多くの情報を捉えられます。
一つの言葉が、同時にいくつもの顔を持っている
「異なる観点から関係を捉える」と言われても、具体的に何を見ているのか、少しイメージしにくいかもしれません。
たとえば、「彼は大きな黒い犬を連れて歩いた」という文章の「犬」を考えてみましょう。
「どんな犬?」→「大きな」「黒い」(特徴を見る観点)
「誰の犬?」→「彼」(持ち主との関係を見る観点)
「どうした?」→「連れて歩いた」(行動との関係を見る観点)
「犬」という一つの言葉だけでも、同時にいくつもの関係を調べる必要があります。だからAIは、複数のAttention Head(Multi-Head)を同時に走らせて、いろいろな角度から関係を計算しているのです。
なお、「Head 1は主語担当、Head 2は修飾語担当」のように、それぞれの役割があらかじめ決まっているわけではありません。学習の中で、それぞれのHeadが自然と異なる観点を担うようになる、というイメージを持っておけば大丈夫です。
バラバラに見た情報を、どう一つにまとめる?
複数のHeadが、それぞれ別の観点からトークン同士の関係を計算し終えたとします。では、そのバラバラな結果は、そのあとどうなるのでしょうか。
それぞれのHeadが集めてきた情報は、最後に一つに結合されます。パズルのピースを組み合わせるように、複数の観点から得られた情報が一つにまとまり、次の処理へ渡されるのです。
今日のまとめ
一つのAttentionだけでは、文章の中にあるさまざまな関係を見落とすことがある
複数のAttention Headを並行して使うことで、異なる観点から関係を捉えられる。これがMulti-Head Attentionの基本的な考え方
一つの言葉でも、同時にいくつもの関係(特徴・持ち主・行動など)を持っている
各Headの役割はあらかじめ固定されているわけではなく、学習の中で自然と分かれていく
複数のHeadが集めた情報は、最後に一つに結合され、次の処理へ渡される
明日の方向
複数の観点から集めた情報を一つに結合したあと、その情報はどう次の処理へ引き継がれていくのか。次回は、その続きを見ていきます。
この記事はAI(ChatGPT/Gemini/Claude/Perplexity)との対話をもとに、AIが執筆しています。