
言語AIの進化史⑱トランスフォーマー(自己アテンション機構)
前回は、機械翻訳(Machine Translation)の発展を通して、IBMの統計的機械翻訳からGoogleのトランスフォーマーまでの軌跡を辿っていきました。
特に、2016年に登場したGoogleのGNMT(Google's Neural Machine Translation System)は、それまでのRNN(LSTM)ベースの機械翻訳モデルの集大成でした。
GNMTは、下図のようなエンコーダ・デコーダ構造を持ちます。

左にエンコーダ、右にデコーダがあります。また、その間にアテンション機構が描かれています。
エンコーダもデコーダも8層に積み重なったLSTMが使われており複雑な特徴を捉えられるようになっています。さらにエンコーダの最下層ではシーケンスを双方向から処理して前後からの文脈を混ぜ合わせています。
デコーダは、アテンション機構を使って、エンコーダが取り出した入力シーケンスの文脈を活用し、各ステップで必要な情報を効率的に取得して出力を生成します。
GNMTの翌年である2017年には、新しい機械翻訳モデルとしてトランスフォーマーが登場しました。
トランスフォーマーもまたエンコーダ・デコーダ構造を持っており、エンコーダとデコーダの間にアテンション機構があります。

ただし、トランスフォーマーでは多層LSTMの代わりにマルチヘッド・アテンションとフィードフォワードが積み重なっています。
なお、トランスフォーマーの詳細は、これまでたくさんの記事で解説しています。
今回は、GNMTとの違いやその後のアテンションの発展を追いながらトランスフォーマーがなぜこのような構造になったのかを考察します。
GNMTにおけるアテンションの役割
なぜアテンションが必要だったのか
前回でも解説しましたが、アテンション機構がない場合を考えて、その必要性を強調します。
RNN(LSTM)を使ったエンコーダ・デコーダ型の機械翻訳モデルでは、最後の隠れ状態を入力シーケンス全体をまとめた情報(文脈)として、デコーダに渡します。

文脈を受けたデコーダは最初の出力(X)を生成します。文脈はデコーダのLSTMで処理されて次のステップへ渡されます。また、生成された出力Xも、次のステップでの入力となります。これが繰り返されることで出力シーケンスが生成されます。最後は<EOS>が出力されることで出力シーケンスが終了となります。
ここで問題があります。エンコーダはサイズが固定の隠れ状態ベクトルに情報を詰め込む必要があります。これは長文には向きません。
デコーダが各ステップで必要な情報は異なり、固定サイズの隠れ状態ベクトルにすべての情報を詰め込む方法では、特に長文の場合に情報が圧縮されすぎて重要な文脈が失われることがあります。
デコーダの各ステップで必要な情報は、デコーダが選べるようにするべきです。これを可能にする仕組みとして、アテンション機構が導入されました。
デコーダがアテンションを利用する

この図を見るとエンコーダ(多層LSTM)の最後の出力は、すべてのステップからの隠れ状態です。
ここでのアテンション機構では、デコーダはエンコーダが生成したすべての隠れ状態を参照することができます。よって、各ステップで必要な情報を動的に選び取るため仕組みです。
これをエンコーダ・デコーダ型アテンション(Encoder-Decoder Attention)などと呼びます。つまり、このアテンション機構は「エンコーダの出力をデコーダによる生成に結びつけるための仕組み」です。
これにより、長文でも重要な情報を適切に利用し、デコーダが翻訳の際にその情報を効率的に利用できるようになりました。
再帰による逐次処理の課題
GNMTをRNN(LSTM)を利用して、文脈の抽出と文章の生成を行います。しかし、それは逐次的な(ステップを順番に従う)処理です。つまり、並列処理による効率化を行うのが難しくGPUやTPUなどを最大限に活かすことができません。
また、双方向の処理が重いためエンコーダの最下層だけ使うなどの工夫が行われました。
しかし、再帰的構造はトークン間の関係を処理するのに適している方法として使われてきた手法です。人間が言語を理解したり、話したりするのも逐次的な処理に見えることから自然な言語処理の仕方と考えられます。
一方で、アテンションを組み込んだ言語処理は、エンコーダ・デコーダ型だけでなく、シーケンスからの多様な文脈を捉えるための自己アテンションの手法としての研究も進んでいきました。
トランスフォーマー以前の自己アテンション
文章全体の埋め込みを生成する試み
トランスフォーマーの論文「Attention Is All You Need」が参照している論文の中に、「A Structured Self-Attentive Sentence Embedding」(構造化された自己アテンションによる文章の埋め込み)というのがあります。
この論文は、自己アテンション機構を活用し、文章の多様な側面から文脈を捉える新しい手法を研究したものです。特に、文を単一の埋め込みではなく、複数の埋め込みベクトルから成る行列として表現する方法を提案しています。
これは「文の異なる部分に注意(アテンション)を向け、それを結合することで、文章全体を多様な観点から捉える」というアイデアです。
ただし、このアプローチはトークン単位の処理ではなく、文章全体を対象にした埋め込みの生成を目的としています。あとで見るように、トランスフォーマーの自己アテンションはトークンごとの埋め込みの生成という異なる目的で使われます。
下図は、自己アテンションを用いた文章表現の生成を示すモデルの一例です。「we had a nice experience in that restaurant.」という文章の埋め込みを計算している様子を表しています。下から上へと見てください。

入力シーケンスのは、それぞれのトークン('we', 'had', 'a', …, 'restaurant', '.')の埋め込みベクトルです。
双方向LSTMを使って、入力シーケンスから隠れ状態を生成します。各はベクトルであり、トークンの情報を表現しています。
は、各トークンに対するアテンションの重みです。トークンの隠れ状態をアテンションの重みで加重平均(⨁)したものが文章の特定の側面を捉えた埋め込みベクトルになります。
は異なる側面を区別するインデックスです。
この図では、個の埋め込みベクトルを計算しています。これらをまとめた行列がであり、このシーケンスを多様な観点から捉えて表現しています。この文章全体の情報を持って分類などのタスクを行うわけです。
なお、この図は感情分析(センチメント分析)の構造を示しています。埋め込み行列の上にある青いバーの中の白い丸は、データセットからの1つの文章を意味します。最上部の赤いバーは分類結果を示しており、例えば「ポジティブ」「ネガティブ」「中立」といった感情クラスの確率分布を出力する層に相当します。
次に、自己アテンションの計算方法を見ていきます。
自己アテンションの計算方法
上述の説明にさらに、自己アテンションの計算方法を加えるのが下図です。

この図では、上から下へ計算が進みます。
まず、隠れ状態ベクトルのサイズはとなっています。これは、双方向LSTMが各トークンに対して2つの隠れ情報(順方向と逆方向)を計算して結合するので、隠れ情報の次元の2つ分になっているという意味です。
これらの隠れ状態をまとめたものをとします。
このサイズは、です。この図で見ると縦横が逆になっているように見えますが、論文の方でのサイズはと書かれているのでそれに従います。
「シーケンス長(トークン数)x 隠れ状態の次元」と大きい概念から小さい概念へと表記するのはよくある形式です。おそらく図を横方向に描いたほうがわかりやすかったかもしれません。
バッチ数から始めると、LSTMの出力は「バッチサイズ × シーケンス長(トークン数)× 隠れ状態の次元」と表記するのはよくある方法です。
これらの隠れ状態の数は、シーケンスの長さ(トークンの数)によって異なりますが、アテンションがそれらを組み合わせることで一つの埋め込みで文章全体を表現します。アテンションの重みの計算は次のように行われます。
はの重み行列です。そのパラメータは学習されます。なお、はを転置したものです。
のはシーケンスに適用する重みという意味だと想像します。
この線形変換の後に、活性化が適用されます。この段階でのサイズは、になっています。

さらに、ベクトル(サイズは)との積を計算します。この結果のベクトルのサイズはとなります。これに対してソフトマックスで合計が1になる重みに変換したものが、アテンションのベクトルとなります。
これが前の図(図1(a))におけるに相当します。よって、重み行列とベクトルも個の異なるセットがあることになります。
再帰の構造は必要か
このように異なる重み行列を使って文章の意味を多様な側面から捉えるためにアテンションの計算が行われています。ただし、アテンションの計算の源になるのは、双方向LSTMによる各トークンの隠れ状態です。
ここで、双方向LSTMを使う理由は、シーケンス内のすべてのトークンの埋め込みからの情報を各トークンへと取り入れたいからです。
だとしたら、すべてのトークンの埋め込みからの情報を各トークンへと取り入れるために自己アテンションが使えないでしょうか。そうすれば、文章からの多様な文脈を各トークンの埋め込みに反映できます。
だったら、再帰の構造は必要ないことになります。そしたら、並列処理も可能になるし、何より全体的な構造もよりシンプルになるのでは。
つまり、「必要なのはアテンションだけ」(Attention Is All You Need)です。
トランスフォーマーの自己アテンション
トランスフォーマーは単純になった?
トランスフォーマーの論文にはこう書かれています。
我々は、アテンション機構のみに基づいた新しいシンプルなネットワークアーキテクチャであるTransformerを提案します。これは、再帰と畳み込みを完全に排除しています。
We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.
しかし、トランスフォーマー以前のRNN(LSTM)ベースのアテンション付きエンコーダ・デコーダ型機械翻訳モデルを知らない人がトランスフォーマー(下図)の構造を見て「これはシンプルだ」とは思わないでしょう。

この図で「Multi-Head Attention」(マルチヘッド・アテンション、多頭アテンション)は、自己アテンションを用いて各トークンの埋め込みを更新する仕組みです。
マルチヘッド・アテンションの仕組み
マルチヘッドとは、各トークンの多様な側面を同時に取り出すことを意味します。一つの側面につき3つの異なる重み行列を使用し「バリュー」「キー」「クエリ」を計算します。

図中の3つの矢印は、トークンの埋め込みから計算される「バリュー」「キー」「クエリ」を表しており、これらは3つの異なる重み行列によって線形変換されたものです。
あるトークンの埋め込みを例にすると以下のように説明できます。
バリュー:から取り出された情報(値)。これは、加重平均を計算する際に使われるます。
キー:各トークンがのバリューをどれだけ重要視するかを決定する指標。
クエリ:このトークンが各トークンのバリューをどれだけ必要としているかを決定する指標。
例えば、「犬」「が」「歩く」というシーケンスを考えます。
まず、アテンションが注目する側面によって、どのような情報が重要なのが異なります。単純な仮定として、アテンションが動作に注目しているとします。
バリューの重み行列を使って「犬」「が」「歩く」(それぞれの埋め込み)から動作に関連する情報を取り出します。
キーの重み行列を使って「犬」「が」「歩く」から動作に関する指標を取り出します。
クエリに重み行列を使って「犬」「が」「歩く」から、各トークンのキーと関連性を判断するための指標を生成します。
「犬」からのアテンションの計算は、「犬」のクエリ情報と「犬」「が」「歩く」のキー情報の内積を計算してスコアを得ます。これをソフトマックスで正規化し重みに変換します。これによって「犬」が「犬」「が」「歩く」のバリューからどれだけの情報を得るべきかを決定します。つまり、バリューの加重平均を得るわけです。
ここでは、アテンションが動作に注目しているので、「犬」は「歩く」からの情報を多く取り入れる可能性があります。一方で、別のアテンションヘッドは文法関係に注目し、「が」との関係を強調するかもしれません。
なお、トランスフォーマーでは、8つのアテンションヘッドがあり、それぞれが独自の「バリュー」「キー」「クエリ」の重み行列を持ちます。この仕組みにより、文のさまざまな側面を並列で捉えることが可能になります。
エンコーダと自己アテンション
エンコーダではマルチヘッド・アテンションによって入力シーケンスからの情報を各トークンの埋め込みへと取り入れていきます。

「Add &Norm」は、残差接続と正規化(レイヤー正規化)です。残差接続はGNMTでも使われていました。また、「Feed Forward」(位置ごとのフィードフォワード)は、以下のような線形変換の間にReLUを挟んだものです。ここでは、トークン間の情報を混ぜることがないので「位置ごと」と形容しています。

このマルチヘッド・アテンションと位置ごとのフィードフォワードの組み合わせを一つのブロックとしてエンコーダ・ブロックと呼びます。
Nxとあるのは、N層あるということです。つまり多重エンコーダ・ブロックになっています。オリジナルのトランスフォーマーは6層のエンコーダ・ブロックを使って、一つのエンコーダとしています。
デコーダと自己アテンション
デコーダにも自己アテンション(下部)と位置ごとのフィードフォワード(上部)があります。また、エンコーダ・デコーダ型アテンション(中部)もあります。

デコーダにも自己アテンション(下部)は「Masked Multi-Head Attention」となっています。「Masked」とは、未来のトークンの情報を参照しないようにする仕組みを指します。
訓練時には、将来のトークンを見て不正に学習するのを防ぎます。これはソフトマックスに与えるスコアを負の無限大(実際には大きな負の値。例:-1.0e9)にすること次以降のステップの重みが事実上0になることで実現しています。
訓練中に、トークンを1つずつ順番に与えて処理すれば良さそうですが、そうすると並列処理ができません。よって、各時点で利用可能なトークンだけを入力として与えるのではなく、全てのトークンを与えた上でスコアをマスクするわけです。マスクするのは並列処理が可能です。
評価時も訓練時と同じです。ただし、推論時(答えのないテスト時)には、1トークンずつ生成する必要があるので、デコーダは逐次処理となります。
また、デコーダは以前の出力を入力へと回すので、自己回帰的な処理になっています。



つまり、推論時には逐次処理が必要なため、並列処理は行えません。このため、推論の計算速度はトークンの長さに比例して遅くなる傾向があります。しかし、訓練と評価に並列処理が行えるのでいわゆる再帰型の言語モデルよりも訓練が速くなります。
なお、デコーダ・ブロックの中部には、エンコーダ・デコーダ型のマルチヘッド・アテンションがあります。

これは、デコーダが生成するトークンに必要な情報をエンコーダからの情報を利用して抽出する部分です。
バリューとキー: エンコーダで処理された入力シーケンスの埋め込みから来ています。
クエリ: デコーダのシーケンス(これまで生成されたトークン)から来ています。
つまり、デコーダが現在生成しているトークンに関連する情報をエンコーダから引き出し、翻訳シーケンス生成における文脈情報として利用しています。
この仕組みは、GNMTなどのアテンション機構に相当し、エンコーダ・デコーダ間の情報の流れを担っています。
トークンの位置情報は
再帰型の言語モデルでは、モデル自体が逐次的にトークンを処理するため、トークンの位置情報が自然と学習されます。
一方、トランスフォーマーでは、トークン間の関係はアテンションによって直接的に計算されます。アテンションの計算自体には順番という概念がありません。
よって、位置エンコーディングを導入し、トークンの位置関係を埋め込みに組み込んでいます。

これによって、再帰の構造を必要とせずにトークンの位置関係を含めた言語処理が行えます。
トランスフォーマーの弱点
トランスフォーマーの一番の弱点は、長いシーケンス処理の計算コストです。
自己アテンションではすべてのトークン間で計算を行うため、入力シーケンスの長さ(トークン数)に対して二乗 ()の計算量が必要となり、長いシーケンスには非効率です。
この課題に対処するため、LongformerやPerformerなど、効率的なアテンション手法やモデルの軽量化が積極的に研究されています。
また、Mambaのようなトランスフォーマーとは異なる新しいモデルも登場しています。これらのモデルは、従来の自己アテンションとは異なる方法で長いシーケンス処理の効率化を目指しており、トランスフォーマーの限界を克服する可能性を秘めています。
まとめ
次回は、トランスフォーマーのエンコーダとデコーダの発展系として、それぞれに対応するBERTとGPTを紹介します。
お楽しみに!