
言語AIの進化史⑰機械翻訳の発展(SMTからトランスフォーマーまでの軌跡)
前回に紹介したGRU(Gated Recurrent Unit)を含め、これまでに再帰型ニューラルネットワーク(RNN)のモデルを数回にわたって紹介してきました。
今回は機械翻訳(Machine Translation)の発展を通して、IBMの統計的機械翻訳からGoogleのトランスフォーマーまでの軌跡を辿っていきます。さまざまな技術が段階的に翻訳精度や効率性を向上させ重要な基盤を築いてきました。
特に、トランスフォーマー前夜である2016年にGoogleが発表したGNMT(Google Neural Machine Translation)までの道のりを中心に解説します。
GNMTは、「アテンション付き多重LSTMエンコーダ・デコーダ」に基づいた機械翻訳モデルであり、トランスフォーマーが登場する直前の代表的な成果の一つです。
エンコーダ・デコーダ、アテンション機構、多重RNNなどについてはすでにこちらの記事で解説しています。LSTMベースのGNMTも、これらの仕組みを利用しています。
2017年に登場したトランスフォーマーも、もともとは機械翻訳を目的として設計されており、GNMTをはじめとするLSTMベースの機械翻訳モデルと多くの共通点を持っています。この背景を理解することで、トランスフォーマーの革新性がより明確になるでしょう。
統計的機械翻訳(IBM、1990〜2010年代前半)
統計的機械翻訳とは
IBMの統計的機械翻訳(Statistical Machine Translation, SMT)は、データから得た単語やフレーズの出現パターン(確率)を利用して翻訳を行う仕組みです。
SMTでは、翻訳の基本単位として単語やフレーズを使用します。このため、テキストは以下のようにトークン化されます。
例:「猫が好き」→ ["猫", "が", "好き"]これらのトークンはテキストであって、埋め込みベクトルではありません。また、ニューラルネットワークもありません。
例えば、上記の日本語の文章からから英語への翻訳を考えます。しかし、翻訳にはこれ以外にもいくつか可能性があります。とかなど。
そこで、統計的機械翻訳では以下のアプローチを取ります。
どの英語の文字列でも、日本語の文章の翻訳となる可能性がある。
これを条件付き確率としてと表現します。よって、良い翻訳に高い確率を与え、悪い翻訳に低い確率を与えるのが優秀な機械翻訳モデルとなります。問題は「良い悪い」をどう確率としてモデル化するかです。
ベイズ理論による定義
日本語の文章が英語の文章に翻訳される確率が高いならば、この翻訳文を日本語に逆翻訳したら、元の日本語になる確率も高くなることが予想されます。
このことは、ベイズ理論を通してとの関係を見ることで理解できます。
ベイズ定理は、2つの事象が同時に起こる確率は、順序を逆にしても同じなので、とも表現できるため、となることから導くことができます。
上式の左辺は、与えられた日本語の文章が英語の文章に相当する確率です。ここで日本語の文章は固定されておりは定数となるので、次の比例関係が成り立ちます。
よって、日本語から英語への翻訳は、次のように定義できます。
は、中身の式が最大化されるようにを選ぶという意味です。
探索としての解釈
この統計的機械翻訳は、2つの確率モデルに分けて考えることができます。
確率は、英語の文章が観測される確率(出現確率)を表します。よって、より自然な英語の文章には高い確率が与えられると考えます。
なお、は、言語(ここでは英語)としての正当性を扱うので言語モデルと呼ばれます。翻訳文としての英語の文章がより自然であれば(よく出現するならば)、全体としての英語への翻訳の質にも良い影響を与えることを意味します。
また、を翻訳モデルと呼びます。英語から日本語への翻訳のもっともらしさ(良し悪し)を確率で表現しています。日本語から英語ではなく、その逆の翻訳に関する確率です。なぜ逆なのでしょうか。
これは、上式では最適な英文を探索しているからです。
あらゆる英文のリストがあるとします。その一つ一つを翻訳モデルの確率によって格付けすれば、元の日本語により良く対応する英文を見つけられます。同時に、の確率も高ければより自然な英文だと判断されます。よって、この二つの積を最大化することで最適な英文が見つかります。
ただし、これは理想的な話であり、実際に巨大な英文のリストをチェックするわけではありません。そこで、さらに理論を段階的に分けてモデルを策定しています。
なお、ベイズ理論では以下の用語が使われます。
• 言語モデルは事前確率(Prior Probability)
• 翻訳モデルは尤度(Likeliness)
• 翻訳の確率は事後確率(Posterior Probability)
事前確率と尤度を最大化できれば、事後確率が最大化されます。これを最大事後確率推定(Maximum a posteriori, MAP)と呼びます。また、尤度の最大化にフォーカスする手法は最尤推定(Maximum likelihood estimation、MLE)と呼ばれます。
段階的にモデル1から5まで
IBMの論文では、主に英語とフランス語の翻訳が扱われています。その中のモデルには、1から5までの段階があり、それぞれのモデルは翻訳の精度や複雑さを向上させるためのステップになっています。
モデル1:各単語を独立に翻訳する確率の推定
モデル2:単語の位置情報を確率に考慮
モデル3:言語によって不要な単語の欠落や必要な単語の挿入を許容
モデル4:より複雑な言語固有の(文法などによる)並べ替えを考慮
モデル5:より高度な単語対応を実現(同義語や語彙クラス)
このように5つの段階があり、モデルが高度になるにつれて確率の推定に言語の複雑な要素を取り入れています。
問題点
統計的機械翻訳(SMT)による翻訳のプロセスは、言語モデリング、翻訳モデリング、そして探索問題の3つに分けて考えることができます。
言語モデリングでは、翻訳先の言語の確率分布を推定する。
例:ターゲットが英語ならは。翻訳モデリングでは、翻訳文章から元の文章への翻訳確率を見積もる。
例:ソースが日本語で、ターゲットが英語なら。探索問題は、2つ確率の積を最大化する翻訳の文字列を見つけ出す。
例:を最大化する。
言語モデルと翻訳モデルは、基本的には単語やフレーズの統計的パターンを利用した確率モデルです。すでに翻訳されたある文章のデータ(対訳コーパス)から得た情報を利用します。また、これらのモデルを組み合わせるのが確率の積の計算式です。その最大化は探索問題となります。
よって、データからエンド・ツー・エンドで学習できません。
また、この方法は文字ベースのトークンの表面的な統計情報(出現確率)をベースにしており、言語理解を深くありません。さらに、翻訳された文章が元の文章に相応しいかどうかを逆翻訳の確率で判断する手法は(ベイズ定理から正当化されるものの)効率が良くありません。また、言語間の微妙なニュアンスの違いが欠落する可能性もあります。
例えば、日本語「猫が好き」を英語に翻訳した「I like cats」が、逆翻訳で元の日本語に戻らない可能性があります。「私は猫を好む」は同じ意味ですが、主語がついているし、「好き」と「好む」でニュアンスが異なります。
これに対して、ニューラルネットワークベースのモデルは、確率を予測する関数そのものをデータから学習します。特にディープラーニングを使った言語モデルは、大量のデータから複雑な言語の特徴を学習する能力を持っているため、単純な確率の組み合わせを超えた予測が可能になりました。
エンコーダ・デコーダ型の機械翻訳(2014年)
画像処理の世界では、2012年に発表されたAlexNetが、ImageNetコンペティションで圧倒的な性能を示し、ディープラーニングの革命を起こしました。一方、機械翻訳の分野でも、2014年に大きな進展がありました。
Seq2Seqモデルの登場
この年、Google Brainの研究者たちが提案したSequence-to-Sequence(Seq2Seq)モデルは、ニューラルネットワークを用いた機械翻訳「ニューラル機械翻訳」(Neural Machine Translation, NMT)の基礎を築きました。
このチームには、Ilya Sutskever、Oriol Vinyals、Quoc V. Leがいます。
Ilya SutskeverはAlexNetのチームの一員でした。また、OpenAIにおけるChatGPTの開発でも有名です。その後、OpenAIを去って自分の会社を立ち上げています。Oriol VinyalsはDeepMindの研究者で後にAlphaStarのチームのリーダになりました。そして、Quoc V. LeはEfficientNetsやNASなど様々なプロジェクトで活躍しています。要するにスーパーチームです。
Seq2Seqモデルは、従来の統計的機械翻訳(SMT)を凌駕する性能を示し、翻訳技術を一気に進化させるきっかけとなりました。Seq2Seqはシーケンスの入力からシーケンスの出力を生成するという意味で、エンコーダ・デコーダ型のRNNです。英語からフランス語への翻訳タスクで学習し評価されました。
4つのLSTMからなる多重RNN

論文によると、単層から層を増やすほど性能が上がったと報告されています。各層において、1000個の要素があるセル状態と隠れ状態を使っています。つまり、合計で個の数値を含む状態ベクトルを使っています。

上図の左の水色はエンコーダです。「A、B、C」は、3つの入力トークン(埋め込みベクトル)です。エンコーダは4層LSTMを使って入力の埋め込みからセル状態と隠れ状態を更新して次のステップに渡します。
上図の右の紫色はデコーダです。<EOS>は、「End Of Sequence」の略ででシーケンスの終わりを意味する特別なトークンです。デコーダに<EOS>が渡されると(前のシーケンスが終わるので)新しいシーケンスの始まりを意味します。
エンコーダが最後に出力した隠れ状態には、入力シーケンスからの文脈が詰まっています。デコーダは、これを利用し最初の予測トークンとして「X」を出力します。次のステップでは、「X」が入力として使われます。このような処理が繰り返され、最終的に<EOS>を出力したところで翻訳が終了します。
つまり、「A、B、C」というシーケンスから「X、Y、Z」というシーケンスを生成するので、Sequence-to-Sequenceというわけです。なお、出力シーケンスの長さは可変なので入力シーケンスより短い、あるいは長くなることも可能です。
また、入力シーケンスからの情報を状態ベクトルに圧縮して、そこから出力シーケンスへと展開していくため、エンコーダ・デコーダ型とも呼ばれます。
デコーダとビームサーチ
デコーダは、次のトークンを確率的に予測します。しかし、次に出る確率が高いトークンを選んで文章としてつなげても、翻訳文として全体的に確率が高い値になるとは限りません。
常にその時点で最も良いと思われる選択肢を選ぶアルゴリズムを「グリーディ」(Greedy)な手法と呼びます。
なぜなら、次のトークンとして一時的に可能性が低いものが選ばれても、後のトークンと組み合わせると全体としてより高い確率を生む可能性があるからです。
そこで、このモデルでは、ビームサーチが採用されました。
ビーム・サーチでは、文章を作成する際に、複数の候補の文章(シーケンス)を同時に考えながら最適な文章の探索を行うものです。
この同時に考慮する候補のシーケンスをビームと呼びます。2つのシーケンスを考えるなら2個のビームがあることになります。例えば、下図では入力シーケンスに対して、2つビームが同時進行しています。

なお、実際には候補となるトークンは辞書に含まれている数だけあるのですが、ここでは4個のトークンしかない前提で図にしています。
最初のステップで選ばれたのは黄色にハイライトされているとです。これらが上位2位を占めたことになります。
その次に選ばれたトークンを加えると、2つのビームとして、というシーケンスとというシーケンスが予測されているわけです。確率で表現すると以下の2つが有望だとされているわけです。
もちろん、ビームの数を増やせばこれよりもより有望なシーケンスがあるかもしれません。その代わりに計算量も増えていきます。また、あまり増やしすぎても、それに見合った効果がないかもしれません。
Seq2Seqでは、12個のビームを使うことで、WMT’14英語からフランス語の翻訳テストセットにおいて当時最高のBLEUスコアを達成しました。
問題点
ただし、問題がありました。エンコーダの最終隠れ状態に入力シーケンス全体の情報を圧縮しデコーダに渡すのですが、このベクトルが固定長であるため情報が圧縮されすぎて必要な文脈が失われる可能性があります。特に長いシーケンスや複雑な文の翻訳において、正確性が低下します。

また、デコーダが翻訳元の文章のどの部分からの情報が必要なのかは、翻訳出力の各ステップ異なります。なので、一つにまとめられた情報を全てのデコーダのステップで使うのは効果的ではありません。
そこで、各ステップの隠れ情報をデコーダが選択的に取り出して、翻訳のステップで利用するためのアテンション機構が考案されました。
アテンション付きニューラル機械翻訳(2015年)
アテンション機構の導入
AIの国際会議 ICLR 2015 で発表された研究で、エンコーダ・デコーダ型のニューラル機械翻訳にアテンション機構が導入されました。
論文は、「Neural Machine Translation by Jointly Learning to Align and Translate」(整合と翻訳を同時に学習するニューラル機械翻訳)です。
• Dzmitry Bahdanau(ドイツのヤーコプス大学ブレーメン)
• KyungHyun Cho (カナダのモントリオール大学)
• Yoshua Bengio(カナダのモントリオール大学)
Yoshua Bengioは、2018年にチューリング賞をGeoffrey HintonとYann LeCunとともに受賞者しています。
これによって、エンコーダにおける各ステップの状態ベクトルの全てをデコーダの各ステップで動的に活用できるようになりました。

アテンション機構では、デコーダが翻訳を生成する各ステップで、エンコーダから得られた全ての隠れ状態に対して重み付けを行います。この重みは、翻訳の現在のステップでどの入力単語が重要であるかを示します。

この仕組みによって、長い文章でも効果的に翻訳可能となり、ニューラル機械翻訳の精度が大幅に向上しました。詳しい解説は、こちらにあります。
双方向のRNNを採用
さらに、エンコーダに双方向のRNN(LSTM)を採用しています。

シーケンスの順方向と逆方向にRNN(LSTM)を適用するので、トークン間の関係を以前より明確に捉えることができます。つまり、各単語の隠れ状態が文全体の文脈(左と右の両側)を考慮したものになります。
双方向RNNについては、こちらで解説しました。
問題点
このモデルが発表された時点では、リアルタイム翻訳には計算効率が悪いという問題がありました。また、長文や曖昧な表現で人間の翻訳者に及ばないこともあり、実用サービスに使うほどには達していませんでした。
つまり、性能が良くなった分、実用化が考慮され、ハードルが上がりました。
しかし、これまでに登場した全てのニューラル機械翻訳モデルを合わせると「アテンション付き多重LSTMエンコーダ・デコーダ」の全てのパーツが出揃いました。
つまり、RNNベースの機械翻訳の設計はこれらをどう組み合わせるかというステージになりました。さらに高速化ができればかなり実用的になるわけです。
大規模ニューラル機械翻訳(Google、2016年)
Google翻訳のための実用化
GoogleのGNMT(Google's Neural Machine Translation System)は、大規模な翻訳システム向けに改良された「アテンション付き多重LSTMエンコーダ・デコーダ」モデルです。実際にGoogle翻訳で採用され、大規模データで高い精度を実現しました。
GNMTの代表的な特徴として以下があります。
TPU(Tensor Processing Unit)で推論速度の改善。
8ビット・16ビットへの量子化でモデルを軽量化。
8層のLSTMを使い、さらに深層化。
残差接続を用いて深いモデルを効率的に学習。
そのほかにも、ビームサーチの改良やマルチリンガル対応などの実用化のための変更があります。いくつかのポイントに関して、もう少し詳細を追ってみます。
エンコーダ
エンコーダは8層のLSTMを持ち、最下層は双方向になっています。

</s>は、<EOS>(End Of Sequence)のトークンです。
このような深層化を可能にしたのは、(ResNetでお馴染みの)残差結合です。
下図は、残差結合がない場合の2層RNN(LSTM)です。

次の図は、残差結合がある2層RNN(LSTM)です。

残差結合があることで、勾配消失が起こりにくくなり学習がしやすくなります。
デコーダ
デコーダでも同様に残差結合が導入されており、多層化が行われています。

なお、デコーダの出力のところにあるソフトマックス(青色の箱)は、次のトークンの確率分布を計算しています。
この図では、全てのステップがSoftmaxに矢印で接続されているように描かれており、全てのトークンに対する確率を同時に出力しているように見えますが、実際にはそうではありません。
まず、デコーダの各ステップで最後のLSTM層からの出力が語彙全体の各トークンに対するスコアを生成します。これらのスコアはソフトマックス関数に入力され、確率分布に変換されます。
つまり、各ステップの出力ごとにソフトマックスが呼ばれて、語彙内のすべてのトークンに対するスコアを正規化し確率を計算します。この確率分布に基づいて、次に生成するトークンが決定されます。また、この確率に基づいて、ビームサーチが使われます。
アテンション機構
デコーダは、エンコーダが入力シーケンスから抽出した各ステップからの情報にアテンション機構を通してアクセスします。これによって、デコーダの各ステップでは入力文の文脈から必要な情報を取り入れて次のトークンの予測を行うことができます。

デコーダの最下層がアテンションにアクセスして、ステップごとに重みを計算し必要な情報を取り出しています。これがデコーダの各層でシェアされています。
問題点
GNMTでは、8層のLSTMや残差接続を採用し、翻訳精度の向上を目指しましたが、その結果、モデルが非常に大規模化し、複雑さが増しました。ニューラルネットワークを基盤としながらも、精度向上のために人間が設計したさまざまな仕組みや機能が追加され、計算コストが高くなっています。
計算量を抑えるための工夫もいくつか施されています。例えば、双方向RNNをエンコーダの最下層に限定したり、アテンションの重みをデコーダの最下層でのみ計算するようにするなどです。しかし、これでも計算負荷は依然として高く、量子化によるモデルの軽量化やTPUのような専用ハードウェアへの依存が避けられませんでした。
こうした状況を根本的に改善するには、モデルそのものをより単純化する必要があります。しかし、単純化を妨げる要因として、LSTMを中心とした再帰構造の使用が挙げられます。LSTMは長いシーケンスをサポートするために必要な機能を提供しますが、その計算量は膨大で、GRUのような簡易化された構造では同等の性能を達成できない可能性があります。また、再帰的な処理の性質上、入力シーケンスを順番に処理する必要があるため、並列処理が困難である点も課題です。
そこで、RNNによる再帰構造を完全に排除し、代わりにアテンション機構を使ってシーケンスの各ステップに動的にアクセスするというアイデアに基づいてトランスフォーマーが登場しました。
トランスフォーマー(Google、2017年)
トランスフォーマーはRNNを排除し、完全にアテンションに基づいたモデルです。

この図はよく知られたトランスフォーマーのモデルですが、全体像だけを見るとGNMTと構造がよく似ています。左にエンコーダがあり、右にデコーダがあります。両方もと多層構造になっています。
その間には、エンコーダが入力シーケンスから抽出した文脈がデコーダへと渡されていますが、これはGNMTのデコーダがアテンションを使って文脈にアクセスしたのと同じ考えです。
しかし、LSTMはありません。代わりに多頭アテンション(Multi-Head Attention)とフィードフォワード(Feed Forward)があります。
GNMTなどRNNベースの機械翻訳モデルを知らないとトランスフォーマーは一見複雑に見えますが、実は非常に単純になっています。
論文の筆頭著者Ashish Vaswaniは、要約の中で次のように述べています。
私たちは、新しいシンプルなネットワークアーキテクチャ「Transformer」を提案します。このアーキテクチャは、完全にアテンション機構のみに基づいており、再帰や畳み込みを完全に排除しています。
We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.
GNMTよりはモデル構造自体はシンプルですが、多頭アテンションなどの新しい仕組みが追加されているため、技術的な理解は求められます。
もともとは機械翻訳モデルとして登場したトランスフォーマーですが計算効率が大幅に向上し、翻訳だけでなく、さまざまな自然言語処理タスクで革命をもたらすことになります。
次回予告
トランスフォーマーについては、こちらでさまざまな解説を行っています。
しかし、これまで言語AIの進化の歴史を振り返ってきた私たちにとって、トランスフォーマーはGNMTを代表とする「アテンション付き多層LSTMエンコーダ・デコーダ」からLSTMを排除した上で、残りの多くを継承していると捉えることができます。
実際、こうした観点からトランスフォーマーを捉える方が、その仕組みをより理解しやすいかもしれません。トランスフォーマーの構造の多くは、それ以前の機械翻訳モデルの構造を引き継いでいます。
しかし、トランスフォーマーの論文では、RNNを排除したこと以外に以前の機械翻訳モデルとの関連性についてはあまり触れられていません。
そこで次回は、トランスフォーマーがGNMTに比べてどのような課題を解決し、さらに進化したのかを詳しく掘り下げます。
どうぞお楽しみに!