
Llama 2を読む⑨Ghost Attentionによる対話制御
前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション3.2.3「反復的なファインチューニング」(Iterative Fine-Tuning)を読み終えました。
今回は、セクション3.3「対話の一貫性のためのシステムメッセージ」(System Message for Multi-Turn Consistency)を読み進めます。
チャットモデルにおいて「対話の一貫性」は重要です。初期のLlama 2-Chatモデルは、数ターンの対話の後に最初の指示を忘れてしまう傾向がありました。
これを解決する手法として提案されたのが「Ghost Attention」です。
対話の一貫性とは
途中で最初の指示を忘れる問題
言語モデルは与えられたプロンプトに対して返事をするというスタイルで訓練されます。広い意味でのRLHF(棄却サンプリングやPPO)によるファインチューニングでも同様のことが言えます。
しかし、そこには落とし穴がありました。
対話では、会話全体に対して適用されるべき指示があります。例えば、「簡潔に答える」や「ある著名人として振る舞う」などです。このような指示を与えた場合、Llama 2-Chat に常にその制約を守り応答するべきです。しかし、初期の RLHF モデルは、数回の対話のやりとりの後に最初の指示を忘れてしまう傾向がありました。これは図 9(左)に示されています。
In a dialogue setup, some instructions should apply for all the conversation turns, e.g., to respond succinctly, or to “act as” some public figure. When we provided such instructions to Llama 2-Chat, the subsequent response should always respect the constraint. However, our initial RLHF models tended to forget the initial instruction after a few turns of dialogue, as illustrated in Figure 9 (left).

この図の右でモデルは、「常に絵文字で答えるように」(Always answer with emojis)という指示が初めに与えられています。しかし、途中でその指示を忘れ普通の文章で答えています。つまり、最初の指示を途中で忘れてしまっているわけです。
Ghost Attentionによる対話制御
これに対して、Ghost Attention(略してGAtt)という手法を解くしたのが図の右です。このモデルはいつまでも「常に絵文字で答えるように」という指示を忘れずに絵文字で返答しています。
これらの制約に対処するために、Ghost Attention(GAtt)という非常にシンプルな手法を提案します。これは Context Distillation(Bai ら, 2022b)に着想を得たもので、ファインチューニング用のデータを工夫(ハック)して、複数の段階においてアテンションが指示に焦点を合わせ続けるよう仕向ける方法です。GAtt によって、図 9(右)に示すように、複数ターンにわたる対話制御が可能になります。
To address these limitations, we propose Ghost Attention (GAtt), a very simple method inspired by Context Distillation (Bai et al., 2022b) that hacks the fine-tuning data to help the attention focus in a multi-stage process. GAtt enables dialogue control over multiple turns, as illustrated in Figure 9 (right).
Context Distillation(文脈蒸留)は「知識蒸留」の一種です。
一般に、知識蒸留は「高性能なモデル」(教師モデル)が持つ知識や判断能力を「より小さく効率的なモデル」(生徒モデル)に移し替えることを意味します。知識蒸留の主な目的は、教師モデルの性能を保ちながらモデルの軽量化や高速化を実現することです。
文脈蒸留では「毎回指示を明示的に入れなくとも、モデルが最初の指示文からの文脈を維持出来る」ようになる事を狙っています。
つまり、アテンションがいつまでも最初の指示文からの文脈を継続して参照するようにファインチューニングすると言うことです。「そこにはない指示を見る」ので「ゴースト」(Ghost)と呼ばれます。
これを実現するために、まずは逆に「毎回指示文を明示的に含めたプロンプト」を準備します。論文は次のように述べています。
GAtt 手法。例として、ユーザーとアシスタントの間で行われた複数回のやりとりを含んだ対話データセットがあるとします。その中では、会話のやり取りが、のようにリストとして与えられています。ここで、 と はそれぞれ回目のやりとりにおけるユーザーとアシスタントの発言です。
次に、対話全体を通して従うべき指示を定義し、これを (指示を意味する英語「instruction」の略)と呼びます。例えば、 は「〜として振る舞う」などです。この指示を会話中のすべてのユーザーの発言に連結します。
GAtt Method. Assume we have access to a multi-turn dialogue dataset between two persons (e.g., a user and an assistant), with a list of messages , where and correspond to the user and assistant messages for turn , respectively. Then, we define an instruction, , that should be respected throughout the dialogue. For example, could be “act as.” We can then synthetically concatenate this instruction to all the user messages of the conversation.
つまり、毎回同じ指示文をユーザーの発言に含めたデータをファインチューニング用に準備します。これが彼らが呼ぶ「ハック」(hack)です。
たとえば、「織田信長のような上司として答えてください。」という指示をユーザーの発言に毎回結合しておきます。これをモデルに与えれば、モデルは「織田信長のような上司として」応答を返してきます。
こうして集められた応答のサンプルをファインチューニングで使うのですが、その際には最初の指示だけを与えます。途中の指示を省くことによって、モデルは最初の指示からの文脈を継続した会話をすることを学ぶことになります。
このGAtt手法について論文は続けます。
次に、この合成データを最新の RLHF モデルに与えて出力を得ます。これによって、文脈を継続している対話からの学習サンプルを得ることができます。そして、モデルをファインチューニングします。このプロセスは棄却サンプリングに似ています。
Next, we can sample from this synthetic data using the latest RLHF model. We now have a context-dialogue and the sample with which to fine-tune a model, in a process analogous to Rejection Sampling.
ユーザーの発言に明示的な指示を含めてRLHFモデルに与えて得た出力は、「指示の意図を踏まえた良質な応答」になります。こうして最初の指示文からの文脈を継続するための良質な学習データを準備することが出来ます。
さらに、最初の指示だけ残して、その後の明示的な指示を除外すれば、文脈を維持した良質な会話を学習するためのファインチューニングが行えます。これが、そこにはないゴースト指示文を追い続けるようになる仕組みです。
「ゴースト指示文」とは、実際にはファインチューニング時の入力に存在しないが、アテンション計算上は参照し続けられる指示文脈という意味です。
なお、アテンション機構では、各トークン間の関係から必要な文脈に注目して重要な情報を取り入れていきます。これはクエリ、キー、バリューの行列の重みが調節されることで達成されます。
このファインチューニングでは、これらのパラメータが調整され、最初の指示文に由来する文脈を「重要」として認識し、後続の応答生成でも一貫してその指示文の情報を参照し続けるようになるわけです。
また、「棄却サンプリングに似ている」と述べられていますが、これは「モデル自体にサンプルを生成させて得た良質な学習データ」でファインチューニングを行うことを指しています。
ただし、棄却サンプリングでは一つのプロンプトから複数の出力を得てから、報酬モデルで再ランキングする工程が含まれます。
システムメッセージ
システムメッセージの入力構造
ファインチューニングにおける対話データの扱いを理解するには、まず学習時の入力構造を押さえておく必要があります。
ここでは明記されていませんが、通常、対話データは、ユーザー発言やアシスタント発言を一連のトークン列へと変換され、1本の長いシーケンスとしてモデルに入力されます。
ただその際に、なんらかのタグが含まれていることが多いです。たとえば、ユーザーの発言とアシスタントの応答を区別するためのトークンなどが考えられます。
Huggingfaceのブログ記事では、Llama 2のプロンプトの構造が、次のように説明されています。
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_message }} [/INST]<s>は一つの対話を区切るためのタグです。よって、<s>から始まります。
[INST] … [/INST]のタグで囲まれた部分が、モデルに渡されるプロンプトです。この中に、以下の2つの部分があります。
{{ system_prompt }}:<<SYS>>…<<SYS>>の内部に書かれたチャットボットへの指示です。通常ユーザーからは見えません。
{{ user_message }}:ユーザーによる入力テキストです。
Huggingfaceの記事にある例を参考に日本語の例を書いてみました。
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
製品が全然売れません。😱 どうすれば良いですか? [/INST]これに対してチャットボットが次のように応答したとします。
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
製品が全然売れません。😱 どうすれば良いですか? [/INST]買わぬなら、兵糧攻めじゃ</s>これで1回の対話です。</s>で締めくくられています。
さらに対話を続けて、ユーザーが次のように発言したとします。
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
製品が全然売れません。😱 どうすれば良いですか? [/INST] 買わぬなら、兵糧攻めじゃ</s>
<s>[INST] つまりどうすれば良いですか? [/INST]再び、<s>から始まります。ユーザーの質問は、[INST] … [/INST]で挟まれています。システムメッセージは、通常は繰り返されません。
これにアシスタントが応答します。
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
製品が全然売れません。😱 どうすれば良いですか? [/INST] 買わぬなら、兵糧攻めじゃ</s>
<s>[INST] つまりどうすれば良いですか? [/INST] 西へ出陣だ!</s>つまり、以下のように続いていきます。
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_msg_1 }} [/INST] {{ model_answer_1 }} </s>
<s>[INST] {{ user_msg_2 }} [/INST] {{ model_answer_2 }} </s>
<s>[INST] {{ user_msg_3 }} [/INST] {{ model_answer_3 }} </s>
<s>[INST] {{ user_msg_4 }} [/INST] {{ model_answer_4 }} </s>
<s>[INST] {{ user_msg_5 }} [/INST] …コンテキストウィンドウ(コンテキスト長)に収まる限りは、これらの対話の歴史が全て入力となります。
最初の指示を忘れてしまうのは、上述の例にあるようにコンテキスト長の範囲内でも起きているので、通常の事前学習によるアテンションが持つ問題のようです。ただし、論文にはその原因についての詳しい解説がありません。
なお、論文で「inst」というのは、<<SYS>> ... <</SYS>>のシステムメッセージ部分であり、これを毎回ユーザーメッセージの前に付けて生成することによって、ファインチューニング用のサンプルを作るというわけです。
こんなイメージです。
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
製品が全然売れません。😱 どうすれば良いですか? [/INST] 買わぬなら、兵糧攻めじゃ </s>
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
つまりどうすれば良いですか? [/INST] 西へ出陣だ!</s>
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
明日は、有給をいただいています。 [/INST]ファインチューニングでの損失
ファインチューニングの段階では、最初のターンだけにシステムメッセージを残します。
<s>[INST] <<SYS>>
織田信長のような上司として答えてください。
でも暴力的な言葉は使わないでください。
<</SYS>>
製品が全然売れません。😱 どうすれば良いですか? [/INST] 買わぬなら、兵糧攻めじゃ </s>
<s>[INST] つまりどうすれば良いですか? [/INST] 西へ出陣だ!</s>
<s>[INST] 明日は、有給をいただいています。 [/INST]事前学習と同様で、学習は次のトークンを予測し、その損失によってパラメータを更新します。通常の訓練では、すべてのトークンの予測を並列処理で行い損失を計算します。
しかし、学習データを作った時の入力と、ファインチューニングでの入力の仕方が異なるため、学習の阻害になる可能性があると論文は述べています。
すべての対話ターンに指示を含めずに、最初のターン以外では指示を削除できますが、学習時にシステムメッセージ(最終のやりとり以前のすべてのアシスタントの応答)とサンプルとの間に不一致が生じます。この問題は学習を阻害する可能性があるため、最後の応答以外の会話からのすべてのトークンに対して損失を 0 に設定し無視します。
Instead of augmenting all context-dialogue turns with the instruction, we can drop it in all but the first turn, but this would lead to a mismatch at training time between the system message, i.e., all the intermediate assistant messages that come before the last turn, and our sample. To fix this issue, which could hurt the training, we simply set the loss to 0 for all the tokens from the previous turns, including assistant messages.
この文章では「システムメッセージ」の意味が、ちょっとわかりにくくなっているので少し整理してみます。
GAtt(Ghost Attention)の学習では、「初期の指示を会話全体で忘れない」ようにするため、まず「サンプル生成フェーズ」と「ファインチューニングフェーズ」に分けて処理します。
サンプル生成フェーズ
元の対話データのすべてのユーザー発話に、同じ指示文を連結します。これを最新の RLHF モデルに入力し、アシスタントの応答を生成したものをここではサンプルと呼んでいます。ファインチューニングフェーズ
学習時は最初のターンだけを残し、それ以降はを削除します。このため、生成時と学習時で対話の履歴の内容が変わるため、途中のやりとりでは、モデルの出力は期待されるサンプルと一致しない可能性が高いです。
論文のこの部分では、最終のやりとり以前の「アシスタントによるすべての応答」を「システムメッセージ」と呼んでいます。これが「サンプルとして集められたアシスタントの応答」と一致しない可能性が高く、そのまま使うと必要以上に損失が大きくなったりしてファインチューニングがうまくいきません。
そのため、途中のやりとりからの損失は無視(0に)してしまうというわけです。また、初回のやりとりも、最初の指示を忘れない訓練としての意味が薄いため、同様に損失を無視します。
よって、最後のユーザーの発言に対するモデルの出力(サンプル)から損失を計算してパラメータを更新することにします。こうして、最初のを忘れずに、最後の返答が作られるように訓練されます。
GAttによる一貫性の実現
学習用の指示のサンプリング
論文は、学習で使うための指示(制約)を準備したと述べています。
学習用の指示として、サンプリングのために制約を作成しました。例えば、以下のようなカテゴリーです。
• 趣味:「あなたはテニスなどを好む」
• 言語:「フランス語で話す」
• 著名人:「ナポレオンとして振る舞う」
趣味や著名人のリストを得るためには、Llama 2-Chat に生成させ、指示とモデル知識の不一致を避けました。これは、学習中に見たことのない人物として振る舞うよう求めるようなことがないようにするためです。
For the training instructions, we created a few synthetic constraints to sample from: Hobbies (“You enjoy e.g. Tennis”), Language (“Speak in e.g. French”), or Public Figure (“Act as e.g. Napoleon”). To obtain the lists of hobbies and public figures, we asked Llama 2-Chat to generate it, avoiding a mismatch between the instruction and model knowledge (e.g., asking the model to act as someone it had not encountered during training).
さらに、それらの制約を組み合わせてより複雑な指示を構築しました。
指示をより複雑かつ多様にするために、最終的な指示は上記の制約をランダムに組み合わせて構築しました。学習データとして使う最終のシステムメッセージを構築する際に、元の指示の半分ほどを簡潔なものに書き換えました。
たとえば、 「これからは常にナポレオンとして振る舞う」→「人物: ナポレオン」など。
これらの手順によって 教師ありファインチューニング(SFT)のデータセットが作成されました。これを用いて Llama 2-Chat をファインチューニングすることができます。
To make the instructions more complex and diverse, we construct the final instruction by randomly combining the above constraints. When constructing the final system message for the training data, we also modify the original instruction half of the time to be less verbose, e.g., “Always act as Napoleon from now”-> ”Figure: Napoleon.” These steps produce an SFT dataset, on which we can fine-tune Llama 2-Chat.
GAttによる一貫性の評価
論文はGAttによる対話の一貫性を高く評価しています。
GAtt の評価。GAtt は RLHF V3 の後に適用しました。数値を分析した結果、GAtt は最大コンテキスト長に達するまで、20ターン以上にわたって一貫性を保つことが確認されました(付録 A.3.5 参照)。推論時には、GAtt の学習時には存在しなかった制約、例えば「常に俳句で答える」などを設定してみましたが、付録の図 28 に示すように、モデルは一貫性を維持しました。
GAtt Evaluation. We applied GAtt after RLHF V3. We report a quantitative analysis indicating that GAtt is consistent up to 20+ turns, until the maximum context length is reached (see Appendix A.3.5). We tried to set constraints not present in the training of GAtt at inference time, for instance “Always answer with Haiku,” for which the model remained consistent as illustrated in Appendix Figure 28.
以下は、「常に俳句で答える」指示による対話の様子です。

アテンションの分布の再構築
論文は、GAttを適用する前後でのアテンション分布を比較しています。
GAtt がファインチューニング中にどのようにアテンションの分布を再構築するのに役立ったかを示すために、図 10 にモデルのアテンション活性化の最大値を表示しました。
各図の左側はシステムメッセージ「オスカー・ワイルドとして振る舞う」に対応しています。
GAtt を備えたモデル(右)は、GAtt を使用していないモデル(左)と比べて、対話のより長い部分にわたりシステムメッセージに対する高いアテンション活性化を維持していることが分かります。
To illustrate how GAtt helped reshape attention during fine-tuning, we display the maximum attention activations of the model in Figure 10. The left-hand side of each figure corresponds to the system message (“Act as Oscar Wilde”). We can see that the GAtt-equipped model (right) maintains large attention activations with respect to the system message for a larger portion of the dialogue, as compared to the model without GAtt (left).
下図は、トークン間のアテンションを表現しています。関係が強いものほど明るい色になっています。対角線上が明るいのは自分自身へのアテンションだからです。
論文の最初の方で述べられていましたが、Llama 2は SentencePiece(BPE系)トークナイザー を使っており、よく出現する単語やフレーズは1トークンになることがあります。ただし、この図では「隣接するトークン同士をまとめてビン分けしました」(we bin neighboring tokens together)となっており、隣接する複数のトークンを一つにまとめて扱っています。
左上、あるいは左下の「オスカー・ワイルドとして振る舞う」(Act as Oscar Wilde)が指示です。これが多くの他のトークンと関連を持っていれば対話を通してその文脈が生かされたことになります。
この図はGAttが適用される前です。

下図は、GAttが適用されたモデルによるものです。

指示「オスカー・ワイルドとして振る舞う」(Act as Oscar Wilde)による影響がより全体に広がっているのがわかります。
最後に論文は、GAttの可能性について言及しています。
その有用性にもかかわらず、現在の GAtt の実装は素朴なものであり、さらに発展・改良することでモデルの性能を一層向上させられる可能性があります。例えば、会話の途中でシステムメッセージを変更するようなデータをファインチューニングに組み込むことで、そのような挙動をモデルに学習させることも考えられます。
Despite its utility, the current implementation of GAtt is vanilla, and more development and iteration on this technique could likely further benefit the model. For instance, we could teach the model to change the system message during the conversation by integrating such data during fine-tuning.
次回予告
次回は、セクション3.4「RLHFの結果」(RLHF Results)を読みます。これまでずっとその手法を見てきたRLHFを使ったファインチューニングの結果になります。
お楽しみに!