
Llama 2を読む⑤報酬モデリングデータ
前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション3「ファインチューニング」の教師ありファインチューニング(SFT)の部分を読みました。
今回は同じセクション3における「人間のフィードバックによる強化学習」(Reinforcement Learning with Human Feedback、RLHF)を読み進めます。
RLHFについてはこちらでもChatGPTの文脈で紹介しています。また、強化学習全般についてはこちらにシリーズ記事があります。
特にここでは、報酬モデルを学習するために必要な「人間の評価データ」、つまり報酬学習用データの収集方法や設計の工夫について書かれています。
「人間の好み」データの収集
報酬モデルのための教師データ
教師ありファインチューニング(SFT)により「命令 → 応答」というペアを学習したモデルはある程度は人間の指示(インストラクション)に従うようになります。さらに人間の意図を汲み取れるように学習させる手法が人間のフィードバックによる強化学習(RLHF)です。
RLHFは、ファインチューニング済みの言語モデルに対して適用され、モデルがより「人間の好み」(human preferences)や「指示に従う」(instruction following)ように合わせるための学習手法です。
私たちは人間の好みに関するデータを収集しますが、そこでは人間のアノテーター(ラベルを付ける人)が2つのモデル出力のうち、どちらを好むかを選択します。
このような人間のフィードバックは、報酬モデルの学習に使用されます。報酬モデルは人間の好みのパターンを学習し、以後はその好みの判断を自動化できるようになります。
RLHF is a model training procedure that is applied to a fine-tuned language model to further align model behavior with human preferences and instruction following. We collect data that represents empirically sampled human preferences, whereby human annotators select which of two model outputs they prefer. This human feedback is subsequently used to train a reward model, which learns patterns in the preferences of the human annotators and can then automate preference decisions.
教師ありファインチューニング(SFT)によって大まかに指示に従うようになったモデルをさらに強化学習によって微調整するためには、まずは報酬モデル(Reward Model)を構築する必要があります。これはモデルの出力がどのくらい人間の好みに従っているのか(期待するような反応かどうか)を数値化して評価するモデルです。
この報酬モデルの訓練は教師あり学習によって行われるために、ラベル付されたデータが必要です。そこで、人間アノテーターが 2つ(または複数)の出力を比較し、どちらを好むか選んだデータをたくさん集めます。
たとえば、「出力A vs 出力B」という選択肢を与えられた人間(アノテーター)が「Aが良い」と選ぶと、それがラベルとなります。
こういったサンプルデータは、以前は社内の人材やベンダーによって集めていましたが、最近はユーザーからのフィードバックを利用しています。ChatGPTなどを使っていると、ときどき(しばしば?)2つの返答のどちらを好むか尋ねてきますが、これもより良い報酬モデルを構築するためのデータを集めているものと考えられます。
ただし、より複雑なデータ(どちらのPythonのコードが優れているかなど)はエンジニアなど専門知識のある人たちを雇ってアノテーションする必要があります。
こうして大量に集めたれが 教師ありデータ です。つまり、入力ペアと「どちらが優れているか」という人間が与えたラベルが揃います。
これによる学習を行うことで報酬モデルは、「プロンプト」(ユーザーからの指示や質問)と「それに対する応答」を入力として、その評価(スコア)を数値として返します。
二択比較を採用した理由とは
では、なぜ2択なのでしょうか。2つを比較するのではなく、1つの応答に対してスコアを1〜5でつけるなど、他にも方法があるのではないでしょうか。
これに対して論文は次のように述べています。
人間の選好データを報酬のモデル化のために収集するために、私たちは二択比較(バイナリ比較)を採用しました。その主な理由は収集するプロンプトの多様性を最大化できるためです。ただし、他の戦略も検討する価値はあり、これは今後の課題としています。
Next, we collect human preference data for reward modeling. We chose a binary comparison protocol over other schemes, mainly because it enables us to maximize the diversity of collected prompts. Still, other strategies are worth considering, which we leave for future work.
「二択比較」を採用した理由が「収集するプロンプトの多様性を最大化できる」だと述べていますが、詳細がよくわかりません。
次に論文はこう述べています。
私たちのアノテーション手順は次のように進みます。
まずアノテーターにプロンプトを自分で作成してもらい、その後、与えられた基準に基づいて2つのサンプル出力のうちどちらを選ぶかを決めてもらいます。
多様性を最大化するために、同じプロンプトに対する2つの応答を「異なるモデルのバリエーション」で生成します。また、「温度ハイパーパラメータ」も変化させます。
Our annotation procedure proceeds as follows. We ask annotators to first write a prompt, then choose between two sampled model responses, based on provided criteria. In order to maximize the diversity, the two responses to a given prompt are sampled from two different model variants, and varying the temperature hyper-parameter.
アノテーターが書いたプロンプトに対するモデルからの2つの異なる応答を、アノテータが評価する(どちらが良いかを決める)という手順になっています。ここでの「与えられた基準」についてのこの段階では説明はないですが、たとえば「有用性」「正確性」「安全性」「明確性」といったものだと考えられます。
この2つの異なる応答を生成させることが「多様性を最大化する」ことにつながると述べています。そこで2つのモデルのバリエーション(バリアント)を使うと書かれていますが、実際にどのようなことが異なるのかは言及されていません。
モデルのバリエーションとして考えられるのは、「パラメータ数が違う」「同じパラメータ数だけど学習の長さやデータが違う」などがあります。
要するに、ただ一つの応答を独立に評価するよりも、バリエーションを持たせた2つを比べさせることで、人間の好みをより多様な側面から捉えられる。これが「多様性を最大化する」ということです。
日本語では「最大化」という言葉は「限界まで」「一番に」といったニュアンスがありますが、英語の訳として「より大きくする」「高める」「広げる」くらいに捉える方が文脈によって良いでしょう。
論文でも、これだけが多様性を最大化させる方法だとまでは断言しておらず、他の戦略も検討するのは将来の課題としているわけです。
温度のハイパーパラメータ
また、温度パラメータも変えると述べています。
温度パラメータは、言語モデルが文章を生成するときの「ランダムさの強さ」を調整するものです。
温度が低いと、毎回似たような応答を返しやすくなります。
温度が高いと、より多様(ランダム)な応答になります。
これも詳細はありませんが、温度を調節するとは、一般に次のトークンの確率を調節することを指します。つまり、確率計算を行うソフトマックス関数にハイパーパラメータを加えることで確率分布を調整し出力のランダムさを変更します。
通常のソフトマックスは以下のような関数です。
は番目のトークンが選ばれる確率
は指数関数
は番目のトークンに対するモデルの出力(スコアやロジットと呼ばれる)
スコアが大きいほど、対応する確率も大きくなる
分母によって全体の確率が1になるように正規化されている
この確率は、与えられたプロンプトやそれまでに生成されたテキストを入力として、ニューラルネットワークが計算します。
もし常に一番確率の高いトークンを選ぶ(argmax)のであれば、同じ条件下では毎回同じトークンが予測されます。これは、ニューラルネットワークの計算自体が通常は決定論的だからです。
もちろん、推論時にドロップアウトを使ったり、確率的サンプリングを含むモデル(例えば画像生成モデルなど)ではランダム性が入ります。しかし、ニューラルネットワークの本質的な部分は、行列計算などの決まった処理を繰り返すだけの決定論的な計算です。
あるいは、ソフトマックスで計算された各トークンの「確率分布」に従ってサンプリングする(ランダムにトークンを選ぶ)ならば、文脈を条件として確率の高いものがより頻繁に選ばれることになります。
この場合、ソフトマックスに温度を加えて分布の形を変えることができます。
は温度ハイパーパラメータ
:通常のソフトマックスと同じ
:分布がシャープになり、高い確率の単語が選ばれやすい
:分布がフラットになり、低い確率の単語も選ばれやすい
指数関数は右肩上がりに、つまり指数関数的に急激に大きくなっていきます。そのため、スコアが高いものほど強調されます。温度パラメータが 1 未満の場合、分母ので割ることでスコアが大きくなり、差がより誇張されます。また、が 1 より大きい場合はスコアが小さくなり、差も小さくなって分布が平らになります。
つまり、温度が高くなると、各トークンの確率の差が小さくなるため、分布として考えるとよりフラットになります。よって、サンプリングによって異なる単語を選ぶ可能性が増え、より多様で自由な応答を生成できます。
報酬モデル用の学習データの質
段階的な評価によるラベル付け
また、実際には二択比較だけでなく、選ばれた応答に対して段階的な評価も行っています。
さらに、単にどちらかを選ぶだけでなく、選んだ応答がどの程度優れていると感じたかもラベル付けしてもらいます。「明らかに良い」「良い」「やや良い」「ほとんど差がない / 判断が難しい」のいずれかを選んでもらいます。
In addition to giving participants a forced choice, we also ask annotators to label the degree to which they prefer their chosen response over the alternative: either their choice is significantly better, better, slightly better, or negligibly better/ unsure.
これは、「どれくらい良いか」をラベル付けすることで、人間の好みの強さや微妙な差をモデルに伝えられるようにするためです。
応答AがBより良いと判断されても、ほとんど差がない場合には報酬として高い値を与えるべきではありません。このようなラベル付けによって報酬モデルの精度が向上し、結果的にRLHFの学習をより正確で安定したものにすることができます。
有用性と安全性のアノテーション
アノテーションの際に、特に「有用性」と「安全性」に注目していると論文は述べています。
私たちが収集する選好アノテーションでは、有用性と安全性の2つに注目します。
有用性は、Llama 2-Chatの応答がユーザーのリクエストをどれだけうまく満たし、求められた情報を提供できているかを指します。
安全性は、Llama 2-Chatの応答が危険でないかどうかを評価します。たとえば、「爆弾の作り方を詳細に教える」ような内容は、一見有用性はあっても、私たちの安全性ガイドラインに照らすと危険と見なされます。
この2つを分けて評価することで、それぞれに特化したガイドラインを適用し、アノテーターをより適切に指導できます。例えば、安全性のアノテーションでは、特に攻撃的・敵対的(adversarial)なプロンプトに注意を向けるような指示を含めています。
For our collection of preference annotations, we focus on helpfulness and safety. Helpfulness refers to how well Llama 2-Chat responses fulfill users’ requests and provide requested information; safety refers to whether Llama 2-Chat’s responses are unsafe, e.g., “giving detailed instructions on making a bomb” could be considered helpful but is unsafe according to our safety guidelines. Separating the two allows us to apply specific guidelines to each and better guide annotators; for example, our safety annotations provide instructions to focus on adversarial prompts, among other guidance.
これは文字通りですね。次に進みましょう。
アノテーションのガイドラインの違いに加えて、安全性の段階では追加で安全性ラベルも収集しています。
この追加情報によって、モデルの応答を以下の3つのカテゴリに分類します。
1) 選ばれた応答は安全で、もう一方は安全でない
2) 両方の応答が安全
3) 両方の応答が安全でない
安全性データセット全体の中で、それぞれのカテゴリは18%、47%、35%です。
また、「選ばれた応答が安全でなく、もう一方が安全」という例は含めていません。これは、私たちが「より安全な応答は人間にも好まれる(より良いと評価される)」と考えているためです。
安全性のガイドラインや安全性アノテーションに関する詳細は、セクション4.2.1に記載されています。
Apart from differences in annotation guidelines, we additionally collect a safety label during the safety stage. This additional information bins model responses into one of three categories: 1) the preferred response is safe and the other response is not, 2) both responses are safe, and 3) both responses are unsafe, with 18%, 47%, and 35% of the safety dataset falling into each bin, respectively. We do not include any examples where the chosen response was unsafe and the other response safe, as we believe safer responses will also be better/preferred by humans. Safety guidelines and more detailed information regarding safety annotations can be found in Section 4.2.1.
「選ばれた応答が安全でなく、もう一方が安全」という例を含めないのは、モデルが「安全な応答を好むこと」を学習するように意図的にデータを選別している、という意味です。
それは「全ての人間が常に安全な応答を好む」を前提にしているのではなく、「安全性を優先する方針をモデルに埋め込みたい」というポリシー上の判断です。
まとめると、安全性ガイドラインをアノテーターに与えることで、なるべく安全でない応答を選ばないように指導していますが、「有用性」と「安全性」は別々にアノテーションされるため、仮に「有用だが安全ではない」というケースがラベル付けされても、そのようなペアは報酬モデルの学習データには含めない、という運用になります。
報酬モデルの精度の維持
アノテーションされたデータが増えるごとに報酬モデルが改善され、Llama 2-Chatもその度に良くなってきたと論文は述べています。
人間によるアノテーションは、週単位でまとめて収集されました。より多くの選好データを集めるにつれて、私たちの報酬モデルも改善され、それによってLlama 2-Chatのより良いバージョンを段階的に訓練することができました。(結果はセクション5、図20を参照)
Human annotations were collected in batches on a weekly basis. As we collected more preference data, our reward models improved, and we were able to train progressively better versions for Llama 2-Chat (see the results in Section 5, Figure 20).
モデルが良くなるとは、たとえば、より洗練され、分かりやすく、冗長さが減るなどという変化が生じることです。また、より安全性を守った表現をするようにもなります。つまり、改良されたモデルから出力される応答のスタイルや内容が変わります。
つまり、モデルの進化とともに出力されるテキストの特徴の分布が変わります。そのため、報酬モデルが古い分布だけで訓練され続けると、新しい出力を正しく評価できなくなる可能性があります。つまり、モデルの成長に合わせて報酬モデルも常に最新の分布を学習する必要があります。
Llama 2-Chatの改善が進むと、モデルが生成するデータの分布も変化します。しかし、この新しいサンプル分布にさらされないままだと、報酬モデルの精度は急速に低下する可能性があります。これは「過度の専門化」と呼ばれる現象(Scialomら、2020b)です。
そのため、新しいLlama 2-Chatのチューニングを行う前に、最新のLlama 2-Chatのバージョンを使って新たな選好データを収集することが重要です。このステップによって、報酬モデルを常に最新モデルの「分布上」に保ち、正確な報酬を与え続けることができます。
Llama 2-Chat improvement also shifted the model’s data distribution. Since reward model accuracy can quickly degrade if not exposed to this new sample distribution, i.e., from hyper-specialization (Scialom et al., 2020b), it is important before a new Llama 2-Chat tuning iteration to gather new preference data using the latest Llama 2-Chat iterations. This step helps keep the reward model on-distribution and maintain an accurate reward for the latest model.
「過度の専門化」(hyper-specialization)と呼ばれるのは、報酬モデルが「特定の分布」(過去のモデルの出力スタイル)にだけ過剰に適応してしまうからです。
比喩として表現すると、「過度の専門化」は「世代間ギャップ」のように、ある特定の時代・スタイルにだけ適応しすぎて新しいものをうまく理解・評価できなくなる問題、と考えるとイメージしやすいです。
このため、最新のモデルから改めて人間の選好データを集め直して、報酬モデルを更新する必要があることになります。
報酬モデリングデータの特徴
論文では、Metaが集めた報酬モデルのための学習データと他のデータセットを比較しています。
表6では、私たちが時間をかけて収集した報酬モデル用の学習データの統計を示し、Anthropic Helpful and Harmless(Baiら、2022a)、OpenAI Summarize(Stiennonら、2020)、OpenAI WebGPT(Nakanoら、2021)、StackExchange(Lambertら、2023)、Stanford Human Preferences(Ethayarajhら、2022)、Synthetic GPT-J(Havrilla)といった複数のオープンソースの選好データセットと比較しています。
私たちは、指定したガイドラインに基づいて人間が評価を行うことで、100万件以上の二択比較データからなる大規模なデータセットを収集しました。これを「Metaの報酬モデリングデータ」と呼んでいます。
In Table 6, we report the statistics of reward modeling data that we collected over time, and present them against multiple open-source preference datasets including Anthropic Helpful and Harmless (Bai et al., 2022a), OpenAI Summarize (Stiennon et al., 2020), OpenAI WebGPT (Nakano et al., 2021), StackExchange (Lambert et al., 2023), Stanford Human Preferences (Ethayarajh et al., 2022), and Synthetic GPT-J (Havrilla). We collected a large dataset of over 1 million binary comparisons based on humans applying our specified guidelines, which we refer to as Meta reward modeling data.

Meta(Safety & Helpfulness)と書かれている行に注目してください。その数が比較的に大きくなっています。
同程度のものは StackExchange だけです。ユーザーからの質問応答に対して評価がつけられるようになっているサイトです。
また、会話のターン(応答)の数が多くなっています。Metaは、3.9ターンで、他の多くのデータは1.0です。つまり、1ターンQAや単発応答が多い中で、多ターンの対話的構造を含む、より自然な会話に近いデータになっています。
このためか、例あたりのトークン数も多くなっています。つまり、長い対話になっています。その一方で、プロンプトは短めです。Metaが30トークンほどなのに対して、他のデータセットでは数百トークンになっています。これは、長い応答を含む対話的データが多いことを示します。
ただし、上述の数字はあくまで平均的な傾向です。
なお、プロンプトや応答内のトークン数はテキストのドメインによって異なります。要約タスクやオンラインフォーラムのデータは一般的にプロンプトが長くなる一方で、対話型のプロンプトは通常短めです。既存のオープンソースデータセットと比べて、私たちの選好データは会話のターン数が多く、平均して応答も長いという特徴があります。
Note that the number of tokens in prompts and answers differs depending on the text domain. Summarization and online forum data generally have longer prompts, while dialogue-style prompts are usually shorter. Compared to existing open-source datasets, our preference data features more conversation turns, and are longer, on average.
まとめると、Metaの報酬モデリングデータは「規模が大きい」「多ターン対話を含む」「応答が長い」という特徴があり、既存のオープンソースの選好データセットよりも会話的・自然な対話のトレーニングに向いた構造をしていることがわかります。
次回予告
今回は、セクション3「ファインチューニング」の「人間のフィードバックによる強化学習」(RLHF)における報酬モデルを訓練するための「人間の選好データ」の収集の部分を読みました。
次回は、この報酬モデリングデータを使った訓練について読み進めます。
お楽しみに!