
Llama 2を読む⑥報酬モデルの訓練
前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション3「ファインチューニング」の報酬モデリングデータについて読み進めました。
今回も続けて、セクション3.2.2「報酬モデル」から読み進めます。
報酬モデルは、「以前のやり取りも含めたプロンプト」と「モデルの応答」から、有用性や安全性を評価したスコアを出力します。これを報酬として、Llama 2-ChatをRLHFで最適化し、人間により適合させ、有用性や安全性の向上を図ることができます。
The reward model takes a model response and its corresponding prompt (including contexts from previous turns) as inputs and outputs a scalar score to indicate the quality (e.g., helpfulness and safety) of the model generation. Leveraging such response scores as rewards, we can optimize Llama 2-Chat during RLHF for better human preference alignment and improved helpfulness and safety.
しかし、有用性と安全性は時にトレードオフの関係にあり、単一の報酬モデルで両方をうまく扱うのは難しい場合があります。これに対する対策が論文では述べられています。
報酬モデルの構成
報酬モデルの初期化
論文は次のように2つの報酬モデルを訓練したと述べています。
有用性と安全性は時にトレードオフの関係になる(Bai ら, 2022a)ため、単一の報酬モデルで両方をうまく扱うのは難しい場合があります。これに対処するために「有用性に最適化された報酬モデル」と「安全性に最適化された報酬モデル」の2つの別々の報酬モデルを訓練しています。
Others have found that helpfulness and safety sometimes trade off (Bai et al., 2022a), which can make it challenging for a single reward model to perform well on both. To address this, we train two separate reward models, one optimized for helpfulness (referred to as Helpfulness RM) and another for safety (Safety RM).
一つの報酬モデルが「有用性」と「安全性」を評価する場合、ユーザーの質問によく答えて有用性があっても、その答えが危険を含み安全性に欠ける場合には評価が難しくなります。つまり、「有用性」と「安全性」にはトレードオフの関係があるため、それぞれ別々の報酬モデルを訓練したというわけです。
また、2つの報酬モデルを同じ重みで初期化したと述べています。
2つの報酬モデルは、事前学習済みのチャットモデルのチェックポイント(保存された重み)から初期化されており、事前学習で得られた知識の恩恵を受けることができます。報酬モデルが「チャットモデルが知っていることを知っている」状態になるので、報酬モデルとチャットモデルの間で情報の不一致が生じにくくなり、幻覚を誤って高く評価してしまうような事態を防ぐことができます。
We initialize our reward models from pretrained chat model checkpoints, as it ensures that both models benefit from knowledge acquired in pretraining. In short, the reward model “knows” what the chat model knows. This prevents cases where, for instance, the two models would have an information mismatch, which could result in favoring hallucinations.
「報酬モデルとチャットモデルが同じ知識を持っている」ことが、そのまま「チャットモデルの幻覚を見抜ける」と言い切るのは論理的にやや飛躍がある印象を受けます。
そもそも、報酬モデルは出力の妥当性を評価するものであり、事実確認を保証するわけではありません。チャットモデルと同じ情報を持っていたとしても、それが「現実に合っているかどうか」を判断できる根拠にはなりません。要するに、幻覚とは外部世界との不一致であり、モデル内の一致だけでは防げません。
ただし、ここでの意図を汲むとすると、次のように理解できます。
報酬モデルがチャットモデルと同じ知識を持っていれば、「これはチャットモデルの能力を超えている」と判断しやすくなる。
つまり、報酬モデルをチャットモデルと同じチェックポイントから初期化することで、チャットモデルが持つ知識の範囲外のことを喋っていることがわかるというわけです。ただし、これはあくまでもそうなるだろうという期待ぐらいにしか受け止められないというのが正直なところです。
外部知識(例えば検索や構造化データ)を参照する仕組みやファクトチェッキングの訓練データがあるわけではないので、幻覚そのものを防ぐものではなく、あくまで評価上の一貫性を保つ工夫だと受け止めるのが正解でしょう。
報酬学習の損失計算
なお、報酬モデルは、最終出力の層をスカラーの報酬値を出力するように置き換えたものになっています。
モデルの構造とハイパーパラメータは、事前学習済みの言語モデルと同一ですが、「次のトークンの予測のための分類ヘッド」は、「スカラーの報酬値を出力する回帰用のヘッド」に置き換えられています。
The model architecture and hyper-parameters are identical to those of the pretrained language models, except that the classification head for next-token prediction is replaced with a regression head for outputting a scalar reward.
前回見たように、報酬モデルの学習のために「人間の好み」データを収集しました。それは、同じ質問に対するモデルが出した2つの応答のうち、どちらを人間が好むのかを記録したものです。これを使って報酬モデルを学習させるための目的関数について、論文は次のように述べています。
学習の目的関数
報酬モデルを学習させるために、収集した人間の好みのデータを2値のラベル形式「選ばれた応答」「却下された応答」に変換します。そして、「選ばれた応答」が「却下された応答」より高いスコアを出力するように学習させます。
このとき、Ouyang ら(2022)と同様に、バイナリランキング損失関数(binary ranking loss)を使用しています。
ここで、 は、プロンプトと応答に対して、重みのモデルによる報酬スコアです。は「選ばれた応答」(chosen)で、は「却下された応答」(rejected)を意味します。
つまり、報酬モデルはとなるように訓練されます。
Training Objectives. To train the reward model, we convert our collected pairwise human preference data into a binary ranking label format (i.e., chosen & rejected) and enforce the chosen response to have a higher score than its counterpart. We used a binary ranking loss consistent with Ouyang et al. (2022):
where is the scalar score output for prompt and completion with model weights . is the preferred response that annotators choose and is the rejected counterpart.
つまり、集めた報酬モデリングデータから好まれる応用の方に高い報酬値(スコア)を出力するように報酬モデルを訓練したわけです。
:プロンプト
:モデルの応答。以下のようにペアが収集された:
:「選ばれた応答」(chosen)
:「却下された応答」(rejected)
:プロンプトと応答に報酬モデルが出すスコア
報酬モデルはとなるように訓練される
なお、この損失関数にはシグモイド関数が使われています。簡略化して表記すると次のようになります。
シグモイド関数は、0から1が出力範囲です。その場合、対数は負の無限大から0に変わります。それにマイナスが付いているので、損失関数として正の無限大から0の範囲の値を取ることになります。つまりとなるほど損失が低くなり0に近づきます。
よって、「選ばれた応答」に高いスコアを与えるように報酬モデルの重みが調整されます。
段階的なマージン項
人間の好みの評価は、二択比較だけでなく、段階的な評価も行っていました。例えば、有用性の評価は4段階の尺度で測られました。
「明らかに良い」
「良い」
「やや良い」
「ほとんど差がない / 判断が難しい」
これを利用することで、報酬モデルの損失関数に以下の工夫を加えていることを論文は述べています。
このバイナリランキング損失を基礎として、私たちは「有用性の報酬モデル」と「安全性報酬モデル」のそれぞれに対して、以下のような拡張を加えました。
(注:ただし、以下には有用性のケースだけのみ述べられています)
セクション3.2.1で述べたように、人間の好みの評価は「4段階の尺度」(例:明らかに優れているなど)に分解されています。この情報を活用することで、生成された応答の差が大きい場合に、報酬モデルがより大きなスコア差をつけるように学習させることができます。
そのために、損失関数に以下のようにマージン項を追加しました。
ここで、マージン項は、人間の好みの評価に応じた離散的な(段階的な)値を与える関数です。
Built on top of this binary ranking loss, we further modify it separately for better helpfulness and safety reward models as follows. Given that our preference ratings is decomposed as a scale of four points (e.g., significantly better), as presented in Section 3.2.1, it can be useful to leverage this information to explicitly teach the reward model to assign more discrepant scores to the generations that have more differences. To do so, we further add a margin component in the loss:
where the margin is a discrete function of the preference rating.
つまり、評価に「明らかな差がある」と人間が評価した場合には、より大きめのマージンを与え、「少し良い」程度なら小さいマージンにすることで、報酬モデルが出力の差異の大きさに応じたスコアの差を学習できるようにしています。
例えば、有用性の4段階の評価をと、の値が大きい方が左の評価が大きいとすると、以下のような離散的な値を取るマージン関数を考えることができます。
よって、評価の差が大きい場合は、報酬モデルはより大きな値を出力しないと損失値を小さくできないわけです。よって、報酬モデルは「この差は大きい/小さい」と明示的に学習させることができます。
当然ながら、応答の差が大きいペアには大きなマージンを、応答が類似しているペアには小さなマージンを使用しています(Table 27 参照)。
このマージン項を導入することで、特に2つの応答の差が明確なサンプルにおいて、有用性の報酬モデルの精度が向上することが分かりました。詳細なアブレーション実験および分析については、Appendix A.3.3 の Table 28 を参照してください。
Naturally, we use a large margin for pairs with distinct responses, and a smaller one for those with similar responses (shown in Table 27). We found this margin component can improve Helpfulness reward model accuracy especially on samples where two responses are more separable. More detailed ablation and analysis can be found in Table 28 in Appendix A.3.3.
下表は、実際に使われた2つの異なるマージンの設定です。

下表は、マージン項が有用性の報酬モデルの性能(正解率)に与える影響を示しています。この正解率は、報酬モデルが人間の好みと一致した判断をした割合です。

「Margin Small」が平均的に良い正解率を与えていますが、その差は「Margin Large」と比べるとほんのわずかです。ただし、マージンがない倍より明らかに性能が良くなっています。
なお、「安全性報酬モデル」に関しては具体的な説明がないですが、以下のようなカテゴリ分けがありました。
「選ばれた応答は安全で、もう一方は安全でない」
「両方の応答が安全」
「両方の応答が安全でない」
「選ばれた応答が安全でなく、もう一方が安全」
ただし、最後の4は学習データに含めないという記述もありました。とすると上記3つを利用したのかもしれませんが、ランキングとしてどのように利用したのかは明白ではありません。特に「両方の応答が安全」と「両方の応答が安全でない」でどのようなマージンの差をつけるのかは難しいところです。
報酬モデルの訓練
報酬学習の初期段階
最終的には大規模な報酬学習データセットを構築しましたが、初期の段階では、新たなデータを収集の完了を待たずに、既存のオープンソースのデータセットで報酬モデルの学習を行ったそうです。
データ構成(Data Composition)「新たに収集したデータ」と「既存のオープンソースの好みデータセット」を組み合わせて、より大規模な学習用データセットを構築しました。初期の段階では、好みアノテーションの収集中に報酬モデルを立ち上げる目的で、オープンソースのデータセットを活用しました。
Data Composition. We combine our newly collected data with existing open-source preference datasets to form a larger training dataset. Initially, open-source datasets were used to bootstrap our reward models while we were in the process of collecting preference annotation data.
しかし、既存のオープンソースの好みデータセットは、Llama 2-Chatの出力に対する人間の評価を集めたものではありません。そのようなデータでLlama 2-Chatのための報酬学習を行うことについて次のように述べています。
本研究のRLHFにおける報酬の役割は、Llama 2-Chatの出力に対する人間の好みを学習することであり、任意のモデルの出力に対するものを意図していませんが、実験の結果、オープンソースの好みデータセットを使うことで 性能が悪化するという現象は見られませんでした。
We note that in the context of RLHF in this study, the role of reward signals is to learn human preference for Llama 2-Chat outputs rather than any model outputs. However, in our experiments, we do not observe negative transfer from the open-source preference datasets.
要するに、報酬学習で使われるデータは対象となるモデルからの出力に関するものでのある必要はないということです。これは、評価対象が会話形式の出力であることを考えると、自然なことだと言えます。
むしろ、積極的に利用する価値を見出したようです。論文はこう述べています。
そのため、それらのデータもデータミックスの一部として維持する判断をしました。これは報酬モデルの汎化性能を高めたり、報酬ハッキング(モデルが報酬モデルの弱点を突いて不当に高いスコアを得ようとすること)を防ぐのに役立つ可能性があります。
Thus, we have decided to keep them in our data mixture, as they could enable better generalization for the reward model and prevent reward hacking, i.e. Llama 2-Chat taking advantage of some weaknesses of our reward, and so artificially inflating the score despite performing less well.
さまざまな学習データを利用することで報酬モデルの汎化性能を高めるというのは理解できますが、「報酬ハッキング」とは何のことでしょうか。
例えばモデルが有用性のスコアを上げるために、それっぽいけれど意味のない長文を生成して報酬モデルが高いスコアを出力するように仕向けるといったことが考えられます。つまり、モデルが本来の目的を達成せずに、報酬モデルの評価関数の“穴”を突いて、見かけ上のスコアだけを不当に高くするような出力を学習してしまう現象です。
「報酬ハッキングを防ぐ」という主張は、理屈としては理解できるものの、実証的裏付けを欠いており、論文としてはやや曖昧かつ踏み込みが浅いです。
これも汎化性能の高まりの効用としての「可能性」があるということです。実験的に証明したわけではないが、オープンソースのデータをミックスしておくことで「そんな効用があるかも」ぐらいの気持ちでしょうか。
有用性の混合レシピ
実際のところ外部からの学習データを利用した方が結果が良かったのでしょう。論文は、さまざまなデータの混合レシピを試しましたと述べています。
異なるソースから得られた学習データを用いて、有用性および安全性の報酬モデルそれぞれに対して、最適な設定を見つけるためにさまざまなデータの混合レシピを試しました。
With training data available from different sources, we experimented with different mixing recipes for both Helpfulness and Safety reward models to ascertain the best settings.
まず、有用性の報酬モデルのための混合レシピは以下のように述べられています。
広範な実験の結果、有用性の報酬モデルは最終的に、Metaの有用性のデータすべてと、それ以外のデータ(Metaの安全性データおよびオープンソースのデータ)を均等にサンプリングして組み合わせたものを用いて学習されました。
After extensive experimentation, the Helpfulness reward model is eventually trained on all Meta Helpfulness data, combined with an equal parts of the remaining data uniformly sampled from Meta Safety and from the open-source datasets.
この文章では、有用性の報酬モデルの訓練に、安全性データとオープンソースのデータを均等にサンプリングして組み合わせたと述べています。直感的には「有用性を評価するモデルには有用性のデータだけを使えばいいのでは?」と感じますが、まずはこの文を厳密に読み解いてみます。
有用性の学習データのベース:Metaの有用性データすべて
追加するデータとその混ぜ方:
Metaの安全性データ
オープンソースのデータ(ただし、有用・安全性の区別の明示なし)
Metaの安全性データとオープンソースを均等にサンプリング
有用性の報酬を決めるモデルだとしても、安全性の高いデータにより高いスコアをつけるべきなので、そういった意味での汎化性能の向上を目指しているのかもしれません。また、有用性と安全性の両方とも評価されたデータもあるでしょう。
また、有用性と安全性が実用上は切り離せない側面を持つことを反映した設計なのかもしれませんが、詳しい考察はありません。
安全性の混合レシピ
安全性のデータの混合レシピに関しても以下のように述べています。
安全性の報酬モデルは、Metaの安全性データとAnthropicの無害データすべてを使用し、それにMetaの有用性データとオープンソースの有用性データを10%の割合で混合して学習されました。このように有用性データを10%に抑える設定は、選ばれた応答と却下された応答の両方が安全であるサンプルにおいて、特に精度を向上させるのに有効であることが分かりました。
The Meta Safety reward model is trained on all Meta Safety and Anthropic Harmless data, mixed with Meta Helpfulness and open-source helpfulness data in a 90/10 proportion. We found that the setting with 10% helpfulness data is especially beneficial for the accuracy on samples where both the chosen and rejected responses were deemed safe.
ここでも安全性の報酬モデルの学習データに安全性のデータだけでなく有用性のデータを混ぜています。また、外部のデータも使用しています。
興味深いのは、有用性のデータを少量(10%)混ぜることで、安全性の報酬モデルが「両方とも安全だが質に差がある応答」を区別する力を得るということです。つまり、安全性だけを区別するのではなく、有用性のデータをちょっと混ぜることで安全性は同じぐらいな場合に有用性での差による判断ができるようになるということです。
これは、確かに重要な点です。無害でも役に立たない応答では困るからです。安全性の報酬モデルでも有用性の差を区別できるようになる必要があります。
学習率などの設定
事前学習と比べるとデータの数が限られている報酬モデルは過学習に陥りやすいようです。論文は次のように述べています。
学習の詳細。報酬モデルの学習は、「全学習データに対して1エポックのみ実施」しました。初期の実験において、「それ以上学習を続けると過学習につながる」ことが分かっていたためです。
Training Details. We train for one epoch over the training data. In earlier experiments, we found that training longer can lead to over-fitting.
また、学習率はウォームアップで最大値まで上げ、そこから徐々に10%まで下げるコサインスケジュールを使用しました。
最大学習率
Llama 2-Chat(700億パラメータ)の場合:
その他のモデル:
学習率スケジュール
学習率はコサインスケジュールで徐々に減少
最終的には最大学習率の10%まで下げる
ウォームアップ
総ステップ数の3%分をウォームアップ期間として使用
最低でも5ステップのウォームアップを保証
バッチサイズ
1バッチあたり1024行(= 512のペア)のデータを使用
The maximum learning rate is for the 70B parameter Llama 2-Chat and for the rest. The learning rate is decreased on a cosine learning rate schedule, down to 10% of the maximum learning rate. We use a warm-up of 3% of the total number of steps, with a minimum of 5. The effective batch size is kept fixed at 512 pairs, or 1024 rows per batch.
学習の初期段階でいきなり大きな学習率を使うと、モデルの重みが急激に変動し、学習が不安定になったり、発散したりすることがあります。そこでウォームアップ(Warm-up)では、学習率をゼロや非常に小さい値から始めて、徐々に目的の最大値まで上げていくことで、モデルを「慣らし運転」させ、学習を安定させます。
それでも最大学習率が小さく設定されており、これも一種の微調整なのがわかります。過学習を避ける効果もあるのでしょう。
報酬モデルの性能
報酬モデルの評価
学習を終えた報酬モデルの評価のために1000個のデータをテストセットとして保持しました。
報酬モデルの評価結果。報酬モデルの評価のために、人間による好みのアノテーションデータの各バッチから1000個の例をテストセットとして保持しました。
それぞれのテストセットに対応するプロンプトの集合を、それぞれ「Metaの有用性のテストセット」「Metaの安全性のテストセット」と呼んでいます。
Reward Model Results. On each batch of human preference annotation for reward modeling, we held out 1000 examples as a test set to evaluate our models. We refer to the union of all prompts for the corresponding test sets as “Meta Helpfulness” and “Meta Safety,” respectively.
また、比較のために公開されている他の報酬モデルの評価も行いました。
比較のために、公開されている他の報酬モデルもベースライン(比較基準)として評価しました。
SteamSHP-XL(Ethayarajh ら, 2022)FLAN-T5-xl をベースにしたモデル
Open Assistant の報酬モデル(Köpf ら, 2023)DeBERTa V3 Large(He ら, 2020)をベース
GPT-4(OpenAI API を通じてアクセス可能)
訓練時と異なり、推論時では対になった出力を同時に見る必要はありません。報酬モデルは、1つの出力に対してスカラー値を予測します。
GPT-4 に関しては、ゼロショットで「Choose the best answer between A and B」(AとBのうち、どちらがより良い応答かを選べ)というプロンプトで比較を行いました。
As reference points, we also evaluated other publicly available alternatives as baselines: SteamSHP-XL (Ethayarajh et al., 2022) based on FLAN-T5-xl, the Open Assistant (Köpf et al., 2023) reward model based on DeBERTa V3 Large (He et al., 2020), and GPT4 accessible through the OpenAI’s API. Note that at inference time, as opposed to training, all the reward models can predict a scalar for a single output, without requiring to access its paired output. For GPT-4, we prompt with a zero-shot question “Choose the best answer between A and B,” where A and B are the two responses for comparison.
下表は、メタのデータセットや外部データセットでの結果です。

Metaのデータセットで正解率が高いだけでなく、他のデータセットでも他のモデルよりも成績が良いです。これについて論文は次にように述べています。
評価結果は、表7において正解率で示しています。
予想通り、Metaが独自に収集した Llama 2-Chat ベースの内部テストセットにおいては、Metaの報酬モデルが最も高い性能を示しました。
有用性の報酬モデルは、Metaの有用性テストセットで最高の成績
安全性の報酬モデルは、Metaの安全性テストセットで最高の成績
全体として、Meta の報酬モデルは、GPT-4 を含むすべてのベースラインモデルよりも優れた性能を示しました。興味深いことに、GPT-4 は報酬モデルのタスクのために特別に訓練されていないにもかかわらず、他の非Meta系の報酬モデルよりも良い結果を出しました。
We report the results in terms of accuracy in Table 7. As expected, our own reward models perform the best on our internal test sets collected based on Llama 2-Chat, with the Helpfulness reward model performing best on the Meta Helpfulness test set, and similarly the Safety reward model performing best on the Meta Safety test set. Overall, our reward models outperform all of the baselines, including GPT-4. Interestingly, GPT-4 performs better than other non-Meta reward models, despite not being trained directly nor targeting specifically this reward modeling task.
このような優れた結果になったのは、メタの報酬モデルが、複数のデータソースを組み合わせた混合レシピで学習した効果によるものでしょう。
GPT-4が他のモデルより良い成績なのは商用モデルであり、それこそさまざまなデータで事前学習されているからだと推測されます。また、公式には詳細な学習データを明かしていませんが、RLHFによるファインチューニングなども含め、商用展開のための高度な品質管理が行われているのは疑いの余地がありません。
有用・安全の関係
Metaの有用性の報酬モデルは、Metaの有用性のデータでの評価が最高です。また、Metaの安全性の報酬モデルは、Metaの安全性のデータでの評価が最高です。つまり、有用性と安全性を分けた効果がはっきりと確認できます。
論文もこの点について次のように述べています。
有用性と安全性がそれぞれの領域で最も高い性能を示したという事実は、この2つの目的の間に緊張関係(tension)があるためでしょう。つまり、「できるだけ有用であろうとすること」と「必要に応じて危険なプロンプトを拒否すること」の間にはトレードオフが存在し、それが学習中に報酬モデルを混乱させる要因となることがあります。
1つのモデルが両方の目的に対して高い性能を発揮するためには、単にどちらの応答が優れているかを学習するだけでなく、「悪意あるプロンプト」と「安全なプロンプト」を識別する能力も必要になります。そのため、2つの目的(有用性と安全性)に対して個別に最適化された報酬モデルを用いる方が、報酬モデルの設計・学習における負荷が軽減されるというわけです。
この有用性と安全性の間の緊張関係についてのより詳しい分析は、付録A.4.1に記載されています。
The fact that helpfulness and safety performed the best on their own domain is potentially due to the tension between the two objectives (i.e., being as helpful as possible versus refusing unsafe prompts when necessary), which may confuse the reward model during training. In order for a single model to perform well on both dimensions, it needs to not only learn to select the better response given a prompt but also to distinguish adversarial prompts from safe ones. As a result, optimizing two separate models eases the reward modeling task. More detailed analysis on this tension between safety and helpfulness can be found in Appendix A.4.1.
差のある応答ペア
下表は、段階的な評価ラベルごとの精度を示しています。

これを見ると、2つの応答がはっきりと異なる場合の方が報酬モデルの成績が良いことがわかります。これについて論文は次のように述べています。
表8 に示されているように、人間の好みによる評価ラベルごとにスコアをグループ化して比較すると、「明らかに優れている」(significantly better)とされた応答ペアに対しては正解率が高く、比較ペアの差が小さくなるにつれて(たとえば「わずかに優れている」(slightly better)など)、正解率は徐々に低下していることが分かります。
これは、2つの応答が類似している場合の判断が難しくなるためであり、「アノテータの主観性」や「微妙な差異」といった要因により、人間の好みを学習すること自体が難しくなるためです。
Llama 2-Chat の性能向上において重要なのは「差が明確な応答ペア」に対する精度です。また、こうした明確に差のある応答ペアの方が、アノテーション時の人間同士の一致率も高い傾向があります。
When we group the scores by preference rating in Table 8, we can see that the accuracy is superior for the “significantly better” test set and degrades gradually as comparison pairs become more similar (e.g., “slightly better”). It is expected that learning to model human preferences becomes challenging when deciding between two similar model responses, due to annotator subjectivity and their reliance on nuanced details that may differentiate responses. We emphasize that the accuracy on more distinct responses matters the most to improve Llama 2-Chat performance. The human preference annotation agreement rate is also higher on more distinct responses than similar pairs.
明確に差があるケースでは、それだけ特徴を捉えやすいと言えるでしょう。人間自体が差を見つけにくい場合にはモデルも結果を出し難いわけです。よって、論文でも「差が明確な応答ペア」に対する精度がより重要だと述べています。
スケーリング傾向
報酬モデルの学習におけるスケーリングの傾向を論文は調査しています。
スケーリング傾向。本研究では、報酬モデルにおけるデータ量とモデルサイズのスケーリング傾向を調査しました。異なるサイズのモデルに対して、毎週収集された報酬モデル用データを段階的に増やしながらファインチューニングを行い、その傾向を観察しました(各バッチのデータ量の詳細は Table 26 を参照)。
Scaling Trends. We study the scaling trends in terms of data and model size for the reward model, finetuning different model sizes on an increasing amount of the reward model data collected each week (see the details on volume per batch in Table 26).
以下は、毎週(バッチ)集められたデータの統計データです。

これを見ると、「一例あたりのトークン数(プロンプト+応答)の平均」(Avg. # Tokens per Example)が増加傾向にあるのが確認できます。つまり、週を追うごとに、徐々に収集される対話が長くなっています。
この辺りは、報酬モデルの訓練目標が「有用性と安全性の評価」であるため、より情報量が多く、文脈を踏まえた応答が好まれるようになったと想像します。
さて、このように増えていくデータ量とモデルサイズを考慮したスケーリングによる効果はどうだったのでしょうか。
図6 にその結果が示されていますが、そこでは予想通り、同じデータ量であっても、モデルサイズが大きいほど性能が高いという傾向が確認されました。さらに重要なのは、現在使われているアノテーションのデータ量においても、性能向上がまだ頭打ちになっていないという点です。つまり、今後さらに多くのアノテーションを集めることで、モデルの性能が向上する余地があることを示しています。
Figure 6 reports these trends, showing the expected result that larger models obtain higher performance for a similar volume of data. More importantly, the scaling performance has not yet plateaued given the existing volume of data annotation used for training, a signal that there is room for more improvement with more annotations.
やはり、報酬モデルでもスケーリング則の効果があることが示されました。

上図の左は、すべてのデータで評価し、右は評価の差が最も大きいグループのデータによる結果です。いずれにせよ、バッチが増えると性能が上昇し、パラメータ数が大きい方がより性能が向上しているのがわかります。
報酬とチャット性能
論文の著者たちは、報酬モデルの性能がチャットモデルの性能向上に直結すると考えています。
報酬モデルの精度は Llama 2-Chat の最終的な性能を測るための最も重要な指標の1つです。生成モデルの性能を評価するための最善の方法は、いまだに研究課題ですが、報酬モデルの格付けタスクには明確な正解が存在するため、他の条件が同じであれば、報酬モデルの改善はそのまま Llama 2-Chat の性能向上に直結すると考えられます。
We note that reward model accuracy is one of the most important proxies for the final performance of Llama 2-Chat. While best practices for comprehensively evaluating a generative model is an open research question, the ranking task of the reward has no ambiguity. Therefore, everything else being equal, an improvement of the reward model can be directly translated into an improvement for Llama 2-Chat.
つまり、性能の良い報酬モデルを使って強化学習すればチャットモデルの性能も良くなると主張しているわけです。
次回予告
これまでに、報酬データや報酬モデルの学習などの下準備が終わりました。次回は、いよいよRLHF(強化学習)の詳細へと内容が移っていきます。
お楽しみに!