
Llama 2を読む⑦PPOと棄却サンプリング(その1)
前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション3.2.2「報酬モデル」まで読みました。
今回も続けて、セクション3.2.3「反復的なファインチューニング」(Iterative Fine-Tuning)から読み進めます。
人間の好みに基づくデータ(選好データ)をさらに多く収集することで、より高性能な報酬モデルを訓練できただけでなく、(Llama 2の訓練に使う)プロンプトも多く集まりました。こうして、「人間のフィードバックによる強化学習」(RLHF)を用いて順次訓練されたのが、「RLHF-V1 〜 RLHF-V5」の各バージョンです。
As we received more batches of human preference data annotation, we were able to train better reward models and collect more prompts. We therefore trained successive versions for RLHF models, referred to here as RLHF-V1, . . . , RLHF-V5.
段階的に性能が向上した報酬モデルと、拡充されたプロンプト集を用いることで、Llama 2 の強化学習(RLHF)が実施されました。こうして訓練されたのが、一連のバージョン「RLHF-V1 〜 RLHF-V5」です。
このRLHFによるファインチューニングでは2つの手法が使われました。
私たちは、RLHFによるファインチューニングにおいて、主に次の2つのアルゴリズムを用いて検討しました。
• Proximal Policy Optimization(PPO)(Schulman ら, 2017):RLHF分野で標準的に用いられている手法
• 棄却サンプリング:モデルから個の出力をサンプリングし、報酬モデルがベストと判断したものを選択する手法(Bai ら, 2022b と同様)
We explored RLHF fine-tuning with two main algorithms:
• Proximal Policy Optimization (PPO) (Schulman et al., 2017), the standard in RLHF literature.
• Rejection Sampling fine-tuning. We sample outputs from the model and select the best candidate with our reward, consistent with Bai et al. (2022b).
強化学習手法であるPPOについてはこちらでも解説しています。PPOは、OpenAIがChatGPTの前身であるInstructGPTをRLHFで訓練するのに使われて以来、標準的な手法となっています。
ちょっと脱線しますが、John Schulmanは、TRPOやPPOといった深層強化学習の先駆的な業績で知られ、OpenAIの中核的な研究者でもありました。また、もともとはSam AltmanらとOpen AIを共同創業した人物です。
2024年8月に Anthropic(Claudeの開発元)に移籍した理由が「AIアライメントにフォーカスするため」だったというのは、OpenAI内部の方針転換(より商業的な方向)に対する静かな意思表示かもしれません。
彼はその後、Mira Muratiが2025年2月に創設した Thinking Machines Lab へ移籍しています。そのMira Muratiといえば、Sam Altmanが2日間ほど解任されていた時にOpenAIの暫定CEOになっていた人物です。なんとなく人間関係が見えてくるような気がします。
それにしても、2025年におけるLLM・AGIを巡る人材の獲得合戦は激しさを増す一方です。「○○設立 → 数百億円の資金調達 → OpenAI/Google/Metaから人材を引き抜く」というパターンが日常になっています。
一般の社会人と同様に、トップレベルのAI研究者たちにも、「組織に対する不信」「人間関係によるストレス」「理想の研究環境を求める思い」など、さまざまな動機があるのは自然なことです。
そこに、巨額の資本が短期的な収益性を求めて介入してくるという構図が重なることで、組織の分裂や新たな研究機関の設立が繰り返されています。最近の Meta の Super Intelligence Lab に関する報道を見ても、まさに同じような現象が繰り返されていることがよくわかります。
なお、2つ目の手法である棄却サンプリング(Rejection Sampling)では、「モデルから個の出力をサンプリングし、報酬モデルがベストと判断したものを選択する」と説明されています。
これだけだと詳細はわからないですが、論文はこの次に、棄却サンプリングとPPOについて詳しく議論しているので、このまま読み進めていきましょう。
人間らしさによる再ランキング
推論時の文章評価
ある言語モデルからの複数の出力に対して、評価モデルによるランク付けを行うという手法は、以前から行われてきました。論文はこう続けます。
大規模言語モデルの出力を再ランキングする手法は、Deng ら(2019)でも提案されています。そこでは報酬がエネルギー関数として扱われていました。
The same re-ranking strategy for LLMs was also proposed in Deng et al. (2019), where the reward is seen as an energy function.
英語の「re-ranking」を訳した「再ランキング」の「再」が意味するのは、モデルが一度生成した出力に対して、別の基準でもう一度ランキング(順位付け、評価)を行うという二段階のプロセスを指します。
LLMは、出力の「もっともらしい」度合い(スコア、生成確率)を予測しているので、内部においてLLM独自の評価が行われていると言えます。これに対して、外部の評価モデルによる順位付け(スコア計算)は「再ランキング」という位置付けになるわけです。
「再ランキング」という言葉には、「LLM自身による内部評価」と「報酬モデルによる外部評価」との違いがあることが強調されています。
なお、以前の研究として言及されているDengらの論文「Residual Energy-Based Models for Text Generation」では、推論時にで再ランキングを利用しています。言語モデルによる複数の生成文章(シーケンス)を他の評価モデル(例:BERT)で順位付けし、最良の選択を最終出力として採用するというものです。
ここでのエネルギー関数とは、ある入力と出力のペアに対して「その組み合わせがどれだけ良いか」を数値で評価する関数です。報酬モデルと似た役割を果たしますが、エネルギーが低い方が良いとみなします。
例えば、以下のような処理になります。
LLM に対してあるプロンプトを与える
複数の出力候補をサンプリング(たとえば、5個)
各出力に対して エネルギーを計算する
最も低いエネルギーの候補を選び最終出力とする
ここで言いたいのは、Dengらの研究では、シーケンスの評価(再ランキング)を行っているが、それでモデルの訓練をするわけではないということです。
生成的敵対ネットワーク
これに対して論文はこう述べています。
我々の研究では出力を選ぶだけでなく、それを用いて学習(勾配更新)を行います。そこでは、各プロンプトに対し、最も高い報酬スコアを得たサンプルを新たな「ゴールドスタンダード」(gold standard)と見なして利用しています。
Here, we go one step further, and use the selected outputs for a gradient update. For each prompt, the sample obtaining the highest reward score is considered the new gold standard.
Llama 2では、再ランキングによって選ばれた(最も高い報酬スコアを得た)サンプルを学習データとして集め、LLMの訓練時に利用します。
なお、「ゴールドスタンダード」は、もとは「金本位制」を意味する経済用語に由来しますが、そこから転じて「信頼できる基準」や「高い品質保証」といった意味で用いられるようになりました。機械学習の分野では、正確にラベル付けされた信頼性の高いデータのことを指して使われます。
ただし、通常は人間が手作業で丁寧にラベル付けしたデータなど、モデルの性能を測るうえで最も信頼できるものを指して使われますが、ここでは報酬モデルが高く評価したものを「ゴールドスタンダード」と見なして利用しています。
この「ゴールドスタンダード」の質は、報酬モデルの性能に大きく依存しています。そして、報酬モデルの性能は、集められた選好データ(人間のフィードバック)の質と量に依存します。
さらに、論文はこう続けます。
Scialom ら(2020a)と似ており、ランク付けされた新しいサンプル群を使ってモデルをファインチューニングすることで、報酬モデルの評価に従った学習が行われます。
Similar to Scialom et al. (2020a), we then fine-tune our model on the new set of ranked samples, reinforcing the reward.
ここで言及されている、Scialomらの論文「Discriminative Adversarial Search for Abstractive Summarization」では、言語モデルにGANのような学習方法を採用しています。
生成ネットワーク(Generator):文章を生成する言語モデル
識別ネットワーク(Discriminator):生成文章を判別する判別モデル

識別ネットワーク(判別モデル)は、「人間による要約文」(正解)と「言語モデルが生成した要約文」の両方を訓練段階で入力として受け取ります。そして、入力文章の「人間らしさ」をスコアとして計算(予測)します。
この訓練では、生成ネットワーク(言語モデル)は学習済みの状態で固定されており、識別ネットワーク(判別モデル)だけが学習します。評価モデルによる再ランキングの性能をよくするという手法です。
推論時には、判別モデルはビームサーチによる探索と組み合わせて使われます。言語モデルからの複数の予測候補(シーケンス)それぞれに対して、判別モデルが「人間らしさ」のスコアを付けます。この「判別モデルによるスコア」と「言語モデルによるもっともらしさ」(生成確率、対数尤度)を合わせてビームサーチを調節することで、より自然で望ましい文章生成が促進されます。最終的にビームサーチはこれらの複合スコアを元に最も望ましいシーケンスを1つ選んで出力します。
なお、判別モデルは、「ビームサーチ+再ランキング」で得られた生成文を用いて再訓練されます。これは、新しい出力分布に適応するファインチューニングとして機能します。また、反復的に実行することによって、生成文章が徐々に人間要約により近づくようになります。ただし、この反復的な学習においても言語モデル自体は固定されています。
棄却サンプリング
もう一度、先ほど引用した部分を掲載します。
Scialom ら(2020a)と似ており、ランク付けされた新しいサンプル群を使ってモデルをファインチューニングすることで、報酬モデルの評価に従った学習が行われます。
Similar to Scialom et al. (2020a), we then fine-tune our model on the new set of ranked samples, reinforcing the reward.
ここで、「Scialomら(2020a)と似ており」と書かれていますが、Llama 2における再ランキングは、厳密には異なるアプローチです。
なぜなら、Llama 2では、再ランキングは言語モデル自体の学習のために使われます。報酬モデルを用いて、良質な出力を選び出し、その「選ばれた出力」と「元の入力プロンプト」のペアを教師データとして用います。
こうしてランク付けされた新たな「ゴールドスタンダード」を使って言語モデルの学習(勾配更新)を行います。このファインチューニングにより、報酬モデルの評価に従った言語モデル自体の学習が行われます。
あえてScialomらと似ている部分を指摘するならば、段階的に集められた選好データによって訓練された報酬モデルを使って、新たな「ゴールドスタンダード」を作り、それによって言語モデルを訓練するという反復的な学習スタイルです。
ただし、Scialomらによる研究では、判別モデルは更新されますが、言語モデルは固定です。一方、Llama 2では、報酬モデルは段階的に増える選好データによってより優秀になり、それが作りだす新たな「ゴールドスタンダード」によって言語モデルが反復的にファインチューニングされています。
なお、Llama 2における「再ランキング」の手法は、「棄却サンプリング」(Rejection Sampling) と呼ばれています。「質の良いサンプルを集める」ことが目的なのに「棄却」と呼ばれるのは挙動が逆のようにも思えます。
実は、「本来の棄却サンプリング」は、確率分布からサンプリングを行う手法のひとつです。簡単に言うと、候補サンプルをランダムに採取し、そこから一定の基準に照らし合わせて「採用か棄却」かを決めるというものです。
ただし、Llama 2で使われる棄却サンプリングは、「モデルが生成した複数出力の中から報酬モデルによる評価基準で採用(選択)または棄却(非選択)する」という意味合いであり、上述のサンプリング手法の一般概念とは少し異なります。
2つの「強化学習」の違い
棄却サンプリングとPPO
棄却サンプリングを用いた学習は、基本的に教師ありファインチューニング(Supervised Fine-tuning、SFT)であり、強化学習ではありません。ここで報酬モデルは、単に新たな「ゴールドスタンダード」となる学習データを選別・準備するために使われています。
つまり、モデルから複数の出力を生成し、その中から報酬モデルによって最良と判断された出力のみを抽出し、それを教師データとして言語モデルのSFTを行います。これはバッチ単位で行われる、従来型の教師あり学習です。
ただし、従来のSFTと違うのは、ラベルの選抜が人間によってではなく、人間のフィードバックで学習した報酬モデルによるものだというところです。
一方、PPOによる学習では、プロンプトに対してモデルが出力した文章に、報酬モデルがスカラー値の報酬を与えます。モデルはその報酬を最大化するようにパラメータを更新します。これは、SFTのように「正解文に従わせる」教師あり学習ではなく、報酬に基づいてモデル出力を最適化する強化学習的アプローチです。
ただし、いわゆる強化学習とはちょっと違うところもあります。これについては後述します。
ある意味両方「強化学習」
両者はこのように訓練手法としては異なるものの、いずれも人間のフィードバックから学習した報酬モデルを用いて望ましい出力を選別するという点では共通しています。このため、Llama 2 の論文では両者を広義の「強化学習アルゴリズム」(The two RL algorithms)として一括りに扱っています。
そのうえで、論文では次のような違いを強調しています。
この2つの強化学習アルゴリズムは、主に次の点で異なります。
• Breadth(幅):棄却サンプリングでは、1つのプロンプトに対してモデルは個の出力を生成して探索しますが、PPOでは各プロンプトにつき1回のみ生成を行います。
• Depth(深さ):PPOでは、訓練ステップにおけるサンプルは、前のステップにおける勾配更新後の最新のモデルポリシー(言語モデル)によって生成されます。
The two RL algorithms mainly differ in:
• Breadth — in Rejection Sampling, the model explores samples for a given prompt, while only one generation is done for PPO.
• Depth — in PPO, during training at step the sample is a function of the updated model policy from after the gradient update of the previous step.
要するに、棄却サンプリングでは、1つのプロンプトに対して複数の生成文を出力し、そこから最良のものを選ぶために報酬モデルが使われます。PPOでは、1つのプロンプトにつき1つの出力を生成し、その出力に対して直接スカラー報酬を与えることで、モデルがその報酬を最大化するように更新されます。
「幅と深さ」といった比喩よりも、「報酬モデルが評価するサンプルを生成する言語モデルが固定かどうか」と「報酬モデルがどの段階で使われるか」という2軸で捉える方が、両手法の違いを明確に説明できます。
棄却サンプリング:報酬モデルは「教師データの選別」に使われる
出力サンプルは、固定された言語モデルによって生成され、その中から報酬モデルが最良のものを選びます
選ばれた出力が教師あり学習で使われ言語モデルが更新されるが、報酬モデルは関与しません
PPO:報酬モデルは「最適化の目的関数」として使われる
出力サンプルは、報酬最大化に向けて逐次更新される言語モデル(ポリシー)によって生成される
報酬モデルからの報酬に基づき、モデルを改善する強化学習が行われます
棄却サンプリングは「固定モデル+報酬による教師信号の選別」、PPOは「可変モデル+報酬の最大化」というように対照的に比べることができます。
反復的なモデル更新
しかし、論文は次のようにも述べています。
棄却サンプリングによるファインチューニングでは、モデルの初期ポリシーに基づいてすべての出力を生成して新しいデータセットを構築し、それを使ってSFTに類似したファインチューニングを行います。ただし、私たちは反復的なモデル更新(iterative model updates)を行っているため、これら2つの強化学習アルゴリズムの根本的な違いは、実際にはそれほど顕著ではありません。
In Rejection Sampling fine-tuning, we sample all the outputs given the initial policy of our model to collect a new dataset, before applying the fine-tuning similar to SFT. However, since we applied iterative model updates, the fundamental differences between the two RL algorithms are less pronounced.
ここで述べられているのは、棄却サンプリングの手法では、一見すると更新されたモデルによるより質の高いサンプルが使われないように見えるが、実はそうでもないということです。
なお、「SFTに類似したファインチューニング」と言っているのは、教師データが報酬モデルによって選ばれたものだからです。
それは、「反復的なモデル更新」(iterative model updates)によって、報酬モデルと言語モデルの両方が段階的に改善されていくプロセスがあるからです。
人間のフィードバック(選好データ)が新たに集まるたびに、まず報酬モデルが訓練されて精度が向上します。その後、その報酬モデルを使って、言語モデルから生成された複数の出力の中から「もっとも望ましい出力」を選別します。こうして選ばれた出力を教師データとみなし、言語モデルに再びファインチューニングを行うことで、モデル自体も改善されていきます。
このような「選好データ → 報酬モデル更新 → 出力選別 → 言語モデル更新」という一連の流れが何度も繰り返され、モデルの品質が徐々に高められていくわけです。よって、PPOにおいて更新されたモデルの出力が報酬モデルによって評価されるのと大枠では似たプロセスになっています。
なお、報酬モデルの質がまだ十分でない段階では、強化学習は不安定になりがちです。というのも、強化学習ではモデルの出力に対して報酬モデルが直接スカラーの報酬を与え、それを最大化するようにモデルを更新します。もし報酬モデルが不正確だと、望ましくない出力に高い報酬が与えられ、モデルが誤った方向に最適化されてしまうおそれがあります。
一方、棄却サンプリングとSFTによる学習では、固定された言語モデルが複数の出力候補を生成し、その中から報酬モデルが最良のものを選び出します。つまり、報酬モデルはあくまで“選別”に使われるだけで、学習そのものには直接関与しません。このため、報酬モデルが完全でなくても、言語モデルの出力能力と相対評価により、ある程度信頼できる教師データが得られます。
初期段階では報酬モデルの信頼性が低いため、「棄却サンプリングによるファインチューニング」のほうが強化学習よりも安定かつ効果的なアプローチとなりやすいことが予想されます。
これに関して、論文は次のように述べています。
RLHF(V4)までは、棄却サンプリングによるファインチューニングのみを用いていました。それ以降は、2つの手法を順番に組み合わせ、まず棄却サンプリングで得られたチェックポイントに対してPPOを適用し、その後再びサンプリングを行うという手法を取りました。
Until RLHF (V4), we used only Rejection Sampling fine-tuning, and after that, we combined the two sequentially, applying PPO on top of the resulted Rejection Sampling checkpoint before sampling again.
一連のRLHFモデル(RLHF-V1〜V5)のうち、PPOによる強化学習が導入されたのは最終バージョンのRLHF-V5だけです。それ以前のV1〜V4では、棄却サンプリングによるファインチューニングのみが使われていました。
これは、おそらく報酬モデルの品質がまだ十分ではなく、PPOを用いると出力が不安定になったためでしょう。
強化学習では、報酬の信頼性に学習の安定性や性能が大きく依存するため、報酬モデルが十分に訓練されるまでの間は、より安定した棄却サンプリングを用いたファインチューニングに留めていたと推測されます。
次回予告
この後、論文は棄却サンプリングとPPOという2つの手法について、より詳細な解説に踏み込んでいきます。
よって、次回もこのまま読み続けていきます。
お楽しみに!