
「感じのいいAI」が正しいとは限らない。RLHF・DPOが変えたもの
仕事のチャット画面に、丁寧で見出しも整った回答が返ってくると、ついそのまま信じてしまいそうになります。言葉遣いが落ち着いていて、こちらの手間を省くように先回りした案内まで添えてあると、「よくできているな」と感じるものです。
たとえば、架空の社内相談として、こんな質問をAIに投げかけたとします。 「来週、大阪へ日帰り出張に行きます。新幹線が遅延して帰着が22時を過ぎた場合、深夜手当や宿泊への切り替えはどう申請すればいいですか?」
このとき、二つの異なる回答候補が並んだら、どちらが頼もしく見えるでしょうか。
一つ目の回答Aは、実に親切な書きぶりです。 「お疲れ様です。帰着が22時を過ぎた場合は、通常の出張日当に加えて『遅延特別加算(一律3,000円)』の対象となります。また、23時を超える見込みのときは、事前承認なしで上限12,000円までの近隣ホテルを予約し、翌営業日に遅延証明書の画像と領収書をシステムへ添付して精算してください」
二つ目の回答Bは、少しそっけなく見えます。 「ご提示の質問だけでは、貴社の旅費規程における遅延時の扱いが判断できません。日帰り出張の帰着時刻による割増や、当日宿泊への変更条件、事前連絡の要否は社内規程ごとに異なります。該当する旅費規程の条文を貼っていただくか、人事・総務の窓口へ確認する前提で、確認すべき項目を整理しましょうか?」
パッと読んで気持ちが楽になるのは回答Aです。具体的な金額も手順も書いてあり、すぐに次の行動へ移れそうに思えます。しかし、もしその会社に「遅延特別加算」という制度が存在しなかったらどうなるでしょうか。実在しない手当を前提に手続きを進めれば、差し戻しや自己負担といったトラブルにつながります。
私たちが対話型AIを使うとき、「読みやすくて感じがいい回答」と「事実や規程に照らして正しい回答」が食い違う場面にたびたび出くわします。なぜAIは、時としてこれほど堂々と、しかも親切な口調で根拠のない案内を組み立ててしまうのでしょうか。その背景には、ただ文章の続きを予測していたモデルが、人の依頼に応える対話相手へと育てられてきた学習の仕組みがあります。
「続きを予測するモデル」は、最初から相談相手だったわけではない
現在の対話型AIの土台にあるのは、大量のテキストから「次に来るもっともらしい言葉(トークン)」を予測する事前学習です。文法や語彙、世の中のさまざまな文書の書き方を幅広く吸収していますが、この段階のモデルは「利用者の質問に誠実に答える係」として訓練されているわけではありません。
たとえば、先ほどの出張申請の質問を、事前学習だけの素のモデルに入力したとします。すると、質問に答えるのではなく、ネット上の掲示板やQ&Aサイトにありそうな「続きの文章」を書き始めることがあります。
「似たような質問:新幹線が運休になった場合の交通費精算について教えてください。ベストアンサー:会社によって違いますので総務に聞きましょう……」
このように、質問の後に質問を並べたり、勝手に質疑応答のやり取りを自作自演したりしても、「文章の続き」としては自然です。しかし、いま目の前で困っている利用者からすれば、自分の依頼に応えてくれたとは感じられません。
文章の予測能力を大きくするだけでは、利用者が意図した通りに指示へ従う振る舞いにはなりにくい。そこで、事前学習を終えたモデルに対して、後から「依頼への応え方」を身につけさせる追加の学習(事後学習/post-training)が重ねられるようになりました。

図1:口調や親切さの評価と、規程の事実に合うかの確認は別である。
手本をまねるSFTと、回答の「好ましさ」を学ぶRLHF
事後学習の最初のステップとしてよく使われるのが、教師あり微調整(SFT:Supervised Fine-Tuning)です。これは「こういう依頼が来たら、こんなふうに答える」という実演の手本(デモンストレーション)を人が用意し、モデルにその書き方や構成をまねさせる段階です。
SFTを経ることで、モデルは質問の続きを勝手に連想するのではなく、「ご質問ありがとうございます。以下の点をご確認ください」といった対話の型で応答できるようになります。
ただ、手本をまねるだけでは、微妙なニュアンスや「どちらの答え方がより人の役に立つか」という優先順位まで細かく調整しきれないことがあります。人間が一から百点満点の模範解答を大量に書き下ろすのは大変でも、モデルが出してきた二つの回答を見比べて「こっちのほうが自然で助かる」と判定するほうがずっとやりやすいからです。
そこで広く知られるようになったのが、人のフィードバックを使った強化学習(RLHF:Reinforcement Learning from Human Feedback)です。2022年3月に公開されたOuyangらの研究(arXiv:2203.02155v1)では、実演データによる微調整に加え、複数の回答に対する人の順位付けから報酬モデルを学習し、強化学習で調整する手順が検証されました。
この仕組みをごく簡単に追うと、次のような流れになります。
同じ依頼に対して、モデルに複数の回答候補を作らせる
評価者がそれらを読み比べ、どちらが好ましいか順位をつける
「人がどちらを高く評価しやすいか」を予測する別のモデル(報酬モデル)を訓練する
元の言語モデルが、その報酬モデルから高い点数をもらえるように出力の傾向を調整する
先ほどの架空の出張申請の例で考えてみましょう。もし評価の場面で、「質問の背景に寄り添い、具体的でわかりやすい手順を示している回答」が高く評価されやすい傾向があったらどうなるでしょうか。
条件が足りないときに「わかりません、規程を貼ってください」と突き放すような回答よりも、見出しをつけて具体的なステップまで踏み込んで案内してくれる回答のほうが、一見すると親切で完成度が高く見えます。その結果、モデルは「利用者が望んでいそうな、整った丁寧な回答」を優先してひねり出す方向へと強められていくことがあります。

図2:実演・選好の学習と、利用時に事実を確かめる作業を区別する。
学習手順をシンプルにしたDPOと、変わらない課題
RLHFは対話の自然さを大きく引き上げましたが、実際に回そうとすると大がかりな仕組みが必要でした。回答を作る言語モデルとは別に「報酬モデル」を育てなければならず、さらに強化学習の調整は計算や設定のバランスが難しいという実務上の負担があったのです。
この手順を見直す転機となったのが、2023年5月に公開されたRafailovらの研究(arXiv:2305.18290v1)で提案されたDPO(Direct Preference Optimization:直接選好最適化)です。DPOは、好ましい回答と好ましくない回答のペアを使い、独立した報酬モデルを別途訓練して強化学習を回す手順を経ずに、言語モデル自体を直接調整できるよう学習目標を書き換えました。
たとえば、出張申請の質問に対して「好ましい回答」と「好ましくない回答」のペアがデータとして手元にあるとき、元のモデルから離れすぎないようにブレーキをかけつつ、好ましい回答を出す確率が直接高まるように重みを更新します。
これにより訓練のパイプラインが整理され、選好データを使った調整が扱いやすくなりました。ただし、DPOであっても元の基準となるモデルや比較用の選好データが必要である点は変わりません。また、すべての条件で常にRLHFより高い性能が出ると決まっているわけではなく、現在のすべてのモデルが単一の方式だけで作られているわけでもありません。
そして何より、RLHFであれDPOであれ、私たちがAIを使ううえで忘れてはならない共通の性質があります。それは、「人が比較して選んだ好ましさ(選好)」と「客観的な真実や社内規程の正確さ」はイコールではない、という点です。

図3:自然な回答を読むだけでなく、対象・例外・未確認を原本と照合する。
「好ましさの学習」と「事実の検証」を切り分ける
評価者が二つの回答を見比べるとき、いつでも全社の就業規則や最新の法令、専門的な裏付けを完璧に照合しながら判定できるとは限りません。短い時間で読み比べれば、どうしても「文章がなめらかか」「質問の意図をくんでいるか」「トーンが丁寧か」といった見た目の良さがスコアに影響しやすくなります。
つまり、選好に基づく調整がうまく効いたモデルほど、「人間が読んで納得しやすい話し方」が上手になります。それ自体は、文章の下書きやアイデアの壁打ち、すでに手元にある情報の要約などでは大きな助けになります。
一方で、モデルが自分の重み(記憶)の中だけで、あなたの会社の旅費規程を知っているはずがありません。手元に規程のデータが渡されていないのに、「親切で具体的な回答」を作る振る舞いだけが前に出ると、冒頭の回答Aのように「一律3,000円の遅延特別加算」といった、もっともらしい架空の制度を滑らかな敬語で補ってしまうのです。
この仕組みを知っておくと、仕事の現場でAIと向き合うときの姿勢がはっきりと変わります。
まず、AIの回答が丁寧で筋道立っているからといって、それを「根拠が確認された証拠」とは見なさないことです。流暢さや親切なトーンは、事後学習によって磨かれた「話し方のスタイル」であって、中身が事実に合致している保証ではありません。
次に、社内規程や契約条件、固有の数値が絡む場面では、AIの記憶に頼って答えを出させない工夫が欠かせません。今回の出張申請の例なら、最初から旅費規程の該当条文を入力に添えて、「この条文に書かれている範囲だけで答えてください。書かれていない条件については推測せず、確認が必要な項目として列挙してください」と枠をはめるだけで、回答の性質は大きく変わります。
さらに、モデル自身の学習(重みの更新)と、推論時に外部の文書を参照させたりチェックしたりする仕組み(検索との組み合わせや人間による承認フロー)を分けて考えることも大切です。どれだけモデルの事後学習が進歩しても、個別の現場ルールや最新の変更点を勝手に知り尽くすことはありません。最終的な申請ボタンを押す前や、社外へ案内を出す前には、必ず元の規程や一次情報と照らし合わせるステップを残しておく必要があります。
ただ文章の続きを予測していたモデルが、手本をまねるSFTや、回答の比較から好みを学ぶRLHF・DPOを経て、私たちの言葉に自然な会話で応えてくれるようになりました。その進化の道筋を知ると、「なぜこんなに感じがいいのに、ときどき平気で嘘をつくのか」という理由が、単なる不思議ではなく構造として腑に落ちるはずです。
AIの「感じの良さ」は、私たちが気持ちよく対話するための入り口として受け取りつつ、事実やルールの確認は別の手続きとしてしっかり手元に握っておく。その役割分担こそが、これからの道具との賢い付き合い方ではないでしょうか。
答えが違ったとき、次はどこを直すか
口調を直すことと、根拠を取得すること、計算条件を照合することは違います。6つの症状と完成例を使い、次の変更と試験を選ぶ実践ノートを用意しています。
プロンプト・RAG・追加学習、どこを直すべきか|LLMの失敗を診断する6ケース(有料500円・実践付録付き)
関連するKindle書籍
このテーマを一冊で掘り下げたい方へ。私が執筆した関連書籍を、読む目的ごとにまとめました。
今回のテーマを深掘りする
『LLM進化の歴史』 — 言葉の予測から、推論・マルチモーダル・エージェントへ至る変化を追う。
『AIハーネス実装・改善ガイド』 — エージェントの失敗を観測し、復旧・評価・改善につなげる実装を学ぶ。
基礎と全体像をつなげる
『AIエージェントのハーネス設計』 — 実行ループ・記憶・ツール・評価をつなぐ設計から押さえる。
『機械学習からLLMへ』 — AIが何を学び、どこで進化したのかを、機械学習から順にたどる。
『LLMだけではわからないAIの現在地』 — 予測・画像生成・ロボティクスなど、LLM以外の取り組みも見渡す。
『第9巻:人工知能 (AI) & 機械学習』 — 人工知能と機械学習を広く学ぶための既刊。
参考資料
Training language models to follow instructions with human feedback(Ouyang et al., 2022-03-04, arXiv v1 / NeurIPS 2022): https://arxiv.org/abs/2203.02155v1
Direct Preference Optimization: Your Language Model is Secretly a Reward Model(Rafailov et al., 2023-05-29, arXiv v1 / NeurIPS 2023): https://arxiv.org/abs/2305.18290v1