
最新AI DPOの詳解
はじめに――採点モデルも、強化学習も、省いてしまった
RLHFは、モデルを人の好みに合わせる、確かな方法でした。しかし、仕組みが重かった。模範の学習、採点モデルの学習、そして、不安定で調整の難しい強化学習。三段の工程を回すには、専門の腕と、大きな計算が要ります。「この重さは、本当に要るのか」。
2023年、スタンフォード大学のRafael Rafailov(ラファエル・ラファイロフ)らが出した答えが、「DPO(Direct Preference Optimization、直接選好最適化)」です。鍵は、数学の気づきでした。RLHFの目的(元のモデルから離れすぎずに、採点を上げる)は、実は、閉じた形で解ける。その解を書き換えると、採点は、モデル自身の言葉で表せてしまう。ならば、採点モデルを作らず、強化学習も回さず、好みのデータから、直接、モデルを直せる。論文の題名は、「あなたの言語モデルは、実は採点モデルである」です。本記事では、仕組み、提供と費用、性能、そして限界を、確認できる事実をもとに詳しく整理します。