メむンコンテンツぞスキップ
芋出し画像

RLHF (人間のフィヌドバックからの匷化孊習) の図解

    以䞋の蚘事が面癜かったので、軜く芁玄したした。

    ・Illustrating Reinforcement Learning from Human Feedback (RLHF)

    1. はじめに

    蚀語モデルは、人間の入力プロンプトから倚様で説埗力のあるテキストを生成するこずで、ここ数幎、目芚たしい成果をあげおいたす。しかし、「良い」テキストかどうかは、䞻芳的で文脈に䟝存するため、定矩するこずが困難です。

    「良い」テキストを生成するための損倱関数の蚭蚈は難しく、ほずんどの蚀語モデルは、ただ単玔な次のトヌクン予枬損倱クロス゚ントロピヌなどで孊習しおいたす。この損倱自䜓の欠点を補うために、BLEUやROUGEなどの人間の奜みをよりよく捉えるように蚭蚈された指暙も定矩されおいたす。しかしこれらは、胜力枬定においお損倱関数より適しおたすが、生成されたテキストを単玔なルヌルで参照比范するため、制限がありたす。

    生成されたテキストに人間のフィヌドバックを性胜の尺床ずしお䜿甚したり、さらに䞀歩進んでそのフィヌドバックを損倱ずしお䜿甚しおモデルを最適化したりするこずはできないでしょうか。それが「RLHF」のアむデアです。匷化孊習を䜿甚しお、人間のフィヌドバックで蚀語モデルを盎接最適化したす。「RLHF」は、蚀語モデルが䞀般的なコヌパスで孊習したモデルを、耇雑な人間の䟡倀に合わせるこずを可胜にしたす。

    2. RLHFの3぀のステップ

    「RLHF」は、耇数の孊習プロセスで構成される、挑戊的な抂念です。この蚘事では、孊習プロセスを次の3぀のステップに分類したす。

    (1) 蚀語モデルの事前孊習
    (2) 報酬モデルの孊習
    (3) 匷化孊習による蚀語モデルのファむンチュヌニング

    2-1. 蚀語モデルの事前孊習

    「RLHF」は出発点ずしお、叀兞的な事前孊習モデルを「ベヌスモデル」ずしお䜿甚したす。

    ・OpenAI : ベヌスモデルずしお「GPT-3」の小型版を䜿甚しお、最初の人気あるRLHFモデル「InstructGPT」を䜜成。
    ・Anthropic : ベヌスモデルずしお1000䞇から520億のパラメヌタのTransformerモデルを䜿甚。
    ・DeepMind : ベヌスモデルずしお2800億のパラメヌタの「Gopher」を䜿甚。

    このベヌスモデルは、远加のテキストや条件でファむンチュヌニングするこずもできたすが、必ずしも必芁はありたせん。

    ・OpenAI : 「奜たしい」ずいう人間が䜜成したテキストでファむンチュヌニング。
    ・Anthropic : 「圹に立぀、正盎、無害」ずいう基準で、文脈を手がかりにオリゞナルの蚀語モデルを蒞留。

    画像


    2-2. 報酬モデルの孊習

    人間の奜みに合わせおチュヌニングした「報酬モデル」 を生成するこずから、「RLHF」の研究が始たりたす。基本的な目暙は、テキストから人間の奜みを衚す数倀 (スカラヌ報酬) を取埗するこずです。

    「報酬モデル」は、別のファむンチュヌニングされた蚀語モデル、たたは奜みデヌタに基づいおれロから孊習した蚀語モデルの䞡方を利甚できたす。匷化孊習のプロンプト生成ペアの孊習デヌタセットは、あらかじめ定矩されたデヌタセットからプロンプトのセットをサンプリングしお生成されたす。

    ヒュヌマン・アノテヌタヌは、蚀語モデルから生成されたテキスト出力をランク付けしたす。最初は、「報酬モデル」を生成するために、人間がスコアをテキストの各郚分に盎接適甚する必芁があるず考えるかもしれたせんが、実際にはこれを行うのは困難です。人間の䟡倀芳の違いにより、これらのスコアは調敎されず、ノむズが倚くなりたす。代わりに、ランキングを䜿甚しお耇数のモデルの出力を比范し、より優れた正芏化デヌタセットを䜜成したす。

    テキストのランク付けには耇数の方法がありたす。 成功した方法の1぀は、同じプロンプトで条件付けされた2぀の蚀語モデルから生成されたテキストをナヌザヌに比范させるこずです。盎接察戊でモデルの出力を比范するこずにより、Eloシステムを䜿甚しお、モデルず出力の盞察的なランキングを生成できたす。これらのさたざたなランキング方法は、孊習甚のスカラヌ報酬シグナルに正芏化されたす。


    画像

    2-3. 匷化孊習による蚀語モデルのファむンチュヌニング

    「匷化孊習」による蚀語モデルの孊習は、長い間、工孊的、アルゎリズム的な理由から䞍可胜ず思われおいたした。珟圚実甚化されおいるのは、「PPO」を甚いお、ベヌスモデルのコピヌのパラメヌタの䞀郚たたは党郚をファむンチュヌニングです。10Bや100B以䞊のパラメヌタを持぀モデル党䜓のファむンチュヌニングは法倖なコストがかかるため、蚀語モデルのパラメヌタは凍結しお孊習したす詳しくはLoRAやSparrow LMを参照。

    PPOは比范的昔から䜿われおおり成熟しおいるため、「RLHF」の分散孊習ずいう新しいアプリケヌションのスケヌルアップに有利な遞択でした。「RLHF」を実珟するための匷化孊習の䞭栞的な進歩の倚くは、倧きなモデルを䜿い慣れたアルゎリズムで曎新する方法を芋぀け出すこずでした。

    このファむンチュヌニングのタスクを「匷化孊習」ずしお定匏化しおみたす。

    ポリシヌ は、プロンプトを受け取りテキストのシヌケンスたたはテキストに察する単なる確率分垃を返す蚀語モデルです。このポリシヌの 行動空間 は蚀語モデルの語圙に察応するすべおのトヌクン (50kトヌクンほど)、芳察空間 は可胜な入力トヌクン列の分垃です。報酬関数 は、プリファレンスモデルずポリシヌシフトの制玄を組み合わせたものになりたす。

    報酬関数 は、これたで説明したすべおのモデルを1぀の「RLHF」に統合するものです。デヌタセットからプロンプト x が䞎えられるず、2぀のテキスト y1, y2 が生成されたす。珟圚のポリシヌのテキストはプリファレンスモデルに枡され、プリファレンスモデルは「preferability」ずいうスカラヌ抂念を返したす。このテキストは、ベヌスモデルからのテキストず比范され、䞡者の差に察するペナルティを蚈算したす。OpenAI、Anthropic、DeepMindなどの論文では、このペナルティは、トヌクン䞊のこれらのシヌケンス間の「KL divergence」のスケヌリングバヌゞョンずしお蚭蚈されおいたす。

     KL divergence は、各孊習バッチで匷化孊習うポリシヌがベヌスモデルから倧きく離れるこずを眰するもので、モデルが適床にたずたったテキストを出力しおいるこずを確認するのに有甚です。このペナルティがないず、最適化によっお報酬モデルを隙しお、意味䞍明なテキストが生成されるようになりたす。

    RLHFシステムの䞭には、報酬関数に機胜远加したものもありたす。䟋えば、OpenAIはInstructGPTにおいお、PPOの曎新ルヌルに事前孊習募配を远加しお実隓し、成功を収めたした。「RLHF」の研究が進むに぀れお、この報酬関数の定匏化も進化しおいくず思われたす。

    最埌に曎新ルヌルは、珟圚のデヌタバッチの報酬メトリックを最倧化するPPOからのパラメヌタ曎新になりたす。PPOは信頌領域最適化アルゎリズムで、募配に察する制玄を䜿甚しお、曎新ステップが孊習プロセスを䞍安定にしないようにしたす。

    画像

    3. RLHFのためのオヌプン゜ヌスツヌル

    珟圚、PyTorchには「RLHF」甚のいく぀かのアクティブなリポゞトリが存圚したす。
    䞻なリポゞトリは、次の3぀です。

    ・TRL (Transformers Reinforcement Learning)
    ・TRLX (Transformers Reinforcement Learning X) 
    ・RL4LMs (Reinforcement Learning for Language models)

    「TRL」は、HuggingFaceでPPO を䜿甚しお事前孊習枈みの蚀語モデルをファむンチュヌニングするように蚭蚈されおいたす。

    「TRLX」は、「CarperAI」によっお構築された「TRL」の拡匵フォヌクで、オンラむンおよびオフラむンの孊習甚の倧芏暡なモデルを凊理したす。珟時点では、「TRLX」には、LLMの展開に必芁な芏暡 (たずえば、33Bパラメヌタ) で、PPOずILQLを備えた、「RLHF」が可胜なAPIがありたす。将来的には、最倧200Bパラメヌタの蚀語モデルが可胜になりたす。そのため、「TRLX」ずのむンタヌフェヌスは、この芏暡での経隓を持぀機械孊習゚ンゞニア向けに最適化されおいたす。

    「RL4LMs」は、さたざたな匷化孊習アルゎリズム (PPO、NLPO、A2C、および TRPO)、報酬関数、メトリックを䜿甚しお、LLMをファむンチュヌニングおよび評䟡するためのモゞュヌルを提䟛したす。 珟圚の蚈画には、より倧きなモデルの分散孊習ず新しい匷化孊習アルゎリズムが含たれおいたす。

    たた、「Anthropic」によっお䜜成された倧芏暡なデヌタセットもHuggingFaceで提䟛されおいたす。


    関連


     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ