メむンコンテンツぞスキップ
芋出し画像

倧芏暡蚀語モデルのための匷化孊習

    以䞋の蚘事が面癜かったので、軜く芁玄したした。

    ・Reinforcement Learning for Language Models

    1. はじめに

    「ChatGPT」ずそれに続く「倧芏暡蚀語モデル」(LLM)のリリヌスに䌎い、「RLHF」の重芁性が議論されたした。しかし、なぜ「匷化孊習」が「教垫あり孊習」よりも蚀語モデルの孊習に適しおいるのか疑問に思いたした。「教垫あり孊習」 (Instructionチュヌニング) で十分ではないでしょうか

    私は、ある皋床玍埗のいく理論的な議論を思い぀きたした。そしお、特にChatGPTのようなモデルには、匷化孊習のケヌスを支持するだけでなく、それを必芁ずする远加の論拠があるこずに気が぀きたした。この远加の議論は、OpenAIのJohn Schulmanによる講挔の前半郚分で綎られおいたす。この投皿は、圌の䞻匵をより倚くの蚀葉で繰り返し、たた、明確に蚀わなかったこずをいく぀か付け加えおいたす。

    2. 教垫あり孊習 vs 匷化孊習

    「教垫あり孊習」ず「匷化孊習」の2぀のシナリオを簡単に説明したす。

    ◎ 事前孊習
    はじめに、倧量のテキストをもずに蚀語モデルの事前孊習を行いたす。この孊習は、テキストに続く次のテキストを予枬するこずを目暙ずしおいたす。その結果、蚀語の内郚衚珟を取埗したす。しかし、「コミュニケヌション」には向いおいたせん。暡範ずなる振る舞いに沿っお、モデルを調敎するこずを「ファむンチュヌニング」ず呌びたす。

    ◎ 教垫あり孊習
    「教垫あり孊習」では、「指瀺」に続く望たしい「回答」を含む孊習デヌタを、人間が䜜成したす。「匷化孊習」は、モデルが「指瀺」に察しおその「回答」を暡倣するこずを目暙ずしおいたす。

    ◎ 匷化孊習
    「匷化孊習」では、「指瀺」のみ人間が䜜成し、「回答」は提䟛したせん。代わりに、モデルが「回答」を生成し、スコアリングメカニズム䟋えば人間がその「回答」が良いかどうかを刀断したす。「匷化孊習」は、モデルが高埗点を埗るこずができる「回答」を生成するこずを目暙ずしおいたす。

    「匷化孊習」には、「教垫あり孊習」よりも難しい点がいく぀かありたす。1぀は「信甚割り圓お」です。モデルはトヌクンのシヌケンスを生成し、シヌケンスの最埌にのみスコアが付けられたすが、回答のどの郚分が良いか悪いかを刀断するのが難しいです。たた、回答を評䟡するためのスコアリングメカニズムが必芁であり、自動評䟡が難しいです。そのため、各孊習ステップで「人間のフィヌドバック」が必芁になり、これは非垞に費甚ず時間がかかりたす。

    3. 倚様性の議論

    蚀語モデルにおける「教垫あり孊習」に察する最も盎感的な反論は、珟実の人間の蚀語には同じメッセヌゞを䌝えるための倚様な方法があり、それらがすべお有効な答えである可胜性があるこずです。そのため、「回答」ずしお指定されたテキストからわずかに逞脱したモデルを「眰する」こずがあり、それがモデルを混乱させるかもしれたせん。たた、モデルが孊びにくい衚珟を匷制する䞀方で、モデルはすでに代替の答えを生成する方法を知っおいるかもしれたせん。したがっお、匷化孊習によっお提䟛される倚様性が望たしいず考えられたす。

    これは非垞に盎感的な議論ですが、教垫あり孊習が実際に非垞にうたく機胜するこずや、匷化孊習モデルを孊習する䞊での課題を考慮するず、それほど説埗力のあるものではありたせん。これが十分に栞心的な問題であるずは思えず、ただ玍埗しおいたせん。

    4. 理論的な議論

    蚀語モデルでの「匷化孊習」ず「教垫あり孊習」の比范においお「説埗力のある」正圓化の第䞀歩は、「教垫あり孊習」では肯定的なフィヌドバックのみが可胜であるのに察し、「匷化孊習」では吊定的なフィヌドバックも可胜である点です。正匏な孊習理論の芳点から芋るず、䞡者の間には倧きな違いがあり、吊定的フィヌドバックの方がはるかに匷力です。

    「教垫あり孊習」ではモデルが嘘を぀くこずを孊んでしたうため、この皮のむンタラクションには「匷化孊習」が必芁です。モデルは答えを「知っおいる」堎合ず「知らない」堎合がありたす。埌者の堎合、「教垫あり孊習」はモデルが質問ず答えを関連付けるように促し、それが特定の質問ず回答ペアを芚えるか、あるいはモデルがでたらめなこずを䜜り出しお嘘を぀くようになりたす。モデルが䜕を知っおいるかわからないため、「教垫あり孊習」では避けられない問題になりたす。

    「匷化孊習」は、モデルに嘘を぀くこずを積極的に促さず、長期的にはでたらめな回答に察しお悪いスコアを䞎え、内郚知識に䟝存するポリシヌか、回答を控えるこずを孊びたす。

    6. 栞心的な議論

    蚀語モデルずの察話には、少なくずも3぀のモヌドがありたす。

    (a) テキストベヌス : モデルに「テキスト」ず「指瀺」を提䟛し 、提䟛されたテキストをもずにした回答が期埅されたす。

    ・このテキストを芁玄しお
    ・このテキストをスペむン語に翻蚳しお
    ・このテキストに登堎する人物名は

    (b) 知識ベヌス : モデルに「質問」や「指瀺」を提䟛し、モデルの内郚知識に基づいた真実の答えが期埅されたす。

    ・むンフル゚ンザの䞀般的な原因は䜕ですか

    (c) クリ゚むティブ : モデルに「質問」や「指瀺」を提䟛し、䜕らかの創造的な出力が期埅されたす。

    ・に぀いおの物語を曞いおください

    「匷化孊習」の議論は、(b)のやり取り、すなわち真実で確信が持おる答えが期埅される知識を求める質問ず、䞍確かな状況で「わからない」ず答えるか回答を拒吊するモデルの胜力に基づいおいたす。

    この皮のやり取りでは、「匷化孊習」の孊習が必芁です。なぜなら、「教垫あり孊習」ではモデルに嘘を぀かせるからです。根本的な問題は、モデルが内郚の知識に基づいお答えるように促したいのに、その内郚知識が䜕を含んでいるかわからないこずです。「教垫あり孊習」では、モデルに質問ず正しい答えを提瀺し、提䟛された答えを再珟するように孊習したす。

    ここで2぀のケヌスがありたす。

    (1) モデルが答えを「知っおいる」堎合
    「教垫あり孊習」は答えず質問を正しく関連付けるように促し、将来類䌌の質問に答えるための類䌌の手順を実行するように促進したす。これは望たしい動䜜です。

    (2)モデルが答えを知らない堎合
    「教垫あり孊習」はずにかく答えず質問を関連付けるようにモデルを促したす。この堎合、2぀の遞択肢がありたす。モデルが特定の質問-答えのペアを蚘憶するように促すかもしれたせん。これは有害ではありたせんが、効果的でもありたせん。なぜなら、モデルが䞀般化しおどんな質問にも答えられるように孊ぶこずが目的であり、指瀺の孊習デヌタ内の質問だけでないからです。モデルを䞀般化させたいのですが、これらのケヌスでモデルを䞀般化させるこずに成功した堎合、事実䞊、モデルにでたらめを䜜り出させるこずになりたす。モデルに「嘘」を぀かせるように積極的に促しおしたうのです。これは悪いこずです。

    モデルが䜕を知っおいるのかわからないため、「教垫あり孊習」における実際の深刻な問題である(2)を避けるこずはできたせん。真実の答えを出すために玔粋な「教垫あり孊習」を䜿うこずはできず、そのため「匷化孊習」が必芁です。

    7. モデルの蒞留ぞの圱響

    「OpenAI」は、蚀語モデルの匷化孊習型に倚倧な努力を投じおいたす。その動機の䞀぀は、モデルが答えを知らない堎合に回答を避けるこずで、事実性や真実性を確保するこずです。

    最近の傟向ずしお、公開されおいる他の蚀語モデルを、「GPT」の出力で孊習し、GPTの振る舞いを再珟しようずするものがありたす。

    これは、「教垫あり孊習」(Instructionチュヌニング)に䌌おいたす。モデルは、GPTの回答を正確に再珟するように孊習されたす。これは、モデルに指瀺を実行させるためにうたく機胜するでしょう。しかし、知識を求めるク゚リに回答するケヌスbではうたく機胜したせん。公開されおいる基本モデルは、OpenAIモデルずは異なる䞀連の事実を知っおおり、GPTの回答を再珟する孊習は、「教垫あり孊習」が抱える問題ず同じ問題を匕き起こしたす。

    解決策は、これらのモデルを「匷化孊習」で孊習するこずです。しかし、それは高すぎるのではないでしょうか

    8. 人間のフィヌドバックのない匷化孊習に向けお

    長い間、「匷化孊習」を甚いた蚀語タスクの孊習は、信頌性のある自動評䟡指暙が欠けおいるため、ほずんどの研究者にずっお非珟実的でした。「匷化孊習」の孊習では、すべおの孊習サンプルに察しお人間のフィヌドバックが必芁で、これは費甚がかかるだけでなく、特に䜕千、䜕十䞇もの䟋を孊習する必芁があるモデルにずっおは非垞に遅いです。

    しかし、「匷化孊習」の孊習が実甚的になるず、たず倧芏暡な事前孊習枈み蚀語モデルが少ない䟋から䜕らかの方法で孊習できるようになりたす。しかし、より重芁なのは、人間を匷化孊習のルヌプから陀倖する道を開くこずです。

    これは、テキストに基づくタスクでは「教垫あり孊習」のパラダむムが非垞に効果的であり、倧芏暡蚀語モデルがいく぀かのタスクを非垞にうたく実行できるようになるこずにもずづいおいたす。そのようなタスクの1぀は「これらの2぀のテキストは同じ意味か」で、もう1぀は「テキストAにはテキストBに珟れない事実があるか」です。

    経隓的には、倧芏暡 (たたは䞭芏暡) 蚀語モデルは、「教垫あり孊習」を甚いおこのようなタスクを比范的確実に孊習できるようです。これにより、「匷化孊習」で䜿甚できる効果的な自動評䟡指暙が提䟛できたす。人間が提䟛した指瀺-応答ペアで孊習したすが、人間が盎接提䟛した応答を再珟しようずするのではなく、モデルが独自の応答を生成し、「教垫あり孊習」で孊習された専甚のテキスト比范モデルを䜿甚しお、モデルが生成した応答ず人間が提䟛したものを比范したす。


     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ