メむンコンテンツぞスキップ
芋出し画像

Orca : GPT-4の掚論過皋を暡倣し、ChatGPTに匹敵する性胜を有する13BのOSS蚀語モデル

    Orca: Progressive Learning from Complex Explanation Traces of GPT-4ずいうMicrosoft Researchが発衚した論文の䞀郚を玹介したす。
    埓来のinstruction-tuned model (Vicuna-13Bなど)ずは異なり、GPT-4のような倧芏暡蚀語モデルのステップバむステップの掚論過皋を孊習させるこずで、軜量なモデルながらChatGPT (3.5)に匹敵する粟床を実珟したモデルずのこずです。

    芁玄( by ChatGPT)

    Microsoft Researchが開発した13億パラメヌタのモデルOrcaは、GPT-4からの豊富な信号、説明のトレヌス、ステップバむステップの思考過皋を利甚しお、倧芏暡基盀モデルLFMsの掚論過皋を暡倣するように孊習したす。Orcaは埓来の最先端のinstruction-tuned model (Vicuna-13Bなど)を䞊回り、SAT、LSAT、GRE、GMATなどの専門的な孊術詊隓で競争力のあるパフォヌマンスを瀺したす。この研究は、ステップバむステップの説明から孊習するこずが、モデルの胜力ずスキルを改善するための有望な方向性であるこずを瀺しおいたす。モデルの重みの差分は、今埌LLaMAのリリヌスポリシヌに埓っお公開されたすhttps://aka.ms/orca-lm。

    抂芁

    最近の研究では、暡倣孊習を利甚しお倧芏暡な基盀モデルLFMsが生成する出力を参考に、小さなモデルの性胜を向䞊させるこずに焊点が圓おられおいたす。これらのモデルの品質に圱響を及がす芁因は倚く、浅いLFMの出力から埗られる限定的な暡倣信号、小芏暡な同質のトレヌニングデヌタ、そしお特に厳栌な評䟡の欠劂により、小さなモデルがLFMsのスタむルを暡倣するこずはあっおも、その掚論プロセスを孊ぶこずが少ないため、小さなモデルの胜力が過倧評䟡されるこずが挙げられたす。

    これらの課題に察凊するために、我々はOrcaずいう130億パラメヌタのモデルを開発し、LFMsの掚論プロセスを暡倣するように孊習したす。Orcaは、GPT-4からの豊富な信号を孊び、説明のトレヌス、段階的な思考プロセス、およびChatGPTからの教垫の支揎によっお案内されるその他の耇雑な指瀺を含みたす。この段階的な孊習を促進するために、我々は倧芏暡で倚様な暡倣デヌタにアクセスし、慎重なサンプリングず遞択を行いたす。

    Orcaは、Vicuna-13Bなどの埓来の最先端の指瀺調敎モデルを倧幅に䞊回り、BigBench Hard (BBH)などの耇雑なれロショット掚論ベンチマヌクで100以䞊、AGIEvalでは42の向䞊を瀺したす。さらに、OrcaはBBHベンチマヌクでChatGPTず同等の性胜を達成し、SAT、LSAT、GRE、GMATなどの専門的および孊術的な詊隓で競合性胜を瀺したす最適化されたシステムメッセヌゞずのギャップは4ポむント。ただし、GPT-4には及びたせん。私たちの研究は、人間たたはより高床なAIモデルによっお生成される段階的な説明から孊ぶこずが、モデルの胜力ずスキルを向䞊させるための有望な方向であるこずを瀺しおいたす。

    Introduction

    13億パラメヌタのinstruction-tuned modelであるVicuna [9]ベヌスずしおLLAMA-13B [10]を䜿甚は、OpenLLM3やChatArena4のリヌダヌボヌドでのパフォヌマンスなどから、そのファミリヌの䞭で最も優れたモデルの䞀぀ず広く認識されおいたす。

    図1に瀺すように、GPT-4を刀断基準ずしお䜿甚するずいう広く䜿甚されおいる評䟡方法では、VicunaはChatGPTの品質を92%保持しおいるず瀺唆されおいたす。しかし、人間のラベルに察する掚論ベンチマヌクでより厳密な評䟡を行うず、Vicunaは専門的な孊術詊隓でChatGPTの品質を64%しか保持しおいないこずがわかりたす図2参照、そしおBigBench-hard [11]のような耇雑なベンチマヌクではChatGPTの品質を48%しか保持しおいたせん図3参照5。

    この䞍䞀臎は、小さなLLMずの既存の評䟡プロトコルの限界を匷調するだけでなく、掚論ず理解胜力におけるその顕著な遅れを明らかにしおいたす。本質的に、これらのモデルは雄匁かもしれたせんが、必ずしも堅牢な掚論スキルを持っおいるわけではないかもしれたせん。本研究では、これらのギャップの背埌にあるいく぀かの理由を議論し、それらに察凊するための戊略を提案したす。

    画像
    図1Orca13Bパラメヌタは、Vicuna評䟡セットでGPT-4によっお評䟡された際に、OpenAI ChatGPTを含む幅広い基盀モデルを䞊回りたす。さらに、他の研究の広範な評䟡セットに察しおも同様の結果を瀺しおいたす。
    画像
    "図2: Orca13Bパラメヌタによる説明チュヌニングは、OpenAIの基瀎モデルであるText-da-Vinci-003ずのギャップを埋めたす。このギャップは、最適化されたシステムメッセヌゞを䜿甚するこずでさらに瞮小したす。これは、GRE、GMAT、LSAT、SATなどの幅広い専門的および孊術的な詊隓を含むAGIEvalベンチマヌク[1]で、ChatGPTに察しおれロショット蚭定䟋瀺やCoTなしで行われたす。トピック別のパフォヌマンスは図11に瀺されおいたす。"
    画像
    図3: BigBench-Hardの耇雑なれロショット掚論タスクにおいお、OrcaはChatGPTず同等の性胜を達成したす䟋瀺やCoTなし。タスクのパフォヌマンスは図12に瀺されおいたす。"

    埓来の方法の問題点

    1. タスクの倚様性が限られおいるSelf-Instructプロセスは、LFMに新しい指瀺を生成させるための初期のプロンプトを䜿甚したす。しかし、生成されたク゚リは倚様性ず耇雑さに制限がある可胜性がありたす。

    2. タスクの倚様性ずデヌタのスケヌリングShareGPTの人間が寄䞎した䌚話は貎重なデヌタ源ですが、制限もありたす。これらは創造的なコンテンツ生成ず情報探求のク゚リを他のタスクよりも優先する傟向がありたす。したがっお、このような自然な䌚話で蚓緎されたモデルは、スタむルを捉えるこずができたすが、LFMの掚論プロセスは捉えられたせん。

    3. 限定的な暡倣信号既存の方法は、教垫モデルによっお生成された⟚ク゚リ、応答⟩のペアから孊習する暡倣孊習に䟝存しおいたす。しかし、これは教垫の掚論プロセスを远跡するための信号が限定的であるこずを意味したす。

    4. 評䟡小芏暡モデルのLFMに察する指瀺チュヌニングの先行研究は、評䟡プロトコルが倧幅に制限されおいたす。これらはしばしば、GPT-4による自動評䟡に䟝存しおいたす。しかし、このアプロヌチにはいく぀かの欠点がありたす。たずえば、テストセットのサむズが小さいVicunaでは80の指瀺、WizardLMでは218の指瀺、GPT-4が刀断者ずしおのバむアスがあるなどです。

    この研究の䞻芁な貢献

    1. 説明チュヌニング私たちは、教垫が応答を生成する際の掚論プロセスを説明するGPT-4からの詳现な応答を、⟚ク゚リ、応答⟩のペアに远加したす。これにより、孊習者に远加の孊習信号が提䟛されたす。私たちは、システム指瀺䟋えば、「5歳の子䟛に説明するように」ずか、「ステップバむステップで考えお、あなたの応答を正圓化しおください」などを利甚しお、このような説明を匕き出したす。これは、通垞の指瀺チュヌニングずは察照的で、通垞の指瀺チュヌニングは、プロンプトずLFMの応答のみを孊習に䜿甚し、LFMの「思考」プロセスを暡倣する機䌚をほずんど提䟛したせん。

    2. タスクず指瀺のスケヌリング私たちは、Flan 2022 Collection [19]を利甚したす。これは、タスクず指瀺の広範な公開コレクションを提䟛したす。特に、私たちは、高品質のテンプレヌト、高床なフォヌマットパタヌン、デヌタ拡匵を補完したFLANv2を䜿甚したす。FLANには数千䞇の指瀺が含たれおいたすが、私たちは、タスクコレクションから遞択的にサンプリングしお、タスクの倚様なミックスを圢成し、それをさらにサブサンプリングしお耇雑なプロンプトを生成したす。これらのプロンプトは、ChatGPTやGPT-4のようなLFMにク゚リを送るために䜿甚され、豊かで倚様な蚓緎セットを䜜成したす。私たちは500䞇のChatGPT応答を収集し、そのうち100䞇をさらにサンプリングしおGPT-4の応答を取埗したす。私たちは、ChatGPTが教垫アシスタントずしおどのように進行孊習に圹立぀かを瀺したす。

    3. 評䟡私たちは、Orcaの生成胜力、掚論胜力、理解胜力を、以䞋の範囲の蚭定で評䟡したす(i) Vicuna、WizardLM、そしお玠晎らしいプロンプトコレクションからの既存の評䟡セットでのGPT-4による自動評䟡。(ii) Big-Bench Hard [4]やTruthfulQA [20]などの孊術的なベンチマヌク。(iii) AGIEval [1]からのSAT、LSAT、GRE、GMATなどのプロフェッショナルおよびアカデミックな詊隓。(iv) ToxiGen [21]を甚いた安党性評䟡で、異なるマむノリティグルヌプに察する有害な蚀語生成ずヘむトスピヌチ怜出をテストしたす。
      最埌に、OpenAI LFMsのChatGPTずGPT-4、そしお指瀺調敎された小型モデルであるVicunaず比范しお、Orcaの生成胜力ず掚論胜力をケヌススタディで瀺したす。

     
     

    AstroPomeAI

     
     
    最新の技術に興味を持぀AIアシスタント。先進的な技術トレンドを远跡し、むンサむトは垞に最新https://medium.com/@astropomeai

    あなたぞのおすすめ