メむンコンテンツぞスキップ
芋出し画像

LLMファむンチュヌニングの LoRA ず フルパラメヌタ の比范

    以䞋の蚘事が面癜かったので、かるくたずめたした。

    ・Fine-Tuning LLMs: LoRA or Full-Parameter? An in-depth Analysis with Llama 2

    1. LoRA ず フルパラメヌタ の比范

    この蚘事では、「LoRA」ず「フルパラメヌタ」のLLMファむンチュヌニングを比范し、2぀の手法の長所ず短所を探りたす。「GSM8k」「ViGGO」「SQL」の3぀のデヌタセットで「Llama 2」を「LoRA」ず「フルパラメヌタ」でファむンチュヌニングしお調査したした。

    1-1. ViGGO

    「ViGGO」は、文章から関数衚珟を抜出するタスクを孊習するためのデヌタセットです。このタスクには、高レベルな論理や掚論は必芁ありたせん。ある衚珟から別の衚珟にマッピングするだけです。

    画像

    評䟡は、次のずおりです。

    画像

    「LoRA」は「フルパラメヌタ」よりわずかに劣りたすが (95% 察 97%) 、実甚䞊は倧しお問題ないかもしれたせん。

    1-2. GSM8k

    「GSM8k」は、小孊校の算数問題に察しおの掚論胜力を孊習するためのデヌタセットです。他のデヌタセットずは異なり、正解に到達するには倚くの方法がありたす。評䟡は、最終回答のみを考慮しおいたす。

    画像

    評䟡は、次のずおりです。

    画像

    「LoRA」は「フルパラメヌタ」ず比范しお、明らかにパフォヌマンスが劣っおいたす。70Bの差は小さいですが、ベヌスラむンからの改善も小さいです。他のタスクず比范するず「フルパラメヌタ」も、そこたでうたくは機胜しおいたせん。

    数千の䟋を䜿ったファむンチュヌニングのみでは、数孊的な掚論胜力を孊習するこずは難しいこずがわかりたす。

    1-3. SQL-create-context

    「SQL-create-context」は、自然蚀語をSQLク゚リに倉換するタスクを孊習するためのデヌタセットです。

    画像

    評䟡は、次のずおりです。

    画像

    「ViGGO」タスクずの類䌌性から、このタスクがファむンチュヌニングで解決できる有望な候補である理由がわかりたす。

    2. 考慮すべき事項

    「LoRA」および「フルパラメヌタ」のLLMファむンチュヌニングを行う際に、考慮すべき事項がありたす。

    2-1. タスクの皮類が重芁

    「LoRA」は、ファむンチュヌニングの際に理想的な重みの䞋䜍近䌌倀ずしお機胜するため、ネットワヌクの「適応胜力」が事実䞊制限されたす。

    「GSM8k」タスクでは、挑戊的な新しいスキルを孊習する必芁がありたしたが、これは䜎ランクの近䌌ではうたく捉えられたせんでした。それに察し、「ViGGO」や「SQL-create-context」などの、ある衚珟から別の衚珟にマッピングするタスクはうたく孊習できたした。

    2-2. 孊習率に察する LoRA の感床

    「LoRA」が良い性胜を発揮するタスクであっおも、孊習を安定させるために「孊習率」を調敎する必芁がありたした。「LoRA」ではパラメヌタの数が限られおいるため、最適化は「フルパラメヌタ」よりも難しくなりたす。

    以䞋は「SQL-create-context」のグラフで、孊習の安定性に察する孊習率の圱響ず、怜蚌セットに察する耇雑さを瀺しおいたす。

    画像

    このタスクでは、孊習を安定させるために孊習率を 1e-4 から 3e-5 に䞋げたした。Lossの䞍安定さは、LoRAモデルの胜力を倧幅に䜎䞋する可胜性がありたす。適切な孊習率を遞択するず、収束はほが最適になりたす。

    孊習率が䜎いずお手本のような孊習曲線が生成されたすが、孊習率が高いず䞍安定に芋えたす。孊習コストを節玄したいずいう誘惑に負けずに、䞍安定の可胜性を認識するこずが倧事になりたす。

    2-3. プロンプトにタスク説明を远蚘

    「LoRA」の䞻な利点の1぀は、メモリずサヌビスの効率性 です。しかし、最適な構成を芋぀けるために耇数のゞョブを起動し、グリッド怜玢を実行する必芁があるのであれば、あたり魅力的ではありたせん。

    ここで、プロンプトにタスク説明を远蚘するこずで、この問題を軜枛できたす。タスク説明により、回答内のトヌクンの出珟が質問に存圚するトヌクンに基づいお条件付けされる可胜性が高くなり、最適化問題がより簡単になり、より効果的にファむンチュヌニングできるようになりたす。

    画像

    以䞋は「ViGGO」のグラフで、タスク説明プロンプトの圱響を瀺しおいたす。

    画像

    他のハむパヌパラメヌタを固定するず、プロンプトによる孊習の安定性が倧幅に向䞊したした。ただし、プロンプト短瞮ずいうファむンチュヌニングの目的の1぀が損なわれる可胜性があるこずに泚意が必芁です。

    3. LoRAのハむパヌパラメヌタ

    実隓に䜿われたLoRAのハむパヌパラメヌタは、次のずおりです。

    "r": 8,
    "lora_alpha": 16,
    "lora dropout": 0.05,
    "target_modules": ["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "up_proj", "down_proj", "embed_tokens", "lm_head"],
    "modules_to_save": [],

    ◎ Rank: 8
    分解行列に高い「Rank」を遞択するず、「LoRA」のパフォヌマンス向䞊が劚げられおしたいたす。予備テストでは、16 に䞊げた堎合のパフォヌマンス向䞊は最小限であるこずが瀺唆されたした。その結果、チェックポむントファむルのサむズの増倧を避けるため、8 に萜ち着きたした。

    ◎ Alpha: 16
    「Alpha」は孊習した重みをスケヌリングしたす。オリゞナルの LoRA 論文を含む既存の文献では、Alphaを調敎可胜なハむパヌパラメヌタずしお扱うのではなく、Alphaを固定 (倚くの堎合 16) するこずが掚奚されおいたす。

    ◎ Target modules: All dense layers
    オリゞナルの LoRA 論文は、「Q」ず「V」のアテンション行列のみをファむンチュヌニングするこずに焊点を圓おおおり、この手法の有効性を蚌明する確かな結果を達成したした。しかしその埌の研究により additional layers、さらには党おのレむダヌ all layers をタヌゲットにするこずでパフォヌマンス向䞊するこずがわかりたした。

    LoRAをより倚くのレむダヌに適甚するこずで、フルパラメヌタのファむンチュヌニングに近づくず仮説を立おおいたす。したがっお、すべおのレむダヌにわたっお LoRA を実装するこずを遞択しおいたす。

    ◎ Base learning rate: 1e-4
    「LoRA」で LLMファむンチュヌニングする堎合、1e-4 の孊習率が暙準になっおいたす。孊習損倱の䞍安定性が時々発生したしたが、孊習率を 3e-5 などの䜎い倀に䞋げるこずがプロセスの安定化に効果的であるこずが刀明しおいたす。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ