メインコンテンツへスキップ
見出し画像

【マニア向けコラム】AIを“自分好み”に変える技術が進化中…LoRA、DoRAの先で起きている研究者たちの攻防

    大規模モデルの実務が「モデルを作る」から「モデルを適応させる」に完全にシフトした今、ファインチューニング技術の主戦場はフルファインチューニングではなく、PEFT(Parameter-Efficient Fine-Tuning)にあります。LoRA、QLoRA、DoRAはその中核ですが、2024年以降の研究を追うと、論点は単なる「省メモリ」ではなくなっています。

    いま本当に争点になっているのは、次の4つです。

    1. どこまで低コスト化しても性能を落とさないか

    2. LoRA系の"低ランク近似"の限界をどう超えるか

    3. 量子化誤差とアダプタ学習の相互作用をどう扱うか

    4. ランク・初期化・層ごとの予算配分をどう最適化するか

    この記事では、LoRA / QLoRA / DoRA / フルファインチューニングを軸に、AdaLoRA、rsLoRA、PiSSA、LoftQ、QuAILoRA、QDyLoRA、VeRA、LoHa/LoKr、LongLoRAといった派生研究まで含めて、「何をどう近似している技術なのか」 という観点で整理します。本記事では実装上の気持ちよさよりも、線形代数・最適化・量子化誤差の観点を優先します。


    1. まず全体像:ファインチューニングは何を更新しているのか

    Transformerの各線形層は、おおざっぱには重み行列W ∈ ℝ^{d × k} を持っています。フルファインチューニングはこの W 自体を全部更新します。つまり、

    画像

    をそのまま高自由度で学習することになります。

    このとき問題は単純で、ΔW の自由度が大きすぎることです。7B、13B、70Bクラスでは、学習可能パラメータ・勾配・オプティマイザ状態が重く、GPUメモリも通信も厳しくなります。

    そこでPEFTは、「本当に必要なのは ΔW 全体ではなく、ΔW の中の低次元な部分構造ではないか?」と考えます。この発想からLoRAが出てきました。

    理論的支柱は Aghajanyan ら (2020) の Intrinsic Dimension仮説 です。事前学習済みモデルのファインチューニングに必要な実質的自由度は、パラメータ数よりはるかに小さく、しばしば数百次元程度の部分空間で十分、というものです。LoRAはこの観察をアーキテクチャに落とし込んだものだと言ってよいでしょう。


    2. フルファインチューニングの強さと、なぜ今でも捨てられないのか

    先に言っておきますと、性能の天井だけを見るなら、今でもフルファインチューニングは強いです。特に以下では依然として有力です。

    • ベースモデルとターゲットタスクの分布差が大きい

    • 継続事前学習に近い再適応が必要

    • モデル内部表現そのものを作り変えたい

    • 十分なGPUメモリとデータがある

    • 推論時にアダプタ合成ではなく単一重みとして持ちたい

    ただし実務上のコストは重いです。重みそのものに加えて、学習では少なくとも以下が効いてきます。

    • 学習時重み

    • 勾配

    • オプティマイザ状態(Adamならパラメータ数の約2倍)

    • アクティベーション保存

    • 分散学習時の通信コスト

    モデルサイズが大きいほど、メモリとスループットのボトルネックは訓練そのものではなく状態管理に寄ります。PEFTが刺さったのは、単に「学習パラメータが少ない」からではなく、学習中の状態全体を小さくできるからです。


    3. LoRAの本質:ΔWを低ランクで近似する

    LoRAのコアは極めてシンプルです。重み更新 ΔW を直接持つ代わりに、低ランク分解で表現します。

    画像

    ここで、

    • A ∈ ℝ^{r × k}:低次元へ落とす行列

    • B ∈ ℝ^{d × r}:元次元へ戻す行列

    • r:ランク、通常 r ≪ min(d, k)

    元の重み W は凍結し、学習するのは  A, B だけです。実際の層は、

    画像

    のように動きます。 s はスケーリング係数で、古典的LoRAでは概ね α/r が使われます。

    初期化の妙

    A はガウシアン、B はゼロ初期化です。これにより学習開始時に BA = 0 、つまり ΔW = 0 となり、元のモデルの出力を保持したまま学習をスタートできます。両方ランダム初期化だと、開始直後にモデルが壊れます。地味ですが本質的な設計です。

    LoRAが効く理由

    LoRAの仮説は、タスク適応に必要な更新は高次元空間全体に広がっていない、というものです。経験的にはかなり当たります。特に instruction tuning、ドメイン適応、分類、軽いスタイル変換などでは、フル更新しなくても十分なことが多いです。

    LoRAの強み

    • 学習パラメータ数が激減(典型的に元の0.1〜1%)

    • 元重みを凍結するので安定しやすい

    • 複数アダプタを切り替えやすい

    • マージ可能で推論オーバーヘッドゼロ

    • 分散学習・保存が軽い

    LoRAの限界

    しかしLoRAにははっきり限界があります。

    1. 低ランク仮説が外れると苦しい:必要な更新が本当に高ランクなら、低ランク近似は表現しきれません

    2. ランク  r の選び方が難しい:小さすぎると表現力不足、大きすぎると効率性が薄れます

    3. 初期化とスケーリングに癖がある:古典的 α/r スケーリングは、ランクを上げたときの学習挙動を悪化させます

    4. 量子化と組み合わせると誤差構造が変わる:QLoRA系では、LoRAが「元重みの不足」を補うのか、「量子化誤差」まで吸収するのかが絡んできます

    これらの限界が、後続研究を生みました。


    4. QLoRAの本質:LoRAではなく"量子化バックボーン上のLoRA"である

    QLoRAはよく「LoRAの4bit版」と雑に説明されますが、それでは本質を外します。QLoRAのポイントは、ベースモデル重みを量子化して凍結し、その上でLoRAアダプタだけを学習することにあります。

    代表論文は Dettmers ら (2023) の QLoRA: Efficient Finetuning of Quantized LLMs です。重要なのは単なる4bit化ではなく、以下のシステム設計です。

    QLoRAの主要要素

    1. NF4(NormalFloat4)量子化

    通常のINT4は線形量子化ですが、ニューラルネットの重みはほぼ正規分布に従うことが知られています。NF4はこの性質を利用し、標準正規分布の分位点に基づいて4ビットの16段階を割り当てます。

    画像

    ここで  Q_X  は標準正規分布の分位関数です。各バケットに同じ確率質量が割り当てられ、情報損失が最小化されます。論文ではINT4やFP4よりNF4が一貫して優位と示されています。

    2. Double Quantization

    量子化スケール自体もさらに量子化して、メモリを削ります。パラメータあたり約0.37bit節約。地味ですが7Bモデルで数GBの差になります。

    3. Paged Optimizers

    学習時のメモリスパイクを抑えるための工夫です。NVIDIAのunified memoryを使い、OOMを避けます。

    4. 学習するのはLoRA側だけ

    量子化されたベース重みは凍結し、LoRAの低ランクアダプタのみ更新します。

    何がすごかったのか

    QLoRAのインパクトは、大きいモデルを"触れるサイズ"にしたことに尽きます。「フル精度では持てないが、4bitでなら載る。しかも性能劣化は限定的」という世界を作りました。

    特に重要なのは、QLoRAが単にメモリを節約しただけでなく、性能とコストのPareto frontを一段押し広げたことです。

    ただしQLoRAは魔法ではない

    量子化には当然誤差があります。したがってQLoRAでは、LoRAアダプタはしばしば

    • タスク適応

    • 量子化誤差の補償

    の両方を肩代わりすることになります。

    このとき、学習の難しさは「元の事前学習モデルに何を足すか」から、「量子化で崩れた表現をどこまで補修しながらタスク適応するか」に変わります。ここが2024年以降の派生研究(特に LoftQ、QuAILoRA)の温床になりました。


    5. DoRAの本質:重み更新を"方向"と"大きさ"に分ける

    LoRAは ΔW を低ランクにしますが、DoRAは問題の見方を変えます。代表論文は Liu ら (2024) DoRA: Weight-Decomposed Low-Rank Adaptation です。

    DoRAは重みを、

    • direction(方向)

    • magnitude(大きさ)

    に分けて扱います。形式的には、

    画像

    ここで m ∈ ℝ^{1 × k} は列ごとのノルム、V/‖V‖_c は単位方向ベクトルです。DoRAの更新はこうなります。

    画像
    • 方向成分は LoRA BAで更新

    • 大きさ成分は独立した学習可能スカラー m で更新

    なぜ効くのか:FTとの勾配挙動の類似

    DoRA論文の本当に面白いところは、フルファインチューニング (FT) と LoRA の学習パターンの違いを観察したことです。

    • FT:magnitude と direction が負の相関(一方が増えると他方が減る、複雑な更新パターン)

    • LoRA:magnitude と direction が正の比例関係(一緒にしか動かない)

    LoRAの低ランク分解は、この「分離した更新」を表現できないのが弱点でした。DoRAのmagnitude-direction分解は、FTに近い学習ダイナミクスを低ランクのまま実現します。

    実務的な意味

    DoRAが注目されたのは、単にベンチマークで数値が勝ったからではありません。LoRAが失いやすい自由度を、ほぼ推論コストを増やさずに回復できるからです。

    • LLaMA-7B/13Bの常識推論:LoRAより平均 +3.4〜+4.4ポイント

    • マルチモーダル(VL-BART)でも一貫してLoRA超え

    • rank半減でもLoRA同等のことが多い

    • 学習後はマージ可能、推論オーバーヘッドなし

    • peft ライブラリで use_dora=True 一行で有効化


    6. LoRA・QLoRA・DoRAの関係を、近似対象で整理する

    この3つをちゃんと分けて覚えるなら、「どこに制約をかけているか」で見るのがよいです。

    画像
    表

    7. 2024年以降の重要研究トピック1:LoRAの"ランク"をどう扱うか

    LoRA研究の成熟で見えてきたのは、「低ランクであること」自体より、どのランクを、どの層に、どう割り当てるかが本質だという点です。

    AdaLoRA:層ごとの予算再配分

    代表的なのが AdaLoRA(Zhang et al., 2023)です。層ごとに一律ランクを配るのではなく、学習中に重要な層へ予算を再配分します。

    具体的には ΔW を SVD 形式 PΛQ で持ち、特異値 Λ の重要度スコアに応じて低重要度の成分を刈ります。注意層、MLP層、深い層、浅い層で必要容量は違う、という自然な観察を実装に落とし込んだものです。固定ランクLoRAの粗さに対する答えと言えるでしょう。

    rsLoRA:高ランクLoRAの呪いを解く

    2024年に実務でかなり重要だったのが rsLoRA(Rank-Stabilized LoRA)(Kalajdzievski, 2023)です。古典LoRAは α/r スケーリングを使いますが、これだと  r を大きくしたとき勾配のスケールが小さくなりすぎて学習が伸びない問題が出ます。

    rsLoRAはα/√r に修正することで、高ランク時の学習安定性と性能を改善します。一見地味ですが、「ランクを上げてもLoRAが伸びない」問題に対する本質的な修正です。r ≥ 32 を使うなら必須検討でしょう。

    QDyLoRA:動的ランク適応

    QDyLoRA(Rajabzadeh et al., 2024)は動的ランク適応と量子化を組み合わせた方向です。固定ランクで最初から決め打ちするのではなく、学習中に複数ランク(r=1〜64など)を横断して学ばせます。一度の学習でデプロイ時にrankを選び直せるのが運用上の強みです。


    8. 2024年以降の重要研究トピック2:初期化が雑だとLoRAは損をする

    LoRAは長く、「どうせ低ランクアダプタだから初期化はそこまで本質ではない」と軽く見られがちでした。しかし量子化と高ランク化が進むにつれ、初期化の良し悪しが収束速度と最終性能に効くことがはっきりしてきました。

    PiSSA:主特異成分から始める

    PiSSA(Principal Singular values and Singular vectors Adaptation)(Meng et al., 2024)はその象徴的な研究です。通常のLoRAがゼロ近傍からスタートするのに対し、PiSSAは事前学習済み重み  W のSVDをとり、

    画像

    の上位 r 個の主特異成分を A, B の初期値に、残差成分を凍結ベース重みに割り当てます。

    "どうせ ΔW は低ランクなんでしょ?" ではなく、"なら最初から重要な特異方向に乗せよう"

    という発想です。報告される効果は、

    • 収束が速い

    • 同じランクでも性能が良い

    • 量子化条件下でも有利

    といったところです。

    LoftQ:量子化誤差を初期化で吸収する

    LoftQ(Li et al., 2023)は量子化を前提にしたLoRA初期化です。QLoRA系の難しさは、量子化された重みがすでに誤差を含むことにあります。LoftQは、

    画像

    を交互最適化で解き、量子化バックボーン+LoRAの組合せが元の重みに近づくように最初から整えます。

    これは非常に重要で、QLoRAのLoRA部分はしばしば「タスク学習を始める前から量子化誤差の後始末」に追われます。LoftQはその初期負債を減らします。

    QuAILoRA:量子化を意識した初期化

    QuAILoRA(Quantization-Aware Initialization for LoRA)も同系統で、量子化を意識したLoRA初期化により、4bit条件での性能落ちを緩和します。2024年以降、この分野は「低ビット量子化におけるアダプタ初期化」が独立したテーマとして立ってきました。

    LoRA+:A と B で別学習率

    LoRA+(Hayou et al., 2024)は理論的に面白い研究です。A と B のゼロ非対称初期化に起因する勾配スケールの違いを補正するため、異なる学習率を与えます(典型的にη_B = 16η_A)。1行のコード変更で +1〜2% という、コスパ抜群の改良です。


    9. 2024年以降の重要研究トピック3:LoRAの"低ランク"以外の構造化

    LoRAは  BA という単純な低ランク積ですが、研究が進むと「低ランクだけが唯一の構造化ではない」と分かってきます。

    VeRA:ランダム射影+スカラー学習

    VeRA(Kopiczko et al., 2024)はLoRAよりさらにパラメータ効率を高める方向です。A, B を全層で共有・固定(ランダム初期化) し、層ごとに小さなスケーリングベクトル d, b だけを学習します。

    画像

    LoRA比でパラメータ数を10倍以上削減できます。マルチタスク・多アダプタ運用で輝く設計です。

    LoHa / LoKr / LyCORIS系

    画像生成界隈、特にStable Diffusion周辺で存在感が大きいのがこの系統です。低ランク近似をそのまま使うだけでなく、

    • LoHa:Hadamard積構造

    画像
    • LoKr:Kronecker積構造

    画像

    でアダプタをさらに圧縮します。LLM文脈の中心論文とは少し文化圏が違いますが、「更新行列にどんな構造を仮定すると効率が上がるか」 という意味では同じ問題を解いています。


    10. LongLoRAのような"目的特化PEFT"も出てきた

    LoRA系派生の面白い流れとして、汎用PEFTではなく、特定の能力拡張のためのLoRA があります。

    LongLoRA(Chen et al., 2023)は長文コンテキスト適応を狙った手法です。Shifted Sparse Attention(S²-Attn)と組み合わせて、LLaMAの4K→100Kコンテキスト拡張を低コストで実現しました。

    これは重要な変化で、PEFTがもはや「安価な代替手段」ではなく、能力改造のための手術道具になっていることを示しています。つまりPEFTは、

    • コスト削減技術 → モデル編集技術

    へ役割が拡張しているのです。


    11. 量子化とLoRAは本当に相性がいいのか

    実務上もっとも誤解されやすいのがここです。結論から言いますと、相性は良いが、自動的に良いわけではない、ということになります。

    良い理由

    • ベース重みを凍結するので量子化しやすい

    • 学習するのは少量のLoRAだけなので高精度保持しやすい

    • メモリ削減効果が大きい

    難しい理由

    • 量子化誤差が層ごとに不均一

    • 小ランクLoRAが量子化誤差補償に使われると、本来のタスク学習容量が食われる

    • 初期化が悪いと収束が遅い

    • 高ランク化したいのに古典LoRAスケーリングだと伸びにくい

    ここから見えてくるのは、2024年以降の研究が単純な"LoRAの新種"ではなく、

    • 量子化方式(NF4, GPTQ, AWQ)

    • 初期化(PiSSA, LoftQ, QuAILoRA)

    • ランク配分(AdaLoRA, QDyLoRA)

    • スケーリング(rsLoRA, LoRA+)

    • 分解の幾何学(DoRA)

    の総合設計問題になっているということです。


    12. フルFT vs LoRA vs QLoRA vs DoRA:どれが勝つのか

    これは「どれが最強か」という問いではなく、制約条件つき最適化問題です。

    フルファインチューニングを選ぶべき場面

    • 予算が十分

    • ベースモデルを大きく作り変えたい

    • 継続事前学習に近い

    • 最高性能が必要

    • アダプタ運用より単一重み配布がよい

    LoRAを選ぶべき場面

    • まず安定に回したい

    • 実装・運用の複雑さを抑えたい

    • 中規模モデルで十分

    • タスク差分が比較的軽い

    QLoRAを選ぶべき場面

    • GPUメモリが厳しい

    • 大きいモデルを安価に触りたい

    • 多少の量子化複雑性を許容できる

    • まずコスパ重視

    DoRAを選ぶべき場面

    • LoRAより精度を詰めたい

    • 低ランク制約の表現力不足を少し補いたい

    • 実装複雑化を受け入れられる

    • 特にLoRAで伸び切らないタスク


    13. よくある誤解を潰しておく

    誤解1:QLoRAはLoRAの完全上位互換

    違います。QLoRAは量子化由来の複雑さを持ち込みます。メモリ効率では強いですが、常に素直な最適化になるわけではありません。VRAMが足りているならLoRAで素直に学習したほうが速いことも多いです。

    誤解2:ランクは大きいほどよい

    違います。高ランク化は表現力を増やしますが、学習の安定性・スケーリング・過学習・効率とのトレードオフがあります。だからrsLoRAやAdaLoRAが重要になります。

    誤解3:DoRAはLoRAに大きさパラメータを足しただけ

    半分正しいですが半分雑です。重要なのは、重み更新の幾何学を分解した点にあります。方向と大きさを別々に扱うことで、低ランク制約の苦しさを減らしています。「magnitude-direction相関がFTと類似する」という観察まで含めて評価すべきです。

    誤解4:PEFTは"安い代替手段"にすぎない

    もう違います。現代では、PEFTはコスト削減だけでなく、モデル編集・多タスク配布・能力差分管理のための基本技術になっています。

    誤解5:q_proj と v_proj だけにLoRAを入れればよい

    オリジナル論文の設定をそのまま信じてはいけません。QLoRA論文以降、全Linear層(q,k,v,o,gate,up,down)に挿入する流派が主流です。target_modulesを増やすほうがrankを上げるより効果的、という報告が多いです。


    14. 2025–2026年に向けた研究の本筋はどこか

    現時点の流れを見ると、今後の本筋は次の5方向に整理できます。

    1. 高ランクLoRAの再評価

    rsLoRAや高ランクDoRA系が示すのは、LoRAの限界が"低ランクそのもの"ではなく、"古典的な設計が高ランクに向いていなかった" 可能性です。

    2. 初期化の高度化

    PiSSA、LoftQ、QuAILoRAの流れです。「学習を始める前に勝負がついている」比率が増えています。

    3. 量子化との共同設計

    QLoRAの次は、量子化を固定前提にせず、アダプタと量子化誤差補償を一体設計する流れが強まっています。

    4. 層ごとの適応予算配分

    AdaLoRAや動的ランク配分です。"全層同じr"はさすがに粗い、という共通認識が広がっています。

    5. タスク特化・モダリティ特化PEFT

    言語だけでなく、ビジョン、VLM、音声、金融、長文、コードといった方向で、最適なPEFT設計が分岐し始めています(FinLoRA、LongLoRA など)。


    15. 実務家・研究者向けの現実的な選び方

    理論を踏まえたうえで、実際に使える指針を書きます。

    まず最初の一本

    • 安全に始めるなら LoRA

    • メモリが厳しいなら QLoRA

    • 性能を一段詰めたいなら DoRA

    • 高ランクを試すなら rsLoRA系のスケーリングを意識

    • 量子化前提なら LoftQ / QuAILoRA 的初期化を検討

    • 収束速度や性能を詰めたいなら PiSSA

    • 全層固定rankが雑だと思うなら AdaLoRA

    • ほぼ無料の改良が欲しいなら LoRA+

    モデルサイズ別の勘所

    • 7B前後:LoRAでも十分戦えることが多い

    • 13B〜70B:QLoRAの価値が急上昇する

    • マルチモーダル / ビジョン:DoRA系や派生PEFTの比較価値が高い

    • 長文適応:LongLoRA的な目的特化法も候補になる

    • 多アダプタ運用:VeRAでアダプタ重みを極小化できる

    ベンチマークを見るときの注意

    PEFT論文は条件差が大きいです。

    • ベースモデルが違う

    • 対象層(target_modules)が違う

    • rank、alphaが違う

    • quantization設定が違う

    • 学習率・エポック数が違う

    • instruction tuningか継続事前学習かで性質が違う

    ですので、論文の「勝った/負けた」をそのまま信じるより、何を制約し、どの自由度を戻したのかで読むのが正しいです。


    16. この記事の結論

    LoRA、QLoRA、DoRAの流れは、単なる軽量化テクニックの系譜ではありません。これは一貫して、「フルファインチューニングの高自由度を、どんな構造仮定で近似するか」 という研究史です。

    • LoRA は ΔW に低ランク構造を仮定した

    • QLoRA は量子化バックボーン上でその仮定を実用化した

    • DoRA は更新の幾何学を方向と大きさに分解して、LoRAの表現力不足を補った

    • AdaLoRA / rsLoRA / QDyLoRA はランク設計そのものを洗練した

    • PiSSA / LoftQ / QuAILoRA は初期化と量子化誤差の扱いを洗練した

    • LoRA+ / VeRA / LoHa / LoKr は学習率設計と低ランク以外の構造化の可能性を広げた

    • LongLoRA は能力拡張ツールとしてのPEFTの可能性を示した

    つまり現在の最前線は、

    低ランク + 量子化 + 初期化 + 動的予算配分 + 幾何学的分解

    の組み合わせ最適化にあります。

    フルファインチューニングはまだ王者ですが、コスト制約下の王者ではありません。限られたGPU、限られた時間、限られたデータ、限られた運用複雑性の中で最適解を探すなら、PEFTはもはや妥協ではなく主戦略です。

    そして面白いのは、LoRAが"簡易版"として始まったのに、いまや研究的にはむしろフルファインチューニングより繊細な設計問題になっていることです。乱暴に言えば、フルFTは力技、現代PEFTは精密工学だと言えるでしょう。


    参考文献

    • Aghajanyan, A., et al., 2020, Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning, arXiv:2012.13255

    • Chen, Y., et al., 2023, LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

    • Dettmers, T., et al., 2023, QLoRA: Efficient Finetuning of Quantized LLMs, arXiv:2305.14314

    • Hayou, S., et al., 2024, LoRA+: Efficient Low Rank Adaptation of Large Models

    • Hu, E. J., et al., 2021, LoRA: Low-Rank Adaptation of Large Language Models, arXiv:2106.09685

    • Hugging Face, PEFT Documentation

    • Kalajdzievski, D., 2023, A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA, arXiv:2312.03732

    • Kopiczko, D. J., et al., 2024, VeRA: Vector-based Random Matrix Adaptation

    • Li, Y., et al., 2023, LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

    • Liu, S.-Y., et al., 2024, DoRA: Weight-Decomposed Low-Rank Adaptation, arXiv:2402.09353

    • LLaMA-Factory / Unsloth, Documentation

    • Meng, F., et al., 2024, PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models

    • QuAILoRA: Quantization-Aware Initialization for LoRA

    • Rajabzadeh, H., et al., 2024, QDyLoRA: Quantized Dynamic Low-Rank Adaptation

    • Zhang, Q., et al., 2023, AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning


    本記事は2026年5月時点の情報に基づきます。PEFTの世界は半年で景色が変わりますので、最新動向は `peft` ライブラリのリリースノートを定期的にチェックすることをお勧めします。


    あなたへのおすすめ