「データを増やしたらLLMが壊れた」——4Bモデル開発で直面した“v4 Fail”の絶望と、幾何学と理論で立ち向かったエンジニアリング記録
LLM(大規模言語モデル)の開発現場には、一つの魅惑的な教義が存在します。
「データ量を増やし、モデルをより多くの例で満たせば、AIは必ず賢くなる」
しかし、私たちが進めている日本語特化LLM(Qwen3-4B + QLoRA)のプロジェクトで実施した最新の実験「v4」は、その教義を無残に打ち砕くものでした。
Tutorデータ4,000件、基盤データ2,000件を追加し、DPO(Direct Preference Optimization)の選好対データも2,000ペア以上に倍増させた「v4モデル」。
学習中の指標(DPO Accuracy $\approx 0.818$, Margin $\approx 0.824$)を見たとき、チームには勝利の予感が漂っていました。
しかし、人間ルーブリックによる厳格な評価(P3較正)を実行した瞬間、画面に表示された数値に全員が言葉を失いました。
総合品質スコア(G2 mean):2.176(v3) $\rightarrow$ 1.941(v4)へ急落
存在しないUIボタン「通知を切る」を堂々と断定(RES-SEED-0019)
与えられていない顧客ID・エラーコードの数値捏造(RES-SEED-0119)
データ量を増やした結果、モデルは賢くなるどころか、「より滑らかに、堂々と嘘をつく」 ようになってしまったのです。
モグラ叩き(Whack-a-Mole)の泥沼
直前の「v3」で発生していたハルシネーション(RES-SEED-0084)は確かに治っていました。しかし、v4ではまったく別の場所で新たな致命的ハルシネーション(G3 Critical)が発症していました。
一つを直せば、別の場所が壊れる。
「暗記データをさらに増やして穴を埋める」という対症療法は、まさに終わりなきモグラ叩きです。
4Bという限られたパラメータサイズのモデルにおいて、直感に頼った試行錯誤は限界を迎えていました。私たちは立ち止まり、「なぜデータ増量によって悪化したのか?」を直感ではなく、幾何学と理論の観点から解明することに決めました。
論文と数理が明かした「2つの真犯人」
論文を紐解き、モデル内部のパラメータ空間と出力分布を精緻に分析した結果、今回の性能低下を引き起こした2つの理論的メカニズムが浮き彫りになりました。
1. DPOにおける「Likelihood Displacement(尤度変位)」
直感的には「良い応答 $y^+$ を褒め、悪い応答 $y^-$ を罰する」のがDPOです。しかし、Princeton大学の Noam Razin らの研究(2024/2025)は、恐ろしい現象を報告しています。
選好対の「正解」と「不正解」が構造的に類似している場合、DPOの損失関数は正解応答の絶対対数尤度まで一緒に引き下げてしまうことがあります。押し出された確率質量は、学習データに存在しない「第三の有害・捏造トークン(存在しないUI名や顧客ID)」へと流れ込んでしまうのです(これがLikelihood Displacement)。
DPOで選好対(Chosen/Rejected)のベクトル表現の類似度を表す指標「CHES(Centered Hidden Embedding Similarity)」を測定したところ、私たちのv4データセットには類似度が高すぎるペアが大量に混入していたことが判明しました。
学習指標のAccuracyが異様に高かったのは、モデルが賢くなったからではなく、「拒絶すべきトークンのロジットが極端に崩壊したことによる見かけ上の錯覚」 に過ぎなかったのです。
2. LoRAにおける「Intruder Dimensions(侵入次元)」の蓄積
もう一つの原因は、大規模な異質データ(Tutor 4k + Foundation 2k)の再投入でした。
Shuttleworth et al. (2024) の研究によると、LoRA(低ランク適応)でドメインの異なるデータを大量かつ多重に学習させると、事前学習モデルの特異値空間と直交する「侵入次元(Intruder Dimensions)」 がアダプタ内に大量発生します。
この侵入次元が、モデルが元々持っていた文脈抽出能力や「与えられた参照情報の範囲内でのみ答える」という厳格なコンテキストグラウンディング能力を汚染・希釈していたのです。
私たちが選んだ「立ち向かう姿勢」
原因が分かれば、やるべきことは明白です。「闇雲にデータを増やす」というアンチパターンを捨て、論理と数理に基づくエンジニアリングへと舵を切ります。
私たちは次の「v5」に向けて、以下の原則を打ち立てました。
1. 幾何学的フィルタリングによる「高純度DPO」への転換
データの量(2,000ペア)を誇るのをやめ、CHESスコアおよび編集距離を用いて「構造が似すぎている危険な選好対」を物理的に排除します。選別された600〜800ペアの「真に意味差があるペア」のみに絞り込み、尤度変位の発生を根本から遮断します。
2. GRPO-RLVR(検証可能報酬による強化学習)の導入
ニューラルネットワークによる曖昧な評価に頼らず、Pythonスクリプトによる決定論的ルール(「参照情報外のIDを使っていないか」「指定された必須句を含んでいるか」)を報酬関数としたGRPO-RLVRを実行します。曖昧さを一切排除した確定報酬を与えることで、モデルに「不変の制約条件」を叩き込みます。
3. 「モデルの素生成」と「配信ガードレール」の二重化
モデル自身の重み内部で正しい確率分布を学ばせる「素生成」の較正軸は崩さず維持します。その上で、実際の製品配信環境においては、生成されたテキストのUI名やID型をミリ秒単位で照合・遮断する「Fact Firewall(検証層)」を分離して配置します。
結び:エンジニアリングは「モグラ叩き」ではない
LLMの開発現場では、精度が落ちたときに「もっとデータを集めよう」「プロンプトをこねくり回そう」という誘惑に駆られがちです。
しかし、モデルのサイズが小さくなればなるほど、パラメータ空間は繊細であり、数理的なアプローチなしには狙い通りの挙動を実現できません。
「v4 Fail」は痛烈な失敗でした。しかし、この失敗によって私たちは「LLMがなぜ嘘をつくのか」「なぜデータ増量で壊れるのか」の内部メカニズムを深く理解する機会を得ました。
力任せのデータ量勝負ではなく、幾何学と論理でモデルの挙動をコントロールする。
4Bモデルの可能性を限界まで引き出す私たちの格闘は、ここからが本番です。
(開発の進捗やv5の実験結果は、また次回の記事で報告します!)