ローカルLLMをいつ使うべきか?
TL;DR
- 「ローカルLLM=コストが安い」はほとんどの場合で誤りです。2026年時点での損益分岐点はかなり高く、GPUを遊ばせると単価はAPIより高くつきます。
- それでもローカルLLMが勝つ領域はあります。ガバナンス・タスク特化での精度・レイテンシ の3軸です。
- 実例として、RAGチャットボットの軽量な判定ステップを Gemma 4 E2B(2Bクラス)+ LoRA に切り出したところ、素のモデルでは 61 % だったドリフト検知率が、fine-tuning後に 97 % まで上がり、gemini-2.5-flash や 10倍以上大きい 31B モデルに並ぶ/一部上回る結果になりました。
- 重要なのは 「大きなモデルで教師データを作り、品質ゲートをかけて、小型モデルを蒸留的に特化させる」 データ生成パイプラインです。
はじめに
ローカルLLMの話になると、まず出てくるのが「APIに毎月払い続けるより、GPUを買って自前で回した方が安いのでは」という発想です。私もそう思っていましたが実態を調べると、この直感はほぼ逆になっています。
損益分岐点(自己ホストがAPIより安くなる境界)の試算は、出典によって大きくばらつきます。これは「どのAPIと比較するか」と「GPU稼働率」で答えが激変するためです。たとえばプレミアムなフラッグシップAPIと比べれば月2.5億トークン程度で逆転するという試算がある一方、激安の従量APIと比べると単一GPUでは事実上到達不能な水準になる、という分析もあります[1]。ある試算では、稼働率や隠れコストまで含めると損益分岐点は 月およそ110億トークン(1日5億トークン)規模で、それ以下ではAPIの方が安いとされています[2]。数字の幅は大きいものの、いずれの試算でも、コストでAPI利用のモデルより優位になるためには高稼働率が前提という結論は共通しています。
つまり、コストを理由にローカルへ行くと、大半のチームは負けます。
では、ローカルLLMは使えないのかというと、そうではありません。コスト以外の理由で「ローカルLLMを使いたい」局面は確実に存在します。
実例:RAGの「判定ステップ」をローカルに切り出す
題材は、以下に示したRAGチャットボットです。社内のナレッジを検索しつつ、ユーザーの会話(マルチターン)に会話する仕組みを構築しています。

どこを切り出したか
マルチターン会話の 2ターン目 で、エージェントに2つの判定をさせています。
- Topic Drift 検知:2ターン目の質問が、1ターン目で設定されたトピックから逸脱しているか。逸脱していれば、新しいトピックに合わせて検索クエリを組み直す必要があります。
- Additional Retrieval 判定:2ターン目に答えるのに追加のRAG検索が要るか。1ターン目で取得済みのコンテキスト内に根拠があれば検索は不要、なければ追加検索します。
どちらも エージェントのループ内で毎ターン呼ばれる、狭く定義された分類タスクです。出力はスコア付きのラベルに固定しています。会話全体を生成する仕事はフロンティアモデルに任せ、この「軽い交通整理」だけを切り出したのがポイントになります。
どうやって特化させたか
小型モデルをfine-tuningするには、当然ながら良質なラベル付き学習データが要ります。ここで効くのが 「大きなモデルに教師データを作らせ、それで小型モデルを特化させる」 という、蒸留に近いアプローチです。今回の合成データ生成パイプラインは、おおまかに次の流れです。
- RAG検索の実結果(または検索結果風のコンテキスト)を用意する
- それをもとに1ターン目の質問と回答を生成する
- 2ターン目の質問を生成し、それに対する判定ラベル(ドリフト/再検索)を付与する
- 別のモデルを judge として、ラベルが妥当か・会話が自然か・コンテキストが現実的かを検証し、基準を満たさないサンプルを捨てる
この設計には、効かせどころが2つあります。
ひとつは、ラベル生成を質問生成から分離していることです。「なぜこの質問を作ったのか」という生成側の意図を知らない状態で、会話とコンテキストだけからラベルを付け直します。こうすることで、生成側の都合がそのまま正解になってしまうラベルリークを避けています。
もうひとつは、judge による品質ゲートです。大きなモデルが作ったデータにも当たり外れがあるので、判定ラベルの妥当性・会話の自然さ・検索クエリの質をスコアリングし、不合格のサンプルを学習データから除外します。「大量に作る」だけでなく「質の悪いものを捨てる」工程があることで、小型モデルが受け取る教師信号がクリーンになります。
そして重要なのが、評価データは学習データと別系統のモデルで作ったことです。学習に使ったモデルで評価データまで作ると、両者が同じ癖を共有して精度が水増しされます。今回は学習データ生成を Gemma 4 31B、評価データ生成を Claude Sonnet 4.6 と分け、評価のリークを防いでいます。
モデル構成
- ベースモデル:Gemma 4 E2B(実効2Bクラスの小型モデル)に LoRA でファインチューニング。
- 出力:スコア付きのラベル(二値判定 + driftScore など)。
結果
精度評価の結果がこれです。指標はドリフト検知率と再検索(追加取得)検知率です。
| モデル | ドリフト検知率 | 再検索検知率 |
|---|---|---|
| gemini-2.5-flash | 0.899 | 0.913 |
| gemini-2.5-flash-lite | 0.797 | 0.652 |
| gemma4-31B | 0.884 | 0.913 |
| gemma4-E2B | 0.609 | 0.580 |
| gemma4-E2B(LoRA, 3epoch) | 0.957 | 0.725 |
| gemma4-E2B(LoRA, 5epoch, OverSampling) | 0.971 | 0.840 |
| gemma4-E2B(LoRA, r16, 5epoch, OverSampling) | 0.956 | 0.797 |
読み取れることがいくつかあります。
素の小型モデルは、そのままでは使えない。 0.61 / 0.58 は、ランダムな判定に毛が生えた程度の水準で、エージェントの判定器としては使えません。これがこの表の出発点であり、「小型ローカルモデルはそのままでは実用には向かない」という事実を最初に押さえておく必要があります。
LoRAで特化させると、このタスクではフロンティア級に届く。 ドリフト検知は 0.61 → 0.97 へ跳ね上がり、gemini-2.5-flash(0.90)も、10倍以上大きい自分の親モデル 31B(0.88)も上回りました。ただしこれは「ローカルだから精度が高い」のではありません。タスクを十分に狭く定義し、ファインチューニングした結果として、2Bクラスでもこの土俵で戦えた、というだけです。
再検索判定は難しい。 こちらは LoRA でも 0.84 止まりで、flash / 31B の 0.91 には一歩届きません。ただし素の 0.58 から大きく改善しています。一方で LoRA のランクを r16 に上げても精度はむしろ微減しており、このタスクに足りなかったのはモデルの表現力ではなくデータの balance だったことがわかります。また、再検索判定は大きなContextを見て判断する必要があり、小型モデルの性能限界であった可能性も考えられます。
デプロイ構成と負荷テスト
特化させたモデルは、vLLM で GKE 上にデプロイしました。構成はシンプルで、単一の NVIDIA L4 GPU を割り当てた Pod 上で vLLM を動かし、ベースモデルはオブジェクトストレージ(GCS)から GCS Fuse 経由でマウントしています。prefix caching と chunked prefill を有効化し、max-model-len は 8192 に絞っています。
この構成に、k6 で 最大100並列まで約12分半かけてランプアップする負荷をかけました。結果がこれです。
| 指標 | 値 |
|---|---|
| 総リクエスト | 17,780 件(約 23.7 req/s) |
| エラー率 | 0.00%(失敗 0 件 / 17,780) |
| レイテンシ median | 1.58s |
| レイテンシ p90 | 2.13s |
| レイテンシ p95 | 2.15s |
| レイテンシ max | 4.44s |
注目してほしいのは絶対値の速さではなく、分布の狭さです。p90 が 2.13s、p95 が 2.15s と、両者の差はわずか 0.02秒しかありません。しかもエラー率は 0% です。
これがローカルにモデルを置く実利だと思います。フロンティアAPIは共有インフラなので、ピーク時間帯にレイテンシが跳ねます。自分でGPUを抱えていれば、この「他人の混雑に巻き込まれる」リスクをそもそも負いません。エージェントのループ内で毎ターン叩く判定ステップでは、平均が速いことより p95が予測可能で、ピークでも崩れないこと の方が効きます。
なお、この負荷テストは複数の短めのサンプル会話(入力が平均約468トークン・出力が平均約62トークン)を使って回しています。入力を絞ったことが、この安定したレイテンシ分布にも効いています。逆に言えば、本番でこれより長い入力を渡せば数字は変わるので、実運用では入力長を抑える設計とセットで考える必要がありそうです。
ローカルLLMが勝つ3軸
この実例を、冒頭の問い「コストでは勝てないのに、なぜローカルか」に当てはめると、勝ち筋が3つが見えてきます。
1. タスク特化での精度
まず、当然ですがローカルLLMだから精度が高いという話ではありません。 上の表の通り、素の小型モデルはフロンティアに明確に負けています。汎用的な賢さで、小型モデルはフロンティアに勝てません。
一方で、狭く定義したタスクに対してファインチューニングした場合に限り、小型モデルでもフロンティア級の精度に届き得ます。そして特化を成立させるには、前述のような 質の高い教師データを作るパイプライン が前提になります。モデルを置けば精度が出るのではなく、データを作り込めるかどうかが効きます。
2. レイテンシ
前述の負荷テストの通り、ローカルLLMは「平均が速い」というよりも 「安定している」 ことが特徴です(もちろん量子化等を組み合わせればさらに早くなる可能性はあります)。
p95 が p90 とほぼ同じ(差 0.02秒)で、エラー率 0% ― この予測可能性は、共有インフラのAPIでは保証されません。高頻度に叩くステップほど、この安定性がユーザー体験に直結すると思われます。
3. ガバナンス
医療・金融・行政等の規制が厳しい領域では、データを外部APIに出せるか否かが最初の関門になります。ここでは「安いかどうか」以前に、ローカルで完結できることが要件になります。コストの損益分岐点の議論が始まる前に、選択肢がローカルに絞られる場合があります。
どこで運用すべきか
以上をまとめると、ローカルLLMを運用するメリットがあるのは次のようなユースケースだと思われます。
- 規制産業で、データを外に出せない領域(医療・金融・行政)の、定型的な判定・分類・前処理。
- エージェントのループ内で高頻度に呼ばれる軽量ステップ(ドリフト検知、検索要否判定、ルーティング、安全フィルタなど)。生成本体はフロンティアに任せ、交通整理だけをローカルへ。
- 低レイテンシ/オフラインが要件の現場。往復遅延を許容できないインタラクションや、ネットワークが不安定な環境。
そして適用の形としても、「巨大モデルを丸ごと自己ホストする」のではなく、7B〜13Bクラスの小型オープンウェイトモデルを自己ホストし、必要に応じてフロンティアと組み合わせるハイブリッド構成が、最も現実的と思われます。
ただし、いずれの場合も「狭く定義できて、良質な教師データを作れる」ことが条件です。逆に、汎用的な対話・長文生成・複雑な推論をまるごとローカルモデルに背負わせるのは、今のところ筋が悪いと思われます。
おわりに
ローカルLLMの議論は「安いか高いか」で語られがちですが、本当の論点はそこではありません。ガバナンス・タスク特化での精度・レイテンシ、をコストよりも優先するかを問えば、ローカルLLMを利用すべきかどうかは決められるでしょう。
そして小型モデルは、放っておいて賢いわけではありません。狭く絞り、大きなモデルで作った良質な教師データで特化させて、はじめて戦えるようになります。素で 61 % だったモデルが特化で 97 % になる、というギャップこそが何よりの証拠でした。ローカルLLMの価値は「ローカルであること」自体ではなく、「特化させられること」にあると言えます。
-
Digital Applied, "Self-Hosting Open-Weight LLMs: 2026 Decision Guide" https://www.digitalapplied.com/blog/self-hosting-open-weight-llms-2026-deployment-decision-guide ↩︎
-
BrainCuber, "Self-Hosted LLMs vs API-Based LLMs: Cost & Performance Analysis" https://www.braincuber.com/blog/self-hosted-llms-vs-api-based-llms-cost-performance-analysis ↩︎
Discussion