
NVIDIA以外のGPUでローカルLLM環境構築
はじめに
プロジェクトの性質によっては、外部に公開できない情報を扱うことが多いので、クラウドのLLMを使えないという問題があります。そのようなプロジェクトでも、LLMを使えれば作業効率が段違いになりますので、ここ最近では手元のPCで動かすローカルLLMの品質向上を試してきました。
ただ、当初手元にあったGPUは、ずいぶん前にとりあえず購入した廉価なもので、VRAM 4GB の GTX 1050 Tiだけでした。その後にいろいろとやったものの、どうしても満足のいく品質が出なかったので、VRAM 12GB の Intel Arc B580 に切り替えたところ納得できる品質を得ることができました。
ここでは、上記環境において品質を上げるために試した内容をまとめます。
出発点:VRAM 4GB のGPU
最初の環境は次のとおりです。
CPU:Intel Core i3-12100F(4コア8スレッド)
メモリ:32GB
GPU:NVIDIA GeForce GTX 1050 Ti(VRAM 4GB)
推論エンジン:llama.cpp
使い方:OpenCode(コーディングエージェント)から、LAN越しに使う
実はこんな環境でも、翻訳とか短い文書作成程度のタスクであれば十分満足できる結果が得られていました。LFM2.5 2.6B や Qwen3.5 4B を主に使っていましたが、速度・品質ともに問題ありません。
ところが OpenCode のように長いシステム指示、ツールの定義、会話の履歴をまとめて渡す場合においては、指示と答えの対応が崩れたり、話が支離滅裂になったりと、正直使い物になりません。ただ会話ができるのと、エージェントとして働けるのとは別だということですね。
モデルのサイズを Gemma 4 12B(QAT Q4_0) にまで上げると、答えの一貫性はかなり良くなりました。ただ、生成速度は約3.5トークン/秒で、複雑な指示や資料の作成に対しては使いものになりませんでした。かつ、サポートできるトークン長も短くてCompactionが連発されるので、いつまでもタスクが終わらないという問題も出てきます。
もっと大きなモデルを使いたい。でも VRAM は4GBしかない。ここから、大きなモデルを小さなGPUに押し込む工夫を探し始めました。
1つ目の工夫:FreeToken
最初に試したのは FreeToken という推論エンジンです。
MoE(Mixture of Experts)のモデルは、たくさんの「エキスパート」と呼ばれる部品を持っていますが、1トークンを作るときに使うのはその一部だけです。FreeToken ではエキスパートを PC のメモリに置き、必要なものだけを PCIe 経由で GPU に送りながら計算します。これなら、VRAM に収まらない大きなモデルでも動かせます。試したモデルは Gemma 4 26B-A4B(全体26B、1トークンあたり4B)の Q4_0 です。
ただ困ったことに、FreeToken が公式に対応していたのは RTX 30 シリーズ以降で、GTX 1050 Ti のような非常に古いGPUには対応しておらず、動かすためだけにかなりの移植作業が発生しました。共有メモリの上限調整、使えない命令への対処、ライブラリの組み合わせ変更など、非互換な箇所に対して一つずつ修正を施すことで、ようやく動くところまで持っていけました。
速度に関する結果は次のとおりです。
FreeToken:生成 15.2トークン/秒、プロンプトの読み込み 約116トークン/秒(600トークンのとき)
llama.cpp(同じモデル、同じ VRAM の量):生成 15.2トークン/秒、プロンプトの読み込み 約126トークン/秒
先ほどのGemma 4 12B よりも、26B のこちらの方が速度が出ている結果なのですが、これはMoEのモデルを選定したためです。当初はFreeTokenの効果が出て速度が上がったと考えていたのですが、その後に llama.cpp でも実測してみると結果がほぼ変わらずのため、FreeTokenのおかげではなかったとわかります。手間をかけた割には満足のいく改善が見られなかったため、次の施策を試しました。
小さく削ったモデル:1-bit Bonsai 27B
もう試したのは、モデルそのものを小さく削ることです。
1-bit Bonsai 27B は、27B のモデルを約3.8GBに収めたモデルです。4GB の VRAM でもどうにか載せられます。
128K のコンテキストで生成は約4.8トークン/秒、OpenCode の新しいセッションの最初の応答には約3分かかりました。決して速くはないのですが、提案書や技術資料の作成など、条件の多い依頼で指示を追い続ける力は、それまでのモデルより明らかに良くなりました。コーディングをやらせると品質がまだまだ低いのですが、それ以外の用途ではかなり満足のいく結果です。
4GB の GPU でこれ以上の改善は難しいと考え、しばらくこの環境で作業をしていたのですが、やっぱりコーディングにも使いたいという思いが出てきまして次の策を考えるようになります。
GPU を Intel Arc B580 に替える
で、結局別のGPUを用意することにしました。
本来なら NVIDIA の GPU が無難ですが、値上がりが著しく、簡単には手が出ません。2026年10月1日時点で、VRAM 16GB の RTX 5060 Ti は約13万円でした。一方、VRAM 12GB の Intel Arc B580 は5〜6万円ということで目について、かつIntelのGPUがLLMにどの程度使えるのか興味が出たため、そちらを購入して試すことにしました。
※後で確認すると、RTX 30シリーズが同程度のVRAMと価格で入手可能なようでした。今後、そちらも購入して比較してみたいところです
試したところ、llama.cpp の Vulkan バックエンドとすることで、Arc B580 でも問題なくLLMが動作しました。
速いMoEから、遅いけれど正確な27Bへ
Qwen3.6-35B-A3B:速く、よく働くが、精度が足りない
最初に使ったモデルは Qwen3.6-35B-A3B です。全体は35Bですが、1トークンあたりに使うのは約3Bだけの MoE モデルです。12GB に収まらない分のエキスパートは、llama.cpp の `--n-cpu-moe` で CPU 側に置きました。
128K のコンテキスト
生成 約16トークン/秒(文脈が長くなると約9トークン/秒)
OpenCode に176行の仕様書を渡すと、11ページのWebサイトを、ほとんど口を挟まずに作り上げました。ツール呼び出しは123回で、失敗は1回だけでした。
ただ、実際の仕事のコードで使ってみると、まだまだ精度が足りないと感じる場面が増えていきました。
Qwen3.8-27B:遅くなったが、答えが良くなった
そこで、MoE ではない密な27Bのモデル、Qwen3.8-27B に替えました。3ビット台に量子化したファイル(約10.9GB)が、12GB の VRAM にほぼ収まります。モデル自身が持つ MTP(次の数トークンを予測する仕組み)を投機的デコードに使うと、生成は約7.5トークン/秒から約10トークン/秒に上がりました。
速度はちょっと遅めなのですが、それでも実際のコーディングで使うと、精度が大きく改善していると感じました。時間がかかっても良いからしばらく処理を動かしておいて、気がついたタイミングで処理状況を確認する、としてサイクルを長めに取る使い方をすれば、品質もそれなりで時間も無駄にならず、ということで、十分実用的になったと思うようになりました。
なお結論としては、これが最終構成になります。
2つ目の工夫:Strata(12GBで125B)
「12GBのGPUで125Bが動く」
Qwen3.8-27B で落ち着きかけたころ、Strata という推論エンジンが話題になりました。
Strata は Qwen3.8-Flash-Next という125B級の MoE モデル専用のエンジンです。よく使うエキスパートは GPU に、残りは PC のメモリに、巨大な参照表は SSD に分けて置きます。公開から3週間ほどで GitHub のスターが2万を超え、12GB の GPU で数十トークン/秒という報告も出ていました。
発想は FreeToken と似ているところがあります。今の Qwen3.8-27B は同じ Qwen3.8 の世代の一番小さいモデルなので、その上のモデルが動くなら、大きな改善になるかもしれません。
速度は良かったが、クオリティは悪化
簡単に測った結果、速度は悪くありませんでした。
生成:11〜14トークン/秒(今の27Bより少し速い)
約9,300トークンのプロンプトの読み込み:533トークン/秒
ツール呼び出し:正しく返る
ところが、OpenCode で実際の仕事に使うと、様子が違いました。
応答を日本語にするよう頼んでも、日本語で答えない
プロジェクトの概要を理解するよう頼むと、途中で壊れたように、同じフレーズを繰り返すだけの返答が返ってくる
API で試したときも、日本語の答えは「1から100の整数を逐数ルoopで」「otherをnumberをprint」のように、英語が混じって崩れていました。ということで、元の Qwen3.8-27B と比べて、かなり悪くなったと感じた結果、llama.cpp と Qwen3.8-27B に戻すことにしました。
なお公平のために書いておくと、これは Strata の性能を十分に活かせる環境ではなかったため、良い結果を得られなかったということと思っています。主には以下の点で、Strata向けではありませんでした。
メモリ搭載量の問題で、エキスパートを半分に削った Coder 版を使った
日本語が得意でないモデルを日本語で使った
Intel Arc 版はまだ試験段階で、十分に検証が済んでいない
設定はほぼ初期値のままで試した
メモリを64GB以上に増やしてフル版を使うなどをすれば、違う結果だったかもしれません。ただ、今の私の環境ではうまくいかずという結果でした。
試して分かったこと
FreeToken も Strata も、VRAM に収まらないモデルを動かすことには成功しました。ただ、FreeToken は移植の手間に見合う速さの差がなく、Strata は動かすためにモデルを削った分、品質が落ちました。どちらも「動いた」ところまでで、「使える」には届きませんでした。
一方で、VRAM にほぼ収まる 27B を、無理のない設定で動かすのが、結果的に一番まともな答えを返しました。
仕事での使い方を考えると、結局これが一番良いか、と考えまして検討を終了しました。
これから
今は、Arc B580 と Qwen3.8-27B の組み合わせで、OpenCode を日常のタスクやコーディングに使っています。
次に試すとしたら、RTX 30シリーズで同程度のモデルを試す、もしくはメモリを増設して Strata を改めて試す、あたりをやってみたいと思っています。その頃には、もっと手頃なサイズでオープンなモデルが登場しているのかもしれません。