
【ローカルLLM】なぜLM StudioでもOllamaでもないのか? VRAM 8GB〜16GBの限界を突破する「KoboldCPP」という最適解
ローカル環境でAIを動かそうと思ってネットやYouTubeを見ていると、決まっておすすめされるツールがあります。
「初心者なら画面が綺麗で使いやすいLM Studio!」
「エンジニア御用達、コマンド一発で入るOllama!」
どこを見ても、この2大巨頭ばかりが紹介されています。
でも、正直に白状すると、私はそれらを一度も使ったことがありません。どういうUI(操作画面)なのかすら知らないんです。
5ヶ月前にローカルAIの世界に飛び込んでから今日まで、私は「KoboldCPP」しか触ってきませんでした。
なぜなら、SillyTavernで長編ロールプレイを極めたり、ComfyUIで画像生成も一緒に回したいと考えたとき、調べれば調べるほど「どう考えてもKoboldCPP一択じゃないか?」という結論に至ったからです。
そして実際に5ヶ月間、毎日PCを酷使して使い倒してきた今、確信しています。
「最初から浮気せず、KoboldCPPを選んで本当に大正解だった」と。
今回は、非IT職の私が手元のグラボ(VRAM 16GB)で「18GBの巨大モデル」を常用し、ComfyUIとも共存させている実戦ログをもとに、なぜSillyTavern・画像生成勢は最初からKoboldCPPを選ぶべきなのか、その理由をお話しします。
世間の流行をスルーして、最初からKoboldCPPを選んだ3つの理由
世の中でLM StudioやOllamaが勧められている理由は分かります。AIと2〜3往復だけ短いチャットをして「自分のPCで動いた!」と体験するだけなら、見た目が今風だったりする方が紹介しやすいからです。
でも、SillyTavernで何百ターンも続く濃厚な物語を紡いだり、画像生成と連携させて毎日運用しようとすると、話はまったく別になります。私がKoboldCPPを手放せない理由は次の3つです。
① 長文になっても返答が爆速(Context Shiftの魔法)
ロールプレイで一番の敵は「待ち時間」です。
会話が進んで過去のログや設定(Lorebook)が長大になっていくと、一般的な環境では毎ターン「過去の会話すべて」を最初から読み直そうとします。まるで、1ページ進むごとに本の1ページ目から復習し直すようなものです。これでは後半になるほど、返答までに何十秒も待たされることになります。
しかし、KoboldCPPには「Context Shift」という魔法のような機能が備わっています。
簡単に言うと、「過去の文脈は記憶したまま、新しく増えた一言の差分だけを瞬時に処理する」仕組みです。
このおかげで、会話ログが文庫本数冊分の長さに膨らんでも、出だしがもたつくことなく、驚くほどテンポよく返答が返ってきます。
② 「単一.exe × バッチ起動」で、日々の操作もアプデもストレスゼロ
KoboldCPPには、面倒なインストール作業がありません。公式サイトからダウンロードした「koboldcpp.exe」というファイル1個を好きなフォルダに置くだけで完結します。
さらに毎日使う上で最高なのが、以下の3点です。
・起動時はUIを1ミリも触らない(バッチファイル運用)
毎回アプリを開いて、マウスでモデルを選んで、サーバー起動ボタンを押す……なんて作業は必要ありません。設定を書いた「バッチファイル(.bat)」を1つ作っておけば、アイコンをダブルクリックするだけで、UIを一切触らず数秒で待機状態になります。

・閉じればVRAMが100%完全解放される
ツールによっては、使っていない時でもWindowsの裏側に常駐して貴重なVRAMを握りっぱなしにしたり、豪華な画面を表示するだけでメモリを食ったりします。KoboldCPPは黒い画面を「×」で閉じれば、1秒でVRAMもメモリも完全にゼロに戻ります。この「行儀の良さ」は、限られたPC性能を使い切る上で最大の武器です。
・アップデートが「3秒」で終わり、環境が絶対に壊れない
ローカルAIで一番怖いのが、アップデートで動かなくなる「環境破壊」です。しかしKoboldCPPのアップデートは、新しいexeファイルをダウンロードして古いファイルに上書き(差し替え)するだけ。たった3秒で終わり、バッチファイルの設定もそのまま引き継がれます。万が一最新版で不具合があっても、古いexeファイルに戻すだけで1秒で元の環境に復帰できます。
③ SillyTavernとの「血の繋がり」
そもそもKoboldCPPは、SillyTavernなどのロールプレイ界隈と二人三脚で開発されているバックエンドです。
勝手にプロンプトの形式が書き換わってキャラが崩壊するような事故も起きず、同じセリフの繰り返し(ループ)を防ぐ最新のサンプラー(DRYなど)も最初からフル活用できます。
「VRAM 16GB」で「18GBのモデル」を動かす限界突破術
ここからが、私が実践しているグラボの限界を超えるセッティングです。
私のグラボは「RTX 4070 Ti SUPER」で、VRAM(ビデオメモリ)は16GBです。
一方、私がSillyTavernのロールプレイで常用している「Gemma 4-31B(Q4)」というモデルは、ファイルサイズが約18GBあります。
普通なら「16GBの箱に18GBは入らないから無理」と諦めるサイズです。
ですが、KoboldCPPなら「グラボに入り切らない数GB分だけ、PC本体のメインメモリ(RAM)に肩代わりさせる」という調整(GPUオフロード)が細かく指定できます。
イメージとしては、「作業机(VRAM)の上に乗り切らない資料だけを、すぐ横の本棚(メインメモリ)に置いて手を伸ばしながら作業する」ような感覚です。
普通、メインメモリにはみ出すと動作はガクッと重くなります。
それなのに、なぜ私の環境ではストレスなく対話できているのか? 理由は2つあります。
1つ目は、先ほどお話しした**「Context Shift」が出だしの待ち時間を消し去ってくれるから**です。どれだけ会話が長くなっても過去ログを毎回ゼロから読み直さないため、「送信してから最初の1文字が出てくるまでの間」が、メインメモリを跨いでいても一切もたつきません。
そして2つ目は、はみ出させる量を「グラボに入り切らない数GB(全体の1〜2割)」に抑えているからです。モデルの大部分(8割以上)は超高速なグラボ側に残っているため、1文字ずつ言葉を紡ぎ出すスピード自体の低下も最小限で踏みとどまります。
この2つの仕組みが噛み合っているからこそ、実際に私の環境(RTX 4070 Ti SUPER + メインメモリへオフロード)では、序盤で約6.9 T/s、会話ログが8,000トークン近くまで膨らんだ最深部でも約6.2 T/sと、秒間6〜7トークン前後の出力速度を極めて安定してキープできています。

(※CPUやメモリの規格によって多少前後はしますが、現代の環境であれば十分に実用速度が出ます)
画面に表示される文字を目で追って読んでいる間に、次のセリフが自然な呼吸でスラスラと紡がれていくため、待たされているストレスはまったくありません。
「そこまでして、なぜ速度を落としてまで31Bにこだわるのか?」
そう思われるかもしれません。手元のVRAM 16GBに余裕で収まる7B〜14Bクラスのモデルを使えば、GPUフル稼働で毎秒20〜30トークン以上の超ハイスピードで文字を出力させることだって可能です。
それでも私がオフロード覚悟でGemma 4-31Bを常用しているのは、「知能と情緒の深さ」がまったく別次元だからです。
小さなモデルだと、どうしてもセリフが記号的になったり、空気を読めずに即オチしてしまったり、複雑な設定を抱えきれなくなります。 しかし31Bクラスになると、キャラクターがこちらの言葉の裏にある「行間」を読み、視線の動きや沈黙の理由まで繊細に描写し始めます。
薄っぺらい会話が秒速で返ってくるよりも、人間の呼吸に合わせたスピードで、息を呑むような生きた言葉がじっくり紡がれる時間の方が、遥かに尊い。 だからこそ私は、多少の速度を犠牲にしてでも、この「31Bの知能」にこだわり続けています。
VRAM 8GB〜12GB勢こそ、この恩恵が一番大きい!
「それは16GBのグラボだからできるんでしょ?」と思われるかもしれませんが、実はこれ、世の中で一番ユーザーが多い「VRAM 8GB〜12GB(RTX 3060、4060、4070など)」の環境でこそ最大の武器になります。
考え方はまったく同じです。「自分のVRAMに収まる小さなモデル」で妥協するのではなく、「少しメインメモリにはみ出す前提で、ワンランク上の賢いモデル」を狙えるようになるからです。
【VRAM別・KoboldCPPで狙える限界突破の目安】
・VRAM 8GB(RTX 4060 / 3070など)
従来の常識:7B〜8Bクラスで限界
狙えるライン:9B〜14Bクラス(機転の利き方、会話の自然さが別次元になります)
・VRAM 12GB(RTX 3060 12GB / 4070など)
従来の常識:14Bクラス止まり。30B系は夢のまた夢
狙えるライン:27B〜31Bクラス(IQ3などの軽量な量子化を選べば十分実用圏内!)
・VRAM 16GB(RTX 4060 Ti 16GB / 4070 Ti SUPERなど)
従来の常識:30B系を快適に動かすには24GB(RTX 4090)が必要?
狙えるライン:31Bクラスの標準モデル(Q4)をメイン機としてフル常用可能
特に8GB〜12GBの環境では、常駐ソフトが裏で消費する数百MBのメモリすら致命傷になります。余計なものを一切抱え込まないKoboldCPPを使うだけで、動かせるモデルの選択肢が一段階跳ね上がるはずです。
SillyTavernとComfyUI、2つの現場での「モデルの着せ替え」
さらに私は、SillyTavernでの対話だけでなく、ComfyUIを使ったAI画像生成でもKoboldCPPをフル活用しています。
ComfyUIで画像を生成するとき、「日本語の簡単な単語から、英語の緻密な画像プロンプトを自動で作らせる」ための頭脳として、裏でKoboldCPPを繋いでいるのです。
ここで私が実践しているのが、用途に合わせた「モデルの着せ替え」です。
SillyTavern(じっくり腰を据えて対話する時)
→ Gemma 4-31B(Q4 / 約18GB)を使用
こちらは言葉の機微や、即オチしない心情のグラデーションが命です。少しメインメモリにはみ出してでも、一番賢い服(Q4)を着せて、知能と情緒を最優先にします。ComfyUI(画像生成と連携してスピード重視で回す時)
→ Qwen 3.8-27B(IQ3 / 約13GB)を使用
画像生成の現場では、プロンプト生成の待ち時間をゼロにすることが最優先です。そのため、ここでは手元の16GB VRAMにすっぽり収まる「13GB」の軽量な服(IQ3)を選び、バッチ側で --gpulayers 99 を指定して全レイヤーをグラボに載せ切ります。VRAMから1ミリもはみ出さないため、プロンプトの出力が一瞬で終わります。
「でも、LLMがVRAMを13GBも掴んだままで、その後の画像生成はどうするの?」と思われるかもしれません。 実はここがComfyUIの凄いところで、ComfyUIは残りの空きVRAMを賢く検知し、画像生成モデルをメインメモリとやりくりしながら自動で順次ロードして動かしてくれます。もしこれが18GBのGemma 4-31Bのままだと、PC全体のメモリが圧迫されて画像生成側がパンクしてしまいますが、LLM側を13GBに抑えておくことで、ComfyUIが息継ぎできる最低限のスペースを残せるわけです。「プロンプト生成はVRAM全載せで爆速、画像生成はComfyUIのメモリ管理に任せる」という、限られたVRAMを使い切るための実戦的な割り切りセッティングです。
もちろん、この切り替えも「SillyTavern用.bat」と「ComfyUI用.bat」の2つのバッチファイルをデスクトップに置いておき、用途に合わせてダブルクリックするだけです。
おわりに:おすすめされたツールで「こんなものか」と諦める前に
初めてローカルLLMに触れるとき、動画や解説記事ですすめられたツールをそのまま入れるのは当然のことです。誰だって最初は一番目立つものを試します。
でも、もしあなたが「SillyTavernで遊んでいると返答が遅くてイライラする」「手元のグラボじゃ賢いキャラは無理なのかも」「画像生成と両立できない」とモヤモヤを感じ始めているなら……
それはあなたのグラボの限界ではなく、動かしているエンジンの限界かもしれません。
高いグラボを買い直す前に、バックエンドを「KoboldCPP」に変えてみてください。手元のPCが持っていた本当のポテンシャルに、きっと驚くはずです。
▼具体的にどうやってその専用バッチを作るのか?実践編はこちら
▼ 実際に18GBの「Gemma 4-31B」各モデルを実機検証し、最高の一本を選び抜いたログはこちら
▼ ComfyUIとKoboldCPPを連携させ、日本語4単語から極上の美女を出力する自動化ワークフローはこちら
▼ 難しい設定をスキップして今すぐ遊べる、キャラクターカード&黄金比プリセット一式(BOOTH)