
Nemotron 3.5 Bolt 24GBをRTX 3050(8GB)で動かしたら、起動オプションだけで6.2→17.4 tok/sになった ― 専門家を本体メモリに置いてGPUにキャッシュする話
こんにちは!YaroTechです。
昨日(10月27日)は研修のあと東京から沖縄へ移動で、飛行機が30分遅れ、ホテル着は23時ごろ。記事は出せませんでした。今日は沖縄のホテルからメインPCにリモートで入り、前回予告した実測をやりました。
結論を先に書きます。
GPUのメモリ8GBのメインPCでも、22GBのNemotron 3.5 Boltは起動して、メールの3問に全問正解した
GPUに載せる層を増やしても(`-ngl` 8→14)、書く速さは 6.17→6.54 tok/s。約6%しか伸びなかった
「全部の層はGPU、専門家だけ本体メモリ、GPUに1GBのキャッシュ」に変えたら 15.31 tok/s。もう1つ足して 17.41 tok/s。合計は 10.1秒→3.7秒
モデルもGPUもお題も同じ。変えたのは起動オプションだけです。
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
PC: メインPC(Core i9-12900T/本体メモリ128GB/Windows 11 Pro 25H2)
GPU: NVIDIA GeForce RTX 3050(VRAM 8GB・ドライバー610.88)
動かす道具: llama.cpp b11669(表示は 0.7.0-dev・CUDA 12.4版)
モデル: NVIDIA公式のGGUF「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf」(IQ2_XXS・22.0GB)
共通の条件: 文脈の長さ65536・KVキャッシュq8_0・temp 1.0・top_p 0.95・flash-attn on・考えるモードはオフ
時点: 2026年10月28日(水)22時すぎ
Boltの公式レシピは、GPUのメモリ28〜32GB・Ada/Blackwell世代が前提です。RTX 3050はAmpere世代の8GBで、どちらも想定の外です。
関連記事: Nemotron 3.5 Bolt 24GBをメインPCで動かす途中経過 ― 常駐AIを止めたらGPUのメモリは7,796→1,098MiB、22GBのダウンロードは道具1つで219kB/s→14.0MB/s【検証中】が、今日の前編です。
🎯 この記事で得られること
公式の想定外のGPU(8GB)で、74BのMoEモデルを動かした実測
`-ngl` を上げるより効いた、MoEモデル向けの起動オプション
同じ質問の2回目が速く見える理由
📌 先に結論
お題はDay455と同じ、架空の「【至急】見積書の金額に誤りがあります」というメール(入力339トークン・答え21トークン)。4つの構成すべてで全問正解(要対応/はい/今日中)でした。数字は、どれも起動して1回目です。
※合計は「入力読み+書く時間」(サーバーのログの数字・通信の時間は含まない)
①→④で、書く速さは約2.8倍、合計は約2.7倍です。
準備編の仮説5つは、こうなりました。
最新のllama.cppなら、対応外のGPUでも起動して答える → ○
載りきらない分を本体メモリに置けば読み込める → ○(「層ごと」より「専門家ごと」が速かった)
予測(DFlash)で速くなる → 未
考えるモードをオフにすると合計が縮む → 未(オンを測っていない)
日本語で同規模のモデルと同じくらい答える → △(メール全問正解・旅費規程4○1×。比較は次回)
🧹 起動まで:常駐を止めて、7.8秒で読み込んだ
朝のメール要約用に常駐させているllm-jp-4を、管理者のPowerShellで `Stop-Service -Name llama-server` して止めました。GPUのメモリは 7,574MiB → 914MiB です。

前回落としたllama.cppのzip 2つを展開して、まずは控えめに `-ngl 8` で起動。
読み込み 約7.8秒/GPUのメモリ 4,953MiB(約4.0GB載った)/本体メモリ(使用中)25.4GB
22GBにしては速い読み込みです。10月25日のダウンロード以降、ファイルがWindowsのキャッシュに残っていたからだと思います(確かめてはいません)。このビルドのログには「何層GPUに載ったか」の行が出ないので、載った量は `nvidia-smi` の差で見ています。
メールの答えは全問正解。書く速さ 6.17 tok/s、合計 10.1秒。まずは動きました。
🔼 -nglを8から14に上げても、6%しか伸びなかった
GPUにまだ空きがあったので `-ngl 14` で起動し直しました。GPUのメモリは 6,487MiB(約1.5GB増)、読み込み約4.9秒。
書く速さは 6.17 → 6.54 tok/s(約+6%)、合計は10.1秒 → 9.5秒。GPUのメモリを1.5GB多く使って、伸びはこれだけです。残りの層は本体メモリとCPUのままなので、遅い所が変わらなかったのだと見ています。
⚡ 専門家を本体メモリに置いたら、2.3倍になった
ここが今日の本題です。
Boltは「MoE」という作りのモデルです。「74B-A9B」は、全体は74Bでも、1語書くたびに動くのは9B分だけ、という意味。中にたくさんの「専門家(experts)」がいて、1語ごとにその一部だけが動きます。
途中経過の回で見つけたv0.7.0の新しい設定 `--moe-cache-mib` は、リリースの説明で「専門家をGPUの外に置いているとき、書く速さが最大約2.2倍」とされています。
1回目は、効かなかった
`-ngl 14` のまま `--moe-cache-mib 1024` を足すと、起動ログにこう出ました。
「no layer has all of its experts in host memory, MoE cache is disabled」
「専門家を全部本体メモリに置いている層がないので、MoEキャッシュは使いません」という意味です。GPUのメモリも6,487MiBのまま。メールは送らずに止めました。

ログから読むと、このキャッシュは「層の本体はGPU、専門家だけ本体メモリ」という置き方が前提のようです。
2回目:全層GPU、専門家は本体メモリ、GPUに1GBのキャッシュ
`-ngl 99`:全部の層をGPUに置く
`--n-cpu-moe 99`:ただし全部の層の専門家は本体メモリに置く
`--moe-cache-mib 1024`:GPUに1GBの置き場を作り、よく使う専門家を手元に置く
温室にたとえると、大きな木を丸ごと運ぶのをやめて、木は奥に置いたまま、よく使う枝だけカゴで手元に持ってくる感じです。
今度は警告が消えました。読み込み約4.3秒、GPUのメモリ 7,815MiB / 8,192MiB(残り約370MB)、本体メモリは起動直後22.8GB → 答えたあと34.5GB。
書く速さは 15.31 tok/s。-ngl 14から 約2.3倍 で、リリースの説明の「最大約2.2倍」とほぼ同じ効き方でした。合計は 6.3秒 です。
📥 --load-mode noneで、入力読みが2倍になった
③で起動したとき、ログにもう1つ警告が出ていました。
「tensor overrides to CPU are used with mmap enabled - consider using --load-mode none for better performance」
mmap(ファイルを必要な所だけ読む方式)をやめると速くなるかも、という意味です。言われたとおり足しました。
読み込み: 約4.3秒 → 約8.2秒(22GBを実際に本体メモリへ読み込むため)
GPUのメモリ 7,759MiB/本体メモリ 34.2GB/タスクマネージャーの共有GPUメモリ 17/102GB

結果は、入力読み 67.3 → 131.9 tok/s(約2倍)、書く速さ 15.31 → 17.41 tok/s、合計 6.3秒 → 3.7秒。

起動が4秒ほど遅くなる代わりに、答えるたびに速くなります。常駐させるなら、こちらが向いています。
🔁 2回目が速いのは、速くなったからではない
同じメールをもう一度送ると、合計がぐっと短くなりました。①は10.1秒 → 3.8秒、④は3.7秒 → 1.5秒。
でも、速くなったのではありません。2回目は入力339トークンのうち335トークンを「前に読んだもの」として使い回していました(プロンプトキャッシュ)。読み直したのは4トークンだけなので、入力読みが335〜663ミリ秒で終わっています。
書く速さは、①が6.17 → 6.28 tok/s、④が17.41 → 17.37 tok/s。ほぼ同じです。
速さを比べるときは、1回目同士で比べないと、オプションの効果かキャッシュの効果か分からなくなります。上の表は、すべて1回目の数字です。
🧾 出張旅費規程は4○1×、1問だけ推測で埋めた
もう1つのお題は、過去回でも使った架空の出張旅費規程(抜粋)です。「名古屋に1泊2日。①宿泊費の上限 ②日当の合計 ③グリーン車は使えるか ④タクシー代の上限」を聞き、わざと「申請期限は14日以内ですよね?」と間違った前提を混ぜています。③の構成・考えるモードはオフで、合計 17.6秒(答え239トークン・16.43 tok/s)でした。
① 1泊10,000円 → ○(「名古屋は東京23区・大阪市に当たらない」と理由も正しい)
② 日当 → ×(「宿泊日数×2,000円=4,000円」。正解は「資料に記載なし」)
③ グリーン車 → ○(役員に限る)
④ タクシー代 → ○(「規程に記載がありません」)
前提「14日以内」 → ○(「いいえ、7日以内です」と訂正)
資料にあるのは「日帰り出張の日当は2,000円」だけ。Boltはその書き方を借りて、宿泊出張の日当を作ってしまいました。答えは太字と理由付きでとても読みやすいので、②だけが推測だとは、ぱっと見では分かりません。
しかも④では「記載がありません」と言えています。書いていないと言える時と、近い情報で埋めてしまう時がある。
Day459で、手書きメモの文字起こしについて「正確に読ませるより、読めない所を隠させない」と書きました。今日の②は、その逆が起きた形です。今回の質問に「資料にないことは『記載なし』と答えて」とは入れていません。入れたら変わるのかは、まだ試していません。
同じお題で、Day452のSarashinaは即答で4○1△でした。1回ずつの結果なので、どちらが上とまでは言えません。
💡 自分の環境で真似するときの要件
今回動いた条件です。ここにない条件(VRAM 6GB、本体32GBのPCなど)は試していません。
本体メモリ:空きが35GB以上(目安)。使用中は最大34.5GBまで上がりました(Windowsなどの分を含む)
VRAM:8GB。最終の構成で7,759〜7,815MiB使用。常駐のAIがあれば先に止める
llama.cpp:v0.7.0以降(`--moe-cache-mib` はv0.7.0で入った設定。今回はb11669で確認)
CUDA版。今回は12.4版(`nvidia-smi` の「CUDA UMD Version」13.3以下を選んだ)
最終の起動コマンドです。ファイルの場所は自分の環境に合わせてください。
llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --moe-cache-mib 1024 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081文脈の長さやキャッシュの大きさを変えたらどうなるかは、測っていません。`-ngl 99` で「自動調整しない」という警告が出ますが、そのまま動きました。測り終わったら `Start-Service -Name llama-server` で常駐を戻しています。
📖 ことば帳
MoE:たくさんの「専門家」を持ち、1語ごとに一部だけを動かす作りのモデル
74B-A9B:全体が74B、1語ごとに動く(Active)のが9B分
専門家(experts):MoEの中の、選ばれたときだけ動く部品。モデルの大部分を占める
-ngl:GPUに載せる層の数。層は丸ごとGPUか、丸ごと本体メモリか
--n-cpu-moe:指定した数の層について、専門家だけを本体メモリに置く設定
--moe-cache-mib:本体メモリの専門家のうち、よく使うものをGPUに置くキャッシュの大きさ
mmap/--load-mode none:ファイルを必要な所だけ読む方式/起動時に全部読み込む指定。今回は後者のほうが答えるのが速かった
プロンプトキャッシュ:前に読んだ入力を読み直さない仕組み。2回目が速く見える理由
📝 まとめ
今日の持ち帰りは3つです。
VRAM 8GB・公式の想定外のPCでも、22GBのNemotron 3.5 Boltは起動して、メールに全問正解した
MoEモデルは、層を増やすより「全層GPU+専門家は本体メモリ+GPUにキャッシュ」。6.17 → 17.41 tok/s、合計10.1秒 → 3.7秒。変えたのは起動オプションだけ
2回目が速いのはプロンプトキャッシュのせい。そして、読みやすい答えの中に、推測で埋めた1問がまぎれていた
クロコに締めてもらいます。
「層を六つ足しても、ほとんど変わらんかったさー。木ごと運ぶのやめて、枝だけカゴで手元に置いたら、六が十七になったやっさ」
あなたのGPU、層を増やす以外の置き方を試したことはありますか?
🔗 関連記事
🚀 次回予告
その前に、今日の話を初心者向けに整理する回を入れます。GPUに載らない大きさのAIを家のPCで動かす「3つの置き方」を、木と枝とカゴのたとえで、専門用語を減らして書きます。
そのあと、今日測れなかった4つを続けて測ります。
予測(LiLiCorr)あり:予測用のファイル(約1GB)はまだ落としていません。GPUの残りが約370MBなので、載るかどうかが最初の関門です
考えるモードオン:合計がどれだけ延びるか
常駐のllm-jp-4と同居:止めずに動かせるか
Qwen3.5-35B-A3Bとの比較:同じお題で、同じMoEのモデルと比べる
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
【デザインコンセプト】
- 背景: 「秋の朝のガラスの温室」。高いガラス屋根から、斜めに差し込む澄んだ朝の光。奥まで長い木の栽培台が何列も続いている。全体の色は、淡い朝焼けの桃色から、明るい若葉色へのグラデーション
- メインビジュアル:
- 【右奥】大きな木が1本、温室のいちばん奥の広い栽培台にどっしりと据えられている(もう運ばない。根元は土に収まっている)。枝は多く、枝ごとに葉の形や色が少しずつ違う
- 【中央やや左】クロコ(添付1): 片腕に、籐で編んだ小さな丸い手提げカゴを提げている。カゴには、葉の付いた枝が数本だけ入っている。奥の大きな木のほうを軽く振り返りながら、手前へ軽い足取りで歩いてくる。表情は落ち着いていて、少し得意げ
- 【手前中央】低い石の台の上に、小さなガラスの花瓶がひとつ。カゴから移した枝が2〜3本挿してあり、朝の光を受けてきらめいている(手元に置いた枝=すぐ使える)
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「枝だけ、手元に置くさー」
- テキスト要素(3段):
- 上段(白・太字・30〜32pt・濃い影付き): 「同じGPU、起動オプションだけ」
- 中段(特大ゴールド・44〜48pt): 「6.2 → 17.4 tok/s」
- 下段(白・細字・20〜22pt・濃い影付き): 「Nemotron 3.5 Bolt 24GB × RTX 3050(8GB)」
- 装飾: ガラス屋根の細い桟の影、朝の光の筋、栽培台の上の若い苗、通路にこぼれた数枚の葉
- ※木・カゴ・花瓶・石の台・栽培台には数字や読める文字を描かないこと
- ※手押し車・荷車・木箱は描かないこと(木はもう運ばない)
- ※落胆・叱責・×印・涙・倒れた木・折れた枝・時計を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: 会議室・ホワイトボード・虫めがね・付箋(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路・列車・案内板(Day455)/郵便仕分け場・ベルト・封筒(Day454)/作業机・物差し・閉じたノートPC(Day453)。※温室はDay456(昼)・Day457(夜)の続きの場面として、時間帯を「朝」に変えて描く
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のガラス屋根と栽培台の列のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 秋の朝のガラスの温室を設定する。斜めに差し込む朝の光、奥まで続く木の栽培台、淡い桃色から若葉色へのグラデーション
3. 右奥のいちばん奥の栽培台に、枝の多い大きな木をどっしりと据える
4. 中央やや左にクロコ(添付1と照合)を配置し、葉の付いた枝が数本入った籐の丸い手提げカゴを片腕に提げ、木を振り返りながら手前へ歩いてくる姿にする。手前中央の低い石の台に、枝を挿した小さなガラスの花瓶を置く
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる
9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する#YaroTech #ローカルLLM #llamacpp #Nemotron #NVIDIA #RTX3050 #MoE #CUDA #AI活用 #生成AI #検証 #Claude #毎日note