
Nemotron 3.5 Bolt 24GBの残りを全部測ったら、速くした主役はキャッシュではなく「専門家を本体メモリに置く」ことだった ― 予測は遅くなり、日当の「記載なし」はQwen3.5だけが言えた
こんにちは!YaroTechです。
10月28日のDay460で、22GBのNemotron 3.5 BoltをRTX 3050(8GB)で動かし、「あとで測る」と書いて残していたものが4つありました。予測(LiLiCorr)あり、考えるモードオン、常駐のAIと同居、Qwen3.5-35B-A3Bとの比較です。今日は水曜の夜、メインPCで45分かけて、その4つと、Day461で「測っていない」と書いた置き方2だけの構成、昨日のLFM3で起きた「CPUとGPUで答えが変わる」がBoltでも起きるか、まで全部測りました。
結論を先に書きます。
Day460で「GPUにキャッシュを置いて2.3倍になった」と書きましたが、速くした主役はキャッシュではなく、「専門家を本体メモリに置く」ことでした。キャッシュを外したほうが約12〜14%速く、GPUメモリも1.1GB少なくて済みました
予測(LiLiCorr)は起動できましたが、速くなるどころか、入力を読む速さが6割減、書く速さが3割減になりました
考えるモードをオンにしても答えは同じで、待ち時間だけが20〜50倍になりました
常駐のAIを止めずに同居させることはできました。ただ、回を重ねるほど遅くなりました
同じお題で測ったQwen3.5-35B-A3Bは、Boltより速く、出張旅費規程の「日当」を、Boltが3回とも作ってしまった所で、「資料に記載がない」と正しく答えました
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
PC: メインPC(Core i9-12900T/本体メモリ128GB/Windows 11 Pro 25H2)
GPU: NVIDIA GeForce RTX 3050(VRAM 8GB・ドライバー610.88)
動かす道具: llama.cpp b11669(CUDA 12.4版)。Day460と同じもの
モデル: NVIDIA公式のGGUF「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf」(22.0GB)。比較用に「Qwen3.5-35B-A3B-Q4_K_M.gguf」(20.5GB)
予測用: 「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf」(998MB・今日ダウンロード・2分)
お題: Day455からずっと使っている架空のメール判定(3問)と出張旅費規程(4問+間違った前提)
共通の条件: 文脈の長さ65536・KVキャッシュq8_0・temp 1.0・top_p 0.95・flash-attn on・考えるモードはオフ(Dだけオン)
時点: 2026年11月4日(水)20時27分〜21時11分
昨日のLFM3の記事で、同じ質問でも答えが揺れることが分かったので、今日はメールを1つの構成につき5回送って、正解の回数で見ています。
🎯 この記事で得られること
MoEモデルの起動オプションのうち、効いたものと効かなかったものの実測
「予測で速くなる」が、GPUの小さいPCでは当てはまらなかった例
同じお題で、2つのMoEモデルが同じ所でどう違ったか
📌 先に結論
Boltの起動の構成ごとに、メール判定(1回目)の数字を並べます。メールは全構成・全回で全問正解でした。
※合計は「入力読み+書く時間」。数字はすべて起動して1回目
🔁 Day460の訂正:速くしたのはキャッシュではなかった
Day460では、-ngl 14 から「全層GPU、専門家は本体メモリ、GPUに1GBのキャッシュ」に変えて、書く速さが6.54から15.31 tok/sになったと書きました。リリースの説明に「キャッシュで最大約2.2倍」とあったので、キャッシュが効いたのだと思っていました。
今日、Day461で「測っていない」と書いた、キャッシュを外しただけの構成(B)を測りました。
A(キャッシュあり): 17.64 tok/s
B(キャッシュなし): 20.06 tok/s
キャッシュを外したほうが速く、GPUメモリも約1.1GB少なくて済みました。測った順番の影響かもしれないので、最後にもう一度Aを測りました(17.91 tok/s)。AとA'がほぼ同じなので、順番のせいではありません。

つまり、Day460で2.3倍になった主役は、「専門家を本体メモリに置く」ことでした。キャッシュは、このPC・このお題では効かず、むしろ少し遅くしていました。なぜ遅くなるのかは分かりません。GPUが満杯に近いところに1GBのキャッシュを置くと、何かが足を引っ張るのかもしれませんが、確かめてはいません。
Day461で木と枝とカゴのたとえを書きましたが、カゴ(キャッシュ)は要らなかった、ということになります。
🔮 予測(LiLiCorr)は、起動したけれど遅くなった
Day460の仮説3「予測(DFlash)で速くなる」です。Bの構成に、予測用のファイル(998MB)と --spec-type draft-dflash --spec-draft-n-max 6 を足しました。
起動は成功しました。ログに赤い文字で「dflash requires ctx_other to be set」と出ましたが、そのあと「this warning is normal during memory fitting」とあり、予測用モデルも読み込まれました。GPUメモリは7,907MiBと、ほぼ満杯です。

結果は、速くなりませんでした。
入力読み: 138.0 → 53.7 tok/s(約6割減)
書く速さ: 20.06 → 13.33 tok/s(約3割減)
出張旅費(長い答え): 19.52 → 9.39 tok/s、合計20.9秒 → 39.2秒
予測の受理率は、メールで66.7%(24本の予測のうち16本が当たり)、出張旅費で40.1%でした。予測そのものは当たっているのに、全体が遅くなっています。理由は分かりません。GPUが満杯で共有メモリに逃げているのか、予測用モデルの計算を本体メモリ側の専門家が待っているのか。公式の「予測で速くなる」は、モデルがGPUに全部載る環境を前提にしていると思いますが、これも推測です。
仮説3は、このPCでは×でした。
🧠 考えるモードをオンにしても、答えは同じだった
Day460の仮説4「考えるモードをオフにすると合計が縮む」です。Bの構成で、考えるモードをオンにしたメールを3回送りました。
答えは3回とも「要対応/はい/今日中」で、考えるモードオフのときと同じでした。書く速さもオフと同じ。遅くなったのではなく、書く量が20〜50倍になっただけです。
考える文は全部英語でした。3回目は「今日中か、今すぐか」を何度も言い直して迷っていて(Wait, let's double-check… Actually… Wait, re-reading)、最後は同じ「今日中」に落ち着きました。考えの末尾に「cw」という謎の2文字が付いていました。
仮説4は○です。このお題では、考えさせても答えは変わらず、待ち時間だけが延びました。
🏠 常駐のAIと同居はできた、でも回を重ねるほど遅くなった
メインPCには朝のメール要約用のAI(llm-jp-4)を常駐させていて、GPUの8GBのうち6.7GBを使っています。Day460では止めてから測りました。今日は止めずに、Day460の最初の構成(-ngl 8)でBoltを起動してみました。
起動できました。GPUメモリは7,796MiBで、常駐の分とBoltの分が両方載っています(常駐は別のユーザー権限で動いているので、プロセスの一覧には出てきません)。

メール5回は全問正解でした。ただ、書く速さが6.55 → 4.99 → 4.47 → 4.33 → 4.32 tok/sと、回を重ねるほど落ちました。Day460の -ngl 8(常駐なし)は6.17 → 6.28で安定していたので、GPUメモリの取り合いが疑わしいですが、確かめてはいません。
仮説「止めずに動かせるか」は○。ただし、実用の速さではありません。
⚖️ Qwen3.5-35B-A3Bは速くて、「記載なし」と言えた
同じMoEの作りのQwen3.5-35B-A3B(20.5GB)を、Bと同じ構成・同じお題で測りました。
GPUメモリ: 4,238MiB(Boltの6,793より2.5GB少ない)
書く速さ: 約28 tok/s(Boltの約20より速い)
メール5回: 全問正解。優先度は「今すぐ」3回、「今日中」2回と揺れた(Boltは5回とも「今日中」)
1語ごとに動く量が、Boltは9B、Qwenは3Bなので、速いのは納得です。
見どころは出張旅費規程でした。「名古屋に1泊2日。②日当の合計は?」という問いに対して、資料にあるのは「日帰り出張の日当は2,000円」だけなので、正解は「資料に記載なし」です。
Boltは今日、3回とも違う形で外しました。
A: 「2,000円」(日帰りの日当×1泊のみ=1日分)
B: 見出しは「2,000円」なのに、本文は「宿泊出張の日当の記載がないため算出できない」(見出しと中身が矛盾)
C: 「4,000円」(1泊2日を「2泊分」と数えた)
Qwenは、「資料には宿泊出張の日当の規定が記載されていないため、日当の合計は特定できません」と、見出しも本文も一致させて答えました。ほかの4問も正解で、5問とも正解です。
Day460のBolt、昨日のLFM3(6回中1回だけ)、今日のBolt3回を通して、迷いなく「記載なし」と言えたのはQwenが初めてです。1回だけの結果なので、「今回は」としか言えません。答えの末尾にMarkdownの表を付けたり、「1 泊 10,000 円」と数字の前後に半角の空白を入れたりする癖がありました。
🔀 BoltはCPUでもGPUでも、同じ答えを出した
昨日のLFM3は、同じメールを20回送ると、GPUでは6回、CPUでは18回しか全問正解しませんでした。Boltでも起きるかを見るため、GPUを使わない構成(-ngl 0)で10回送りました。
10回とも全問正解で、一字一句同じ答えでした。今日GPUで送った20回(A・B・C・F)も、全部同じ答えです。Boltは、計算する場所を変えても答えが変わりませんでした。
昨日はOllama、今日はllama.cpp直なので、LFM3で起きたことが「小さいモデルだから」なのか「道具の違い」なのかは、切り分けていません。言えるのは「このお題では、Boltは場所によらず同じ答えを出した」までです。
速さは4.6〜5.7 tok/sで、常駐と同居したF(-ngl 8)とほぼ同じでした。8層だけGPUに載せても、効き目は小さいことが分かりました。
💡 自分の環境で真似するときの要件
今日の結果から、このPC(VRAM 8GB・本体128GB)でBoltを動かすなら、おすすめの起動はBです。
llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081
Day460の最終構成から --moe-cache-mib 1024 を外しただけです。
キャッシュと予測は、GPUが小さいPCでは試してから使う。公式の説明はGPUに余裕がある環境の話かもしれない
考えるモードは、短い判定なら切る。答えが変わらず、待ち時間だけ延びた
常駐のAIがあるなら止める。同居はできるが4〜6 tok/sまで落ちる
同じ質問を5回送る。Boltは5回とも同じ答えだったが、Qwenは優先度が揺れた
VRAM 6GBや本体32GBのPCでは試していません。
📖 ことば帳
置き方2:全部の層はGPU、専門家だけ本体メモリに置く構成(Day461で付けた呼び名)
MoEキャッシュ(--moe-cache-mib):本体メモリの専門家のうち、よく使うものをGPUに置く仕組み。今日は効かなかった
予測(DFlash/LiLiCorr):小さい予測用モデルが先に何語か書き、本体が当たりを確かめる仕組み。受理率は当たった割合
受理率:予測のうち本体が「正しい」と認めた割合。メールで66.7%、出張旅費で40.1%
A9B/A3B:1語ごとに動く量。Boltは9B、Qwenは3B
-ngl 0:GPUに層を載せない。CPUだけで動く
📝 まとめ
今日の持ち帰りは3つです。
Day460で速くした主役はキャッシュではなく、「専門家を本体メモリに置く」ことだった。キャッシュを外したほうが約12〜14%速く、GPUメモリも1.1GB少ない。予測も足すと遅くなった。小さいGPUでは、公式の「速くなる」を1つずつ試して確かめる
考えるモードをオンにしても答えは同じで、待ち時間だけ20〜50倍。常駐との同居はできるが、速さは4〜6 tok/s
同じ出張旅費の②を、Boltは3回とも違う形で外し、Qwen3.5-35B-A3Bは「記載なし」と言えた。モデルの大きさより、資料にない所を「ない」と言えるかが分かれ目だった
クロコに締めてもらいます。
「カゴは要らんかったさー。枝を手元に置いただけで、ちゃんと速かったやっさ。予測の子を足したら、逆に待たされたわけよ」
あなたが使っているローカルLLM、公式の「速くなる」設定、自分のPCで測ってみましたか?
🔗 関連記事
Nemotron 3.5 Bolt 24GBをRTX 3050(8GB)で動かしたら、起動オプションだけで6.2→17.4 tok/sになった ― 専門家を本体メモリに置いてGPUにキャッシュする話(今日訂正した回)
🚀 次回予告
Boltの検証はこれでひと区切りです。明日は、今週たまった小さいネタか、初心者向けの整理回を考えています。日曜トークでは、今週の予告(Claude DuetのPro招待、DevDay Exchange London、Genie 4のUltra提供)の答え合わせをします。
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
【デザインコンセプト】
- 背景: 「晩秋の夕方の、木造の作業小屋」。壁際に大きな木製の作業台、奥の窓から夕日の橙色の光が差し込む。壁には工具が整然と掛かっている。全体の色は、あたたかな橙色から、落ち着いた深緑へのグラデーション
- メインビジュアル:
- 【中央】クロコ(添付1): 作業台の前に立ち、片手で籐で編んだ小さな丸い手提げカゴを持ち上げて、少し首をかしげて見ている(カゴは要らなかった、という表情)。もう片方の手は作業台に置かれた葉付きの枝数本の上
- 【作業台の上】葉付きの枝が数本、きれいに並べて置かれている(手元に置いた専門家)。その横に、小さな空のガラスの花瓶
- 【作業台の端】小さな置き時計がひとつ(待ち時間の象徴。文字盤に数字は描かない)
- 【足元】カゴをひとつ、床に置いて使っていない(もうひとつのカゴ・床に置いたまま)
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「カゴは、要らんかったさー」
- テキスト要素(3段):
- 上段(白・太字・30〜32pt・濃い影付き): 「速くした主役は、キャッシュじゃなかった」
- 中段(特大ゴールド・44〜48pt): 「外したら、20 tok/s」
- 下段(白・細字・20〜22pt・濃い影付き): 「Nemotron 3.5 Bolt 24GB × RTX 3050(8GB)・残りを全部測った」
- 装飾: 夕日の光の筋、壁の工具、作業台の木目、窓の外の色づいた木
- ※枝・カゴ・花瓶・時計・工具には数字や読める文字を描かないこと(名札プレートと吹き出しとテキスト3段以外に文字を入れない)
- ※落胆・叱責・×印・涙・壊れた道具を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: 野原の弓道場・的・矢・どんぐり(Day465)/紅葉の渓谷・吊り橋・茶屋の縁台(Day464)/石畳の広場・5段の階段・本の山・植木鉢(Day462・463)/ガラスの温室・栽培台(Day456・457・460・461)/会議室・ホワイトボード・虫めがね・付箋(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路(Day455)/郵便仕分け場・ベルト・封筒(Day454)/作業机・物差し・閉じたノートPC(Day453)。※籐のカゴと枝はDay460の続きとして「カゴをやめた」場面で使う
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景の壁と窓のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 晩秋の夕方の木造の作業小屋を設定する。大きな木製の作業台、奥の窓からの夕日、壁の工具、橙色から深緑へのグラデーション
3. 作業台の上に葉付きの枝を数本並べ、横に小さな空のガラスの花瓶、端に小さな置き時計を置く
4. 中央にクロコ(添付1と照合)を配置し、片手で籐の小さな手提げカゴを持ち上げて首をかしげ、もう片方の手を枝の上に置く姿にする。足元にもうひとつカゴを置く
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる
9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する
#YaroTech #ローカルLLM #llamacpp #Nemotron #NVIDIA #Qwen #RTX3050 #MoE #CUDA #AI活用 #生成AI #検証 #Claude #毎日note