メインコンテンツへスキップ
見出し画像

Nemotron 3.5 Bolt 24GBの残りを全部測ったら、速くした主役はキャッシュではなく「専門家を本体メモリに置く」ことだった ― 予測は遅くなり、日当の「記載なし」はQwen3.5だけが言えた

    こんにちは!YaroTechです。

    10月28日のDay460で、22GBのNemotron 3.5 BoltをRTX 3050(8GB)で動かし、「あとで測る」と書いて残していたものが4つありました。予測(LiLiCorr)あり、考えるモードオン、常駐のAIと同居、Qwen3.5-35B-A3Bとの比較です。今日は水曜の夜、メインPCで45分かけて、その4つと、Day461で「測っていない」と書いた置き方2だけの構成、昨日のLFM3で起きた「CPUとGPUで答えが変わる」がBoltでも起きるか、まで全部測りました。

    結論を先に書きます。

    • Day460で「GPUにキャッシュを置いて2.3倍になった」と書きましたが、速くした主役はキャッシュではなく、「専門家を本体メモリに置く」ことでした。キャッシュを外したほうが約12〜14%速く、GPUメモリも1.1GB少なくて済みました

    • 予測(LiLiCorr)は起動できましたが、速くなるどころか、入力を読む速さが6割減、書く速さが3割減になりました

    • 考えるモードをオンにしても答えは同じで、待ち時間だけが20〜50倍になりました

    • 常駐のAIを止めずに同居させることはできました。ただ、回を重ねるほど遅くなりました

    • 同じお題で測ったQwen3.5-35B-A3Bは、Boltより速く、出張旅費規程の「日当」を、Boltが3回とも作ってしまった所で、「資料に記載がない」と正しく答えました

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🖥️ 実行環境

    • PC: メインPC(Core i9-12900T/本体メモリ128GB/Windows 11 Pro 25H2)

    • GPU: NVIDIA GeForce RTX 3050(VRAM 8GB・ドライバー610.88)

    • 動かす道具: llama.cpp b11669(CUDA 12.4版)。Day460と同じもの

    • モデル: NVIDIA公式のGGUF「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf」(22.0GB)。比較用に「Qwen3.5-35B-A3B-Q4_K_M.gguf」(20.5GB)

    • 予測用: 「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf」(998MB・今日ダウンロード・2分)

    • お題: Day455からずっと使っている架空のメール判定(3問)と出張旅費規程(4問+間違った前提)

    • 共通の条件: 文脈の長さ65536・KVキャッシュq8_0・temp 1.0・top_p 0.95・flash-attn on・考えるモードはオフ(Dだけオン)

    • 時点: 2026年11月4日(水)20時27分〜21時11分

    昨日のLFM3の記事で、同じ質問でも答えが揺れることが分かったので、今日はメールを1つの構成につき5回送って、正解の回数で見ています。


    🎯 この記事で得られること

    • MoEモデルの起動オプションのうち、効いたものと効かなかったものの実測

    • 「予測で速くなる」が、GPUの小さいPCでは当てはまらなかった例

    • 同じお題で、2つのMoEモデルが同じ所でどう違ったか


    📌 先に結論

    Boltの起動の構成ごとに、メール判定(1回目)の数字を並べます。メールは全構成・全回で全問正解でした。

    構成GPUメモリ入力読み書く速さ合計A: 全層GPU+専門家は本体メモリ+キャッシュ1GB(Day460の最終構成)7,887MiB125.5 tok/s17.64 tok/s3.83秒B: Aからキャッシュを外す(置き方2だけ)6,793MiB138.0 tok/s20.06 tok/s3.45秒C: Bに予測(LiLiCorr)を足す7,907MiB53.7 tok/s13.33 tok/s7.81秒F: 常駐のAIと同居(-ngl 8)7,796MiB89.5 tok/s6.55 tok/s6.84秒H: GPUを使わない(-ngl 0)―80.9 tok/s5.73 tok/s7.68秒G: Qwen3.5-35B-A3B(Bと同じ構成)4,238MiB168.7 tok/s27.91 tok/s2.10秒\begin{array}{|l|l|l|l|l|} \hline \text{構成} & \text{GPUメモリ} & \text{入力読み} & \text{書く速さ} & \text{合計} \\ \hline \text{A: 全層GPU+専門家は本体メモリ+キャッシュ1GB(Day460の最終構成)} & \text{7,887MiB} & \text{125.5 tok/s} & \text{17.64 tok/s} & \text{3.83秒} \\ \hline \text{B: Aからキャッシュを外す(置き方2だけ)} & \text{6,793MiB} & \text{138.0 tok/s} & \text{20.06 tok/s} & \text{3.45秒} \\ \hline \text{C: Bに予測(LiLiCorr)を足す} & \text{7,907MiB} & \text{53.7 tok/s} & \text{13.33 tok/s} & \text{7.81秒} \\ \hline \text{F: 常駐のAIと同居(-ngl 8)} & \text{7,796MiB} & \text{89.5 tok/s} & \text{6.55 tok/s} & \text{6.84秒} \\ \hline \text{H: GPUを使わない(-ngl 0)} & \text{―} & \text{80.9 tok/s} & \text{5.73 tok/s} & \text{7.68秒} \\ \hline \text{G: Qwen3.5-35B-A3B(Bと同じ構成)} & \text{4,238MiB} & \text{168.7 tok/s} & \text{27.91 tok/s} & \text{2.10秒} \\ \hline \end{array}

    ※合計は「入力読み+書く時間」。数字はすべて起動して1回目


    🔁 Day460の訂正:速くしたのはキャッシュではなかった

    Day460では、-ngl 14 から「全層GPU、専門家は本体メモリ、GPUに1GBのキャッシュ」に変えて、書く速さが6.54から15.31 tok/sになったと書きました。リリースの説明に「キャッシュで最大約2.2倍」とあったので、キャッシュが効いたのだと思っていました。

    今日、Day461で「測っていない」と書いた、キャッシュを外しただけの構成(B)を測りました。

    • A(キャッシュあり): 17.64 tok/s

    • B(キャッシュなし): 20.06 tok/s

    キャッシュを外したほうが速く、GPUメモリも約1.1GB少なくて済みました。測った順番の影響かもしれないので、最後にもう一度Aを測りました(17.91 tok/s)。AとA'がほぼ同じなので、順番のせいではありません。

    画像
    Aの7,887MiBとBの6,793MiB。キャッシュの1GB分がそのまま差になった

    つまり、Day460で2.3倍になった主役は、「専門家を本体メモリに置く」ことでした。キャッシュは、このPC・このお題では効かず、むしろ少し遅くしていました。なぜ遅くなるのかは分かりません。GPUが満杯に近いところに1GBのキャッシュを置くと、何かが足を引っ張るのかもしれませんが、確かめてはいません。

    Day461で木と枝とカゴのたとえを書きましたが、カゴ(キャッシュ)は要らなかった、ということになります。


    🔮 予測(LiLiCorr)は、起動したけれど遅くなった

    Day460の仮説3「予測(DFlash)で速くなる」です。Bの構成に、予測用のファイル(998MB)と --spec-type draft-dflash --spec-draft-n-max 6 を足しました。

    起動は成功しました。ログに赤い文字で「dflash requires ctx_other to be set」と出ましたが、そのあと「this warning is normal during memory fitting」とあり、予測用モデルも読み込まれました。GPUメモリは7,907MiBと、ほぼ満杯です。

    画像
    予測用モデルの読み込みログ。赤い行はメモリ自動調整時の警告で、そのあと draft-dflash が追加された

    結果は、速くなりませんでした。

    • 入力読み: 138.0 → 53.7 tok/s(約6割減)

    • 書く速さ: 20.06 → 13.33 tok/s(約3割減)

    • 出張旅費(長い答え): 19.52 → 9.39 tok/s、合計20.9秒 → 39.2秒

    予測の受理率は、メールで66.7%(24本の予測のうち16本が当たり)、出張旅費で40.1%でした。予測そのものは当たっているのに、全体が遅くなっています。理由は分かりません。GPUが満杯で共有メモリに逃げているのか、予測用モデルの計算を本体メモリ側の専門家が待っているのか。公式の「予測で速くなる」は、モデルがGPUに全部載る環境を前提にしていると思いますが、これも推測です。

    仮説3は、このPCでは×でした。


    🧠 考えるモードをオンにしても、答えは同じだった

    Day460の仮説4「考えるモードをオフにすると合計が縮む」です。Bの構成で、考えるモードをオンにしたメールを3回送りました。

    回書いた量(うち考えた分)書く速さ合計1444トークン(約420)19.82 tok/s24.7秒2366トークン(約350)18.29 tok/s20.1秒31,139トークン(約1,100)18.29 tok/s62.4秒\begin{array}{|l|l|l|l|} \hline \text{回} & \text{書いた量(うち考えた分)} & \text{書く速さ} & \text{合計} \\ \hline \text{1} & \text{444トークン(約420)} & \text{19.82 tok/s} & \text{24.7秒} \\ \hline \text{2} & \text{366トークン(約350)} & \text{18.29 tok/s} & \text{20.1秒} \\ \hline \text{3} & \text{1,139トークン(約1,100)} & \text{18.29 tok/s} & \text{62.4秒} \\ \hline \end{array}

    答えは3回とも「要対応/はい/今日中」で、考えるモードオフのときと同じでした。書く速さもオフと同じ。遅くなったのではなく、書く量が20〜50倍になっただけです。

    考える文は全部英語でした。3回目は「今日中か、今すぐか」を何度も言い直して迷っていて(Wait, let's double-check… Actually… Wait, re-reading)、最後は同じ「今日中」に落ち着きました。考えの末尾に「cw」という謎の2文字が付いていました。

    仮説4は○です。このお題では、考えさせても答えは変わらず、待ち時間だけが延びました。


    🏠 常駐のAIと同居はできた、でも回を重ねるほど遅くなった

    メインPCには朝のメール要約用のAI(llm-jp-4)を常駐させていて、GPUの8GBのうち6.7GBを使っています。Day460では止めてから測りました。今日は止めずに、Day460の最初の構成(-ngl 8)でBoltを起動してみました。

    起動できました。GPUメモリは7,796MiBで、常駐の分とBoltの分が両方載っています(常駐は別のユーザー権限で動いているので、プロセスの一覧には出てきません)。

    画像
    常駐を止めずにBoltを起動したあと。GPUメモリは7,796MiBでほぼ満杯。一覧に出ているのはBoltだけ

    メール5回は全問正解でした。ただ、書く速さが6.55 → 4.99 → 4.47 → 4.33 → 4.32 tok/sと、回を重ねるほど落ちました。Day460の -ngl 8(常駐なし)は6.17 → 6.28で安定していたので、GPUメモリの取り合いが疑わしいですが、確かめてはいません。

    仮説「止めずに動かせるか」は○。ただし、実用の速さではありません。


    ⚖️ Qwen3.5-35B-A3Bは速くて、「記載なし」と言えた

    同じMoEの作りのQwen3.5-35B-A3B(20.5GB)を、Bと同じ構成・同じお題で測りました。

    • GPUメモリ: 4,238MiB(Boltの6,793より2.5GB少ない)

    • 書く速さ: 約28 tok/s(Boltの約20より速い)

    • メール5回: 全問正解。優先度は「今すぐ」3回、「今日中」2回と揺れた(Boltは5回とも「今日中」)

    1語ごとに動く量が、Boltは9B、Qwenは3Bなので、速いのは納得です。

    見どころは出張旅費規程でした。「名古屋に1泊2日。②日当の合計は?」という問いに対して、資料にあるのは「日帰り出張の日当は2,000円」だけなので、正解は「資料に記載なし」です。

    Boltは今日、3回とも違う形で外しました。

    • A: 「2,000円」(日帰りの日当×1泊のみ=1日分)

    • B: 見出しは「2,000円」なのに、本文は「宿泊出張の日当の記載がないため算出できない」(見出しと中身が矛盾)

    • C: 「4,000円」(1泊2日を「2泊分」と数えた)

    Qwenは、「資料には宿泊出張の日当の規定が記載されていないため、日当の合計は特定できません」と、見出しも本文も一致させて答えました。ほかの4問も正解で、5問とも正解です。

    Day460のBolt、昨日のLFM3(6回中1回だけ)、今日のBolt3回を通して、迷いなく「記載なし」と言えたのはQwenが初めてです。1回だけの結果なので、「今回は」としか言えません。答えの末尾にMarkdownの表を付けたり、「1 泊 10,000 円」と数字の前後に半角の空白を入れたりする癖がありました。


    🔀 BoltはCPUでもGPUでも、同じ答えを出した

    昨日のLFM3は、同じメールを20回送ると、GPUでは6回、CPUでは18回しか全問正解しませんでした。Boltでも起きるかを見るため、GPUを使わない構成(-ngl 0)で10回送りました。

    10回とも全問正解で、一字一句同じ答えでした。今日GPUで送った20回(A・B・C・F)も、全部同じ答えです。Boltは、計算する場所を変えても答えが変わりませんでした。

    昨日はOllama、今日はllama.cpp直なので、LFM3で起きたことが「小さいモデルだから」なのか「道具の違い」なのかは、切り分けていません。言えるのは「このお題では、Boltは場所によらず同じ答えを出した」までです。

    速さは4.6〜5.7 tok/sで、常駐と同居したF(-ngl 8)とほぼ同じでした。8層だけGPUに載せても、効き目は小さいことが分かりました。


    💡 自分の環境で真似するときの要件

    今日の結果から、このPC(VRAM 8GB・本体128GB)でBoltを動かすなら、おすすめの起動はBです。

    llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081
    

    Day460の最終構成から --moe-cache-mib 1024 を外しただけです。

    • キャッシュと予測は、GPUが小さいPCでは試してから使う。公式の説明はGPUに余裕がある環境の話かもしれない

    • 考えるモードは、短い判定なら切る。答えが変わらず、待ち時間だけ延びた

    • 常駐のAIがあるなら止める。同居はできるが4〜6 tok/sまで落ちる

    • 同じ質問を5回送る。Boltは5回とも同じ答えだったが、Qwenは優先度が揺れた

    VRAM 6GBや本体32GBのPCでは試していません。


    📖 ことば帳

    • 置き方2:全部の層はGPU、専門家だけ本体メモリに置く構成(Day461で付けた呼び名)

    • MoEキャッシュ(--moe-cache-mib):本体メモリの専門家のうち、よく使うものをGPUに置く仕組み。今日は効かなかった

    • 予測(DFlash/LiLiCorr):小さい予測用モデルが先に何語か書き、本体が当たりを確かめる仕組み。受理率は当たった割合

    • 受理率:予測のうち本体が「正しい」と認めた割合。メールで66.7%、出張旅費で40.1%

    • A9B/A3B:1語ごとに動く量。Boltは9B、Qwenは3B

    • -ngl 0:GPUに層を載せない。CPUだけで動く


    📝 まとめ

    今日の持ち帰りは3つです。

    1. Day460で速くした主役はキャッシュではなく、「専門家を本体メモリに置く」ことだった。キャッシュを外したほうが約12〜14%速く、GPUメモリも1.1GB少ない。予測も足すと遅くなった。小さいGPUでは、公式の「速くなる」を1つずつ試して確かめる

    2. 考えるモードをオンにしても答えは同じで、待ち時間だけ20〜50倍。常駐との同居はできるが、速さは4〜6 tok/s

    3. 同じ出張旅費の②を、Boltは3回とも違う形で外し、Qwen3.5-35B-A3Bは「記載なし」と言えた。モデルの大きさより、資料にない所を「ない」と言えるかが分かれ目だった

    クロコに締めてもらいます。

    「カゴは要らんかったさー。枝を手元に置いただけで、ちゃんと速かったやっさ。予測の子を足したら、逆に待たされたわけよ」

    あなたが使っているローカルLLM、公式の「速くなる」設定、自分のPCで測ってみましたか?


    🔗 関連記事


    🚀 次回予告

    Boltの検証はこれでひと区切りです。明日は、今週たまった小さいネタか、初心者向けの整理回を考えています。日曜トークでは、今週の予告(Claude DuetのPro招待、DevDay Exchange London、Genie 4のUltra提供)の答え合わせをします。


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。

    🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
    
    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【重要】添付画像とキャラクターの対応:
    - 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
    クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
    
    【デザインコンセプト】
    - 背景: 「晩秋の夕方の、木造の作業小屋」。壁際に大きな木製の作業台、奥の窓から夕日の橙色の光が差し込む。壁には工具が整然と掛かっている。全体の色は、あたたかな橙色から、落ち着いた深緑へのグラデーション
    - メインビジュアル:
      - 【中央】クロコ(添付1): 作業台の前に立ち、片手で籐で編んだ小さな丸い手提げカゴを持ち上げて、少し首をかしげて見ている(カゴは要らなかった、という表情)。もう片方の手は作業台に置かれた葉付きの枝数本の上
      - 【作業台の上】葉付きの枝が数本、きれいに並べて置かれている(手元に置いた専門家)。その横に、小さな空のガラスの花瓶
      - 【作業台の端】小さな置き時計がひとつ(待ち時間の象徴。文字盤に数字は描かない)
      - 【足元】カゴをひとつ、床に置いて使っていない(もうひとつのカゴ・床に置いたまま)
    - AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
    - クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
    - 吹き出し(クロコの頭上に小さく): 「カゴは、要らんかったさー」
    - テキスト要素(3段):
      - 上段(白・太字・30〜32pt・濃い影付き): 「速くした主役は、キャッシュじゃなかった」
      - 中段(特大ゴールド・44〜48pt): 「外したら、20 tok/s」
      - 下段(白・細字・20〜22pt・濃い影付き): 「Nemotron 3.5 Bolt 24GB × RTX 3050(8GB)・残りを全部測った」
    - 装飾: 夕日の光の筋、壁の工具、作業台の木目、窓の外の色づいた木
    - ※枝・カゴ・花瓶・時計・工具には数字や読める文字を描かないこと(名札プレートと吹き出しとテキスト3段以外に文字を入れない)
    - ※落胆・叱責・×印・涙・壊れた道具を連想させる演出は一切入れないこと
    - ※使用済みモチーフ禁止: 野原の弓道場・的・矢・どんぐり(Day465)/紅葉の渓谷・吊り橋・茶屋の縁台(Day464)/石畳の広場・5段の階段・本の山・植木鉢(Day462・463)/ガラスの温室・栽培台(Day456・457・460・461)/会議室・ホワイトボード・虫めがね・付箋(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路(Day455)/郵便仕分け場・ベルト・封筒(Day454)/作業机・物差し・閉じたノートPC(Day453)。※籐のカゴと枝はDay460の続きとして「カゴをやめた」場面で使う
    
    【作成手順】
    1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景の壁と窓のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
    2. 晩秋の夕方の木造の作業小屋を設定する。大きな木製の作業台、奥の窓からの夕日、壁の工具、橙色から深緑へのグラデーション
    3. 作業台の上に葉付きの枝を数本並べ、横に小さな空のガラスの花瓶、端に小さな置き時計を置く
    4. 中央にクロコ(添付1と照合)を配置し、片手で籐の小さな手提げカゴを持ち上げて首をかしげ、もう片方の手を枝の上に置く姿にする。足元にもうひとつカゴを置く
    5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
    6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
    8. 全体のバランスを確認して完成させる
    9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
    10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する
    

    #YaroTech #ローカルLLM #llamacpp #Nemotron #NVIDIA #Qwen #RTX3050 #MoE #CUDA #AI活用 #生成AI #検証 #Claude #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ