メインコンテンツへスキップ
見出し画像

Nemotron 3.5 Bolt 24GBをRTX 3050(8GB)で動かしたら、起動オプションだけで6.2→17.4 tok/sになった ― 専門家を本体メモリに置いてGPUにキャッシュする話

    こんにちは!YaroTechです。

    昨日(10月27日)は研修のあと東京から沖縄へ移動で、飛行機が30分遅れ、ホテル着は23時ごろ。記事は出せませんでした。今日は沖縄のホテルからメインPCにリモートで入り、前回予告した実測をやりました。

    結論を先に書きます。

    • GPUのメモリ8GBのメインPCでも、22GBのNemotron 3.5 Boltは起動して、メールの3問に全問正解した

    • GPUに載せる層を増やしても(`-ngl` 8→14)、書く速さは 6.17→6.54 tok/s。約6%しか伸びなかった

    • 「全部の層はGPU、専門家だけ本体メモリ、GPUに1GBのキャッシュ」に変えたら 15.31 tok/s。もう1つ足して 17.41 tok/s。合計は 10.1秒→3.7秒

    モデルもGPUもお題も同じ。変えたのは起動オプションだけです。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🖥️ 実行環境

    • PC: メインPC(Core i9-12900T/本体メモリ128GB/Windows 11 Pro 25H2)

    • GPU: NVIDIA GeForce RTX 3050(VRAM 8GB・ドライバー610.88)

    • 動かす道具: llama.cpp b11669(表示は 0.7.0-dev・CUDA 12.4版)

    • モデル: NVIDIA公式のGGUF「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf」(IQ2_XXS・22.0GB)

    • 共通の条件: 文脈の長さ65536・KVキャッシュq8_0・temp 1.0・top_p 0.95・flash-attn on・考えるモードはオフ

    • 時点: 2026年10月28日(水)22時すぎ

    Boltの公式レシピは、GPUのメモリ28〜32GB・Ada/Blackwell世代が前提です。RTX 3050はAmpere世代の8GBで、どちらも想定の外です。

    関連記事: Nemotron 3.5 Bolt 24GBをメインPCで動かす途中経過 ― 常駐AIを止めたらGPUのメモリは7,796→1,098MiB、22GBのダウンロードは道具1つで219kB/s→14.0MB/s【検証中】が、今日の前編です。


    🎯 この記事で得られること

    • 公式の想定外のGPU(8GB)で、74BのMoEモデルを動かした実測

    • `-ngl` を上げるより効いた、MoEモデル向けの起動オプション

    • 同じ質問の2回目が速く見える理由


    📌 先に結論

    お題はDay455と同じ、架空の「【至急】見積書の金額に誤りがあります」というメール(入力339トークン・答え21トークン)。4つの構成すべてで全問正解(要対応/はい/今日中)でした。数字は、どれも起動して1回目です。

    構成入力読み(339トークン)書く速さ合計① -ngl 86,889ms(49.2 tok/s)6.17 tok/s10.1秒② -ngl 146,418ms(52.8 tok/s)6.54 tok/s9.5秒③ 全層GPU+専門家は本体メモリ+MoEキャッシュ1GB5,037ms(67.3 tok/s)15.31 tok/s6.3秒④ ③+–load-mode none2,569ms(131.9 tok/s)17.41 tok/s3.7秒\begin{array}{|l|l|l|l|} \hline \text{構成} & \text{入力読み(339トークン)} & \text{書く速さ} & \text{合計} \\ \hline \text{① -ngl 8} & \text{6,889ms(49.2 tok/s)} & \text{6.17 tok/s} & \text{10.1秒} \\ \hline \text{② -ngl 14} & \text{6,418ms(52.8 tok/s)} & \text{6.54 tok/s} & \text{9.5秒} \\ \hline \text{③ 全層GPU+専門家は本体メモリ+MoEキャッシュ1GB} & \text{5,037ms(67.3 tok/s)} & \text{15.31 tok/s} & \text{6.3秒} \\ \hline \text{④ ③+--load-mode none} & \text{2,569ms(131.9 tok/s)} & \text{17.41 tok/s} & \text{3.7秒} \\ \hline \end{array}

    ※合計は「入力読み+書く時間」(サーバーのログの数字・通信の時間は含まない)

    ①→④で、書く速さは約2.8倍、合計は約2.7倍です。

    準備編の仮説5つは、こうなりました。

    1. 最新のllama.cppなら、対応外のGPUでも起動して答える → ○

    2. 載りきらない分を本体メモリに置けば読み込める → ○(「層ごと」より「専門家ごと」が速かった)

    3. 予測(DFlash)で速くなる → 未

    4. 考えるモードをオフにすると合計が縮む → 未(オンを測っていない)

    5. 日本語で同規模のモデルと同じくらい答える → △(メール全問正解・旅費規程4○1×。比較は次回)


    🧹 起動まで:常駐を止めて、7.8秒で読み込んだ

    朝のメール要約用に常駐させているllm-jp-4を、管理者のPowerShellで `Stop-Service -Name llama-server` して止めました。GPUのメモリは 7,574MiB → 914MiB です。

    画像
    常駐のllm-jp-4を止めると、GPUのメモリは7,574MiBから914MiBに下がった

    前回落としたllama.cppのzip 2つを展開して、まずは控えめに `-ngl 8` で起動。

    • 読み込み 約7.8秒/GPUのメモリ 4,953MiB(約4.0GB載った)/本体メモリ(使用中)25.4GB

    22GBにしては速い読み込みです。10月25日のダウンロード以降、ファイルがWindowsのキャッシュに残っていたからだと思います(確かめてはいません)。このビルドのログには「何層GPUに載ったか」の行が出ないので、載った量は `nvidia-smi` の差で見ています。

    メールの答えは全問正解。書く速さ 6.17 tok/s、合計 10.1秒。まずは動きました。


    🔼 -nglを8から14に上げても、6%しか伸びなかった

    GPUにまだ空きがあったので `-ngl 14` で起動し直しました。GPUのメモリは 6,487MiB(約1.5GB増)、読み込み約4.9秒。

    書く速さは 6.17 → 6.54 tok/s(約+6%)、合計は10.1秒 → 9.5秒。GPUのメモリを1.5GB多く使って、伸びはこれだけです。残りの層は本体メモリとCPUのままなので、遅い所が変わらなかったのだと見ています。


    ⚡ 専門家を本体メモリに置いたら、2.3倍になった

    ここが今日の本題です。

    Boltは「MoE」という作りのモデルです。「74B-A9B」は、全体は74Bでも、1語書くたびに動くのは9B分だけ、という意味。中にたくさんの「専門家(experts)」がいて、1語ごとにその一部だけが動きます。

    途中経過の回で見つけたv0.7.0の新しい設定 `--moe-cache-mib` は、リリースの説明で「専門家をGPUの外に置いているとき、書く速さが最大約2.2倍」とされています。

    1回目は、効かなかった

    `-ngl 14` のまま `--moe-cache-mib 1024` を足すと、起動ログにこう出ました。

    「no layer has all of its experts in host memory, MoE cache is disabled」

    「専門家を全部本体メモリに置いている層がないので、MoEキャッシュは使いません」という意味です。GPUのメモリも6,487MiBのまま。メールは送らずに止めました。

    画像
    -ngl 14に --moe-cache-mib を足しただけでは「MoE cache is disabled」と出て、キャッシュは動かなかった

    ログから読むと、このキャッシュは「層の本体はGPU、専門家だけ本体メモリ」という置き方が前提のようです。

    2回目:全層GPU、専門家は本体メモリ、GPUに1GBのキャッシュ

    • `-ngl 99`:全部の層をGPUに置く

    • `--n-cpu-moe 99`:ただし全部の層の専門家は本体メモリに置く

    • `--moe-cache-mib 1024`:GPUに1GBの置き場を作り、よく使う専門家を手元に置く

    温室にたとえると、大きな木を丸ごと運ぶのをやめて、木は奥に置いたまま、よく使う枝だけカゴで手元に持ってくる感じです。

    今度は警告が消えました。読み込み約4.3秒、GPUのメモリ 7,815MiB / 8,192MiB(残り約370MB)、本体メモリは起動直後22.8GB → 答えたあと34.5GB。

    書く速さは 15.31 tok/s。-ngl 14から 約2.3倍 で、リリースの説明の「最大約2.2倍」とほぼ同じ効き方でした。合計は 6.3秒 です。


    📥 --load-mode noneで、入力読みが2倍になった

    ③で起動したとき、ログにもう1つ警告が出ていました。

    「tensor overrides to CPU are used with mmap enabled - consider using --load-mode none for better performance」

    mmap(ファイルを必要な所だけ読む方式)をやめると速くなるかも、という意味です。言われたとおり足しました。

    • 読み込み: 約4.3秒 → 約8.2秒(22GBを実際に本体メモリへ読み込むため)

    • GPUのメモリ 7,759MiB/本体メモリ 34.2GB/タスクマネージャーの共有GPUメモリ 17/102GB

    画像
    --load-mode none で起動したあと。専用GPUメモリ7.7/8.0GB、共有GPUメモリは17GB使われていた

    結果は、入力読み 67.3 → 131.9 tok/s(約2倍)、書く速さ 15.31 → 17.41 tok/s、合計 6.3秒 → 3.7秒。

    画像
    --load-mode none を足した構成の1回目。入力読み131.9 tok/s、書く速さ17.41 tok/s

    起動が4秒ほど遅くなる代わりに、答えるたびに速くなります。常駐させるなら、こちらが向いています。


    🔁 2回目が速いのは、速くなったからではない

    同じメールをもう一度送ると、合計がぐっと短くなりました。①は10.1秒 → 3.8秒、④は3.7秒 → 1.5秒。

    でも、速くなったのではありません。2回目は入力339トークンのうち335トークンを「前に読んだもの」として使い回していました(プロンプトキャッシュ)。読み直したのは4トークンだけなので、入力読みが335〜663ミリ秒で終わっています。

    書く速さは、①が6.17 → 6.28 tok/s、④が17.41 → 17.37 tok/s。ほぼ同じです。

    速さを比べるときは、1回目同士で比べないと、オプションの効果かキャッシュの効果か分からなくなります。上の表は、すべて1回目の数字です。


    🧾 出張旅費規程は4○1×、1問だけ推測で埋めた

    もう1つのお題は、過去回でも使った架空の出張旅費規程(抜粋)です。「名古屋に1泊2日。①宿泊費の上限 ②日当の合計 ③グリーン車は使えるか ④タクシー代の上限」を聞き、わざと「申請期限は14日以内ですよね?」と間違った前提を混ぜています。③の構成・考えるモードはオフで、合計 17.6秒(答え239トークン・16.43 tok/s)でした。

    • ① 1泊10,000円 → ○(「名古屋は東京23区・大阪市に当たらない」と理由も正しい)

    • ② 日当 → ×(「宿泊日数×2,000円=4,000円」。正解は「資料に記載なし」)

    • ③ グリーン車 → ○(役員に限る)

    • ④ タクシー代 → ○(「規程に記載がありません」)

    • 前提「14日以内」 → ○(「いいえ、7日以内です」と訂正)

    資料にあるのは「日帰り出張の日当は2,000円」だけ。Boltはその書き方を借りて、宿泊出張の日当を作ってしまいました。答えは太字と理由付きでとても読みやすいので、②だけが推測だとは、ぱっと見では分かりません。

    しかも④では「記載がありません」と言えています。書いていないと言える時と、近い情報で埋めてしまう時がある。

    Day459で、手書きメモの文字起こしについて「正確に読ませるより、読めない所を隠させない」と書きました。今日の②は、その逆が起きた形です。今回の質問に「資料にないことは『記載なし』と答えて」とは入れていません。入れたら変わるのかは、まだ試していません。

    同じお題で、Day452のSarashinaは即答で4○1△でした。1回ずつの結果なので、どちらが上とまでは言えません。


    💡 自分の環境で真似するときの要件

    今回動いた条件です。ここにない条件(VRAM 6GB、本体32GBのPCなど)は試していません。

    • 本体メモリ:空きが35GB以上(目安)。使用中は最大34.5GBまで上がりました(Windowsなどの分を含む)

    • VRAM:8GB。最終の構成で7,759〜7,815MiB使用。常駐のAIがあれば先に止める

    • llama.cpp:v0.7.0以降(`--moe-cache-mib` はv0.7.0で入った設定。今回はb11669で確認)

    • CUDA版。今回は12.4版(`nvidia-smi` の「CUDA UMD Version」13.3以下を選んだ)

    最終の起動コマンドです。ファイルの場所は自分の環境に合わせてください。

    llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --moe-cache-mib 1024 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081

    文脈の長さやキャッシュの大きさを変えたらどうなるかは、測っていません。`-ngl 99` で「自動調整しない」という警告が出ますが、そのまま動きました。測り終わったら `Start-Service -Name llama-server` で常駐を戻しています。


    📖 ことば帳

    • MoE:たくさんの「専門家」を持ち、1語ごとに一部だけを動かす作りのモデル

    • 74B-A9B:全体が74B、1語ごとに動く(Active)のが9B分

    • 専門家(experts):MoEの中の、選ばれたときだけ動く部品。モデルの大部分を占める

    • -ngl:GPUに載せる層の数。層は丸ごとGPUか、丸ごと本体メモリか

    • --n-cpu-moe:指定した数の層について、専門家だけを本体メモリに置く設定

    • --moe-cache-mib:本体メモリの専門家のうち、よく使うものをGPUに置くキャッシュの大きさ

    • mmap/--load-mode none:ファイルを必要な所だけ読む方式/起動時に全部読み込む指定。今回は後者のほうが答えるのが速かった

    • プロンプトキャッシュ:前に読んだ入力を読み直さない仕組み。2回目が速く見える理由


    📝 まとめ

    今日の持ち帰りは3つです。

    1. VRAM 8GB・公式の想定外のPCでも、22GBのNemotron 3.5 Boltは起動して、メールに全問正解した

    2. MoEモデルは、層を増やすより「全層GPU+専門家は本体メモリ+GPUにキャッシュ」。6.17 → 17.41 tok/s、合計10.1秒 → 3.7秒。変えたのは起動オプションだけ

    3. 2回目が速いのはプロンプトキャッシュのせい。そして、読みやすい答えの中に、推測で埋めた1問がまぎれていた

    クロコに締めてもらいます。

    「層を六つ足しても、ほとんど変わらんかったさー。木ごと運ぶのやめて、枝だけカゴで手元に置いたら、六が十七になったやっさ」

    あなたのGPU、層を増やす以外の置き方を試したことはありますか?


    🔗 関連記事


    🚀 次回予告

    その前に、今日の話を初心者向けに整理する回を入れます。GPUに載らない大きさのAIを家のPCで動かす「3つの置き方」を、木と枝とカゴのたとえで、専門用語を減らして書きます。

    そのあと、今日測れなかった4つを続けて測ります。

    • 予測(LiLiCorr)あり:予測用のファイル(約1GB)はまだ落としていません。GPUの残りが約370MBなので、載るかどうかが最初の関門です

    • 考えるモードオン:合計がどれだけ延びるか

    • 常駐のllm-jp-4と同居:止めずに動かせるか

    • Qwen3.5-35B-A3Bとの比較:同じお題で、同じMoEのモデルと比べる


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。

    🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
    
    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【重要】添付画像とキャラクターの対応:
    - 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
    クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
    
    【デザインコンセプト】
    - 背景: 「秋の朝のガラスの温室」。高いガラス屋根から、斜めに差し込む澄んだ朝の光。奥まで長い木の栽培台が何列も続いている。全体の色は、淡い朝焼けの桃色から、明るい若葉色へのグラデーション
    - メインビジュアル:
      - 【右奥】大きな木が1本、温室のいちばん奥の広い栽培台にどっしりと据えられている(もう運ばない。根元は土に収まっている)。枝は多く、枝ごとに葉の形や色が少しずつ違う
      - 【中央やや左】クロコ(添付1): 片腕に、籐で編んだ小さな丸い手提げカゴを提げている。カゴには、葉の付いた枝が数本だけ入っている。奥の大きな木のほうを軽く振り返りながら、手前へ軽い足取りで歩いてくる。表情は落ち着いていて、少し得意げ
      - 【手前中央】低い石の台の上に、小さなガラスの花瓶がひとつ。カゴから移した枝が2〜3本挿してあり、朝の光を受けてきらめいている(手元に置いた枝=すぐ使える)
    - AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
    - クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
    - 吹き出し(クロコの頭上に小さく): 「枝だけ、手元に置くさー」
    - テキスト要素(3段):
      - 上段(白・太字・30〜32pt・濃い影付き): 「同じGPU、起動オプションだけ」
      - 中段(特大ゴールド・44〜48pt): 「6.2 → 17.4 tok/s」
      - 下段(白・細字・20〜22pt・濃い影付き): 「Nemotron 3.5 Bolt 24GB × RTX 3050(8GB)」
    - 装飾: ガラス屋根の細い桟の影、朝の光の筋、栽培台の上の若い苗、通路にこぼれた数枚の葉
    - ※木・カゴ・花瓶・石の台・栽培台には数字や読める文字を描かないこと
    - ※手押し車・荷車・木箱は描かないこと(木はもう運ばない)
    - ※落胆・叱責・×印・涙・倒れた木・折れた枝・時計を連想させる演出は一切入れないこと
    - ※使用済みモチーフ禁止: 会議室・ホワイトボード・虫めがね・付箋(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路・列車・案内板(Day455)/郵便仕分け場・ベルト・封筒(Day454)/作業机・物差し・閉じたノートPC(Day453)。※温室はDay456(昼)・Day457(夜)の続きの場面として、時間帯を「朝」に変えて描く
    
    【作成手順】
    1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のガラス屋根と栽培台の列のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
    2. 秋の朝のガラスの温室を設定する。斜めに差し込む朝の光、奥まで続く木の栽培台、淡い桃色から若葉色へのグラデーション
    3. 右奥のいちばん奥の栽培台に、枝の多い大きな木をどっしりと据える
    4. 中央やや左にクロコ(添付1と照合)を配置し、葉の付いた枝が数本入った籐の丸い手提げカゴを片腕に提げ、木を振り返りながら手前へ歩いてくる姿にする。手前中央の低い石の台に、枝を挿した小さなガラスの花瓶を置く
    5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
    6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
    8. 全体のバランスを確認して完成させる
    9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
    10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する

    #YaroTech #ローカルLLM #llamacpp #Nemotron #NVIDIA #RTX3050 #MoE #CUDA #AI活用 #生成AI #検証 #Claude #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ