
74BのNemotron 3.5 Boltは「128GBなら余裕」なのか ― 公式はGPU 32GB以上が前提、RTX 3050(8GB)のメインPCで動かす準備編
こんにちは!YaroTechです。
昨日の記事の最後に「次は、メインPC(128GB)でNemotron 3.5 Bolt 24GBを動かします」と書きました。予告どおり、今日からBoltに着手します。
ただし、今日は動かしません。準備の回です。実測は次回です。
理由は、公式のモデルカードを読んだら、日曜の記事でクロコが言った「128GBのデスクトップなら余裕さ」が、そのまま当てはまるとは言えなかったからです。「24GBに収まる」の24GBは、どこのメモリの話なのか。そこを整理してから動かします。
専門用語が多めの回なので、途中で短く説明し、最後に「ことば帳」としてまとめています。
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
PC: メインPC(デスクトップ・Core i9-12900T/本体メモリ128GB/Windows 11 Pro 25H2)
GPU: NVIDIA GeForce RTX 3050(GPUのメモリ=VRAMは8GB)
動かす道具: llama.cpp(今メインPCにあるのはビルド8683・8955・10456(Vulkan版)・10709(CUDA版)の4つ。どれも古いので、実測の回は更新から始めます)
動かすモデル: NVIDIA公式のGGUF「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf」(22GB)
時点: 2026年10月23日。llama.cppとモデルは更新が速いので、実測の回ではビルド番号とモデルファイル名を必ず書きます
今日は実測なし。数字は、これまでの記事と公式のモデルカードに書かれているものだけです。
関連記事: Gemini 4 Argon一般提供・Nemotron 3.5 Bolt 24GB・GPT-Live-1.1 ― 15週待った3.5 Proは来ず、AIに任せた調査は1か所間違えた2026年10月第3週【AI5兄弟の日曜トーク】で、Boltが出た週のニュースを紹介しています。
🎯 この記事で得られること
「24GBに収まる」という言葉の読み方(GPUのメモリか、本体のメモリか)
GPUのメモリが小さいPCで、大きなモデルを動かす前に決めておくこと
文章を書くモデルを測る3つの物差しと、同じお題で時系列に比べる計画
📊 Nemotron 3.5 Boltとは
日曜の記事のおさらいです。10月15日、NVIDIAがNemotron 3.5 Bolt 74B-A9Bを公開しました。全体は74B(740億個の数字)ですが、1文字作るたびに動くのは9B(90億個)だけ。2ビットに縮めて、24GBに収まるように設計されています。llama.cpp・Ollama・LM Studioで動きます。
公式のモデルカードを読んで、日曜の記事に書いていなかったことを拾いました。
ファイル: 本体が22GB、画像を読むための部品(mmproj)が1.73GB。別のリポジトリに、予測用の小さなモデル(LiLiCorr)があります
縮め方: 専門家(エキスパート)の部分をIQ2_XXS(1要素あたり2.0625ビット)。公式のモデルカードでは、縮めることを前提に学習した形式で、あとから縮めたものではないと書かれています
中身: Mamba-2とTransformerを混ぜたMoE(専門家の混合)に、画像を読む部品が付いています。親は120BのNemotron 3.5 Super VLです
文脈の長さ: 最大262,144トークン
入力と出力: 入力はテキスト・画像・動画(2分まで)、出力はテキスト
言語: 英語とプログラミング言語が主。スペイン語・フランス語・ドイツ語・イタリア語・日本語にも対応
考えるモード: enable_thinking でオン/オフを切り替えます。考えた分と答えは、同じ上限(max_tokens)を分け合います
推奨設定: temperature 1.0、top_p 0.95
ライセンス: OpenMDW-1.1。モデルカードには、商用・非商用どちらも可とあります
言語の欄は、昨日までの決定モデルと違うところです。Kev-4Bは公式の対応言語が「英語」でした。Boltは日本語が対応言語に入っているので、日本語のお題を投げるのは公式の範囲の中です。
第三者(Unsloth)による別の大きさもありますが、今回はNVIDIA公式のGGUFに固定します。
日曜の記事でクロコが「10月23日の予定さー」と言っていた4GBの小さいほう(E4B)は、予定日の今日、Hugging FaceのNVIDIAのページを見ましたが、23時20分時点では見当たりませんでした。
🧭 「24GBに収まる」は、どこのメモリに?
ここが今日の芯です。
日曜の記事で、クロコはこう言いました。「32GBのノートなら、Boltの24GBはぎりぎり」「128GBのデスクトップなら余裕さ」。本体のメモリの大きさで線を引いた判定です。
ところが、公式のモデルカードの「想定しているハード」を読むと、こう書かれていました。
llama.cppで、RTX搭載のDGX Spark(64GB/128GB)か、RTXのGPU単体(32GB以上/48GB以上)
起動のレシピは2つ
32GBレシピ:Spark 128GBか、GPUのメモリ48GB以上。文脈262,144トークン
28GBレシピ:Spark 64GBか、GPUのメモリ32GB以上。文脈65,536トークン、KVキャッシュをq8_0に縮める
対応しているGPUの世代は、Ada LovelaceとBlackwell
つまり「24GB」はモデル本体の大きさで、動かすときの公式レシピは、GPUのメモリに28GBか32GBを確保する前提です。
公式の28GBレシピの起動コマンド(Windows)は、ファイル名を省くとこうなっています。
llama-server.exe --model (本体) --mmproj (画像用) --ctx-size 65536 -ngl 999 --spec-type draft-dflash --spec-draft-n-max 6 --spec-draft-model (LiLiCorr) --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja注目は -ngl 999 です。モデルの層を「全部GPUに載せる」という指定です。
では、メインPCはどうか。
本体のメモリは128GB。ここは公式のSpark 128GBと同じ数字です
でもGPUはRTX 3050で、GPUのメモリは8GB。公式が想定する32GB以上には届きません
RTX 3050はAmpereという世代で、公式の対応世代(Ada Lovelace/Blackwell)の外です
本体のファイルが22GBに対して、GPUのメモリは8GB。-ngl 999 で全部をGPUに載せることはできません。大半は本体のメモリに置いて、CPUで計算することになります。
「128GBなら余裕」は、置く場所としては本当です。22GBのファイルは、本体のメモリには楽に入ります。ただ、公式が想定しているのは「GPUのメモリに置いて、GPUで計算する」動かし方です。手元は、その想定の外側。だから、速さがどうなるかは、動かすまで分かりません。
ちなみに、X1(32GB)のほうはどうか。昨日の記事で、X1はモデルを読み込む前の時点で15.3GBを使っていました。搭載の31.49GBから引くと、空きは約16GB。本体の22GBは入りません。X1は、時間があれば試す程度にしておきます。
📐 今度はtok/sで測れる ― 決定モデルとの違い
3日前の設計回では、「決定モデルはtok/sで測れない」と書きました。決定モデルは文章を1文字も書かないので、速度の3つの顔(tok/s=1秒に何文字書けたか、TTFT=最初の1文字が出るまでの時間、合計応答時間)のうち、使えるのは合計応答時間だけでした。
Boltは文章を書くモデルです。だから今回は、3つの顔が全部使えます。しかも、Boltには考えるモードがあります。オンにすると、答える前に考えた分の文字を書くので、tok/sが同じでも合計応答時間は長くなりえます。3つを分けて記録しておかないと、「遅い」の中身が分かりません。
もう1つ、TTFTを外せない理由があります。同じメインPCで、Bonsai 2 27BというモデルをCPUだけで動かしたとき、2,048トークンの入力を読む処理が35分たっても終わりませんでした。GPUにほとんど載らないBoltでは、書く速さだけでなく、読む速さも見ておく必要があります。
🔬 検証の設計 ― 動かす前に決めること
1. 目的
「24GBに収まる74B」が、公式の想定(GPUのメモリ28〜32GB)から外れたメインPC(本体メモリ128GB・GPUのメモリ8GB)で、仕事に使える速さで答えるかを確かめます。
その先に見たいのは、メインPCに常駐させている朝のメール要約用のllm-jp-4の代わりになれるか、です。ただ、今回はそこまでは測りません。
2. 仮説(○×で答えが出る形に)
最新のllama.cppにすれば、公式の対応外のGPUでも、メインPCでBoltが起動して答える
GPUに載りきらない分を本体のメモリに置けば(-ngl で載せる層の数を調整)、読み込みはできる
公式レシピの予測(DFlash・LiLiCorr)を付けると、付けないより書く速さが上がる。CPU中心の環境で効くかどうかは分かりません。そこが見どころです
考えるモードをオフにすると、合計応答時間が大きく縮む
日本語のお題でも、同じくらいの大きさの手元のモデル(Qwen3.5-35B-A3B)と同じくらいの答えを返す
3. 測る物差し
読み込み時間
書く速さ(tok/s・llama-serverのログ)
TTFT(最初の1文字が出るまでの時間)
合計応答時間
メモリの使用量(本体のメモリとGPUのメモリを分けて・タスクマネージャー)
考えた分のトークン数(考えるモードがオンのとき)
期待値は書きません。何を記録するかだけを決めておきます。
4. 固定する条件(一度に変えるのは1つ)
同じメインPC、同じお題、NVIDIA公式のGGUF(IQ2_XXS・22GB)
temperature 1.0・top_p 0.95(公式の推奨)。答えにぶれが出るので、同じお題を2回投げて両方記録します
文脈の長さは最初から指定します。昨日の記事で、初期設定の262,144トークンのままだとメモリを食うと分かったからです。まずは公式28GBレシピの65,536から始め、厳しければ下げます
llama.cppのビルド番号、CUDA版かVulkan版か、GGUFのファイル名を記録します
5. 常駐のllm-jp-4は、まず止めて、次に止めずに
メインPCでは、朝のメール要約用にllm-jp-4を常駐させています(ポート8080)。10月3日の時点で、GPUのメモリを約6.4GB、本体のメモリを約16GB使っていました。
そこで、2段階で試します。
まず常駐を止めて、GPUのメモリ8GBを全部Boltに回す
次に常駐を止めずに、普段の状態で動かす
止めない場合、GPUのメモリはほとんど常駐が使っているので、Boltはほぼ本体のメモリとCPUだけで動くことになります。公式のモデルカードでは「他のアプリと並べて動く」ことを売りにしています。それを手元で確かめるのが2段目です。
🛠️ お題と手順
お題は、過去の回と同じものを2つ
新しいお題は作りません。過去の回と同じお題にすると、時系列で並べられるからです。
「【至急】見積書の金額に誤りがあります」のメール。水曜と昨日の記事で、決定モデルに振り分けさせたものです。同じメール本文・同じ3問(分類/今日中か/優先度)を、今度は文章で答えさせます。質問文と選択肢は、昨日の送信ファイルから一字一句そのまま使います。正解は「要対応・はい・今日中〜今すぐ」。決定モデルはKev-4Bが約0.77秒、Julia-1が約25ミリ秒でした
架空の「出張旅費規程」。10月15日の記事で4つのAIに、日曜の記事でSarashinaにも投げた資料と質問です。資料と質問文は原本から流用し、作り直しません
実測の回では、メールは「水曜(Julia-1)→昨日(Kev-4B)→今回(Bolt)」、出張旅費規程は「10月15日(4つのAI)→日曜(Sarashina)→今回(Bolt)」と並べて書きます。同じお題に、違うAIがどう答えたかを、時系列で見られるようにします。
手順(実測の回で1ステップずつやること)
nvidia-smi で、GPUのメモリの容量と使用中の量を確認する(常駐のllm-jp-4が何GB使っているかも)
llama.cppを最新に更新する。公式は「ソースからビルド」ですが、まず配布のビルド済みCUDA版で試し、ダメならビルドします。更新後はポートの初期値が変わるので、--port 8081 を付けます
本体(22GB)・画像用の部品(1.73GB)・LiLiCorrをダウンロードする。途中で止まったら、同じコマンドを打ち直します(昨日のKev-4Bと同じやり方)
まず予測なし・考えるモードオフ・-ngl 小さめで起動し、動くかを確かめる(仮説1・2)
-ngl を上げられるところまで上げ、物差しを記録する
予測(DFlash)ありで同じお題(仮説3)
考えるモードのオン/オフで同じお題(仮説4)
比較のQwen3.5-35B-A3B(Q4_K_M・20.50GB・手元にあり)で同じお題(仮説5)
常駐のllm-jp-4を戻して、止めない状態で手順5を繰り返す
💡 自分の環境で真似するときの要件
まず、自分のGPUのメモリと世代を確かめる。公式の想定は32GB以上のGPU(Ada Lovelace/Blackwell)かDGX Sparkです
それより小さいGPUでも、-ngl で層の一部だけGPUに載せ、残りを本体のメモリに置く動かし方はあります。ただし公式の想定の外なので、速さは自分の環境で測るしかありません
本体のメモリは、22GBのファイルに加えて、文脈の長さの分も要ります
道具はllama.cppのほか、OllamaとLM Studioにも公式に名前があります。メインPCには入っていないので、今回はllama.cppだけで進めます
📖 ことば帳
本文で出てきた言葉を、順番にまとめます。
74B-A9B:全体は740億個の数字(パラメータ)だが、1文字作るたびに動くのは90億個だけ、という意味
MoE(専門家の混合):中に「専門家」がたくさんいて、毎回その一部だけを呼ぶ仕組み。全部を毎回動かすより軽い
Mamba:Transformerとは別の、長い文章を軽く読むための仕組み。Boltは両方を混ぜている
2ビット/IQ2_XXS:数字1つを約2ビットで表すほど縮めた形式。ふつうは賢さが落ちるが、Boltは縮めることを前提に学習している
VRAM(GPUのメモリ)と本体メモリ(RAM):「24GBに収まる」は、本来はGPUのメモリに収まるという意味。メインPCは本体メモリが128GBでも、GPUのメモリは8GB
-ngl(GPUに載せる層の数):モデルの何層ぶんをGPUに置くか。999は「全部」。載りきらない分は本体メモリとCPUで計算する
mmproj:画像を読むための部品ファイル。文章だけなら不要
投機的デコーディング(予測・DFlash/LiLiCorr):小さなモデルが先に何文字か下書きし、大きなモデルがまとめて確認して速くする仕組み
thinking(考えるモード):答える前に考えた過程を書く機能。オンだと賢くなることが多いが、時間とトークンを使う
文脈の長さ(--ctx-size):一度に読める量。長くするほどメモリを使う
KVキャッシュ(q8_0):読んだ文章を覚えておく置き場。q8_0は縮めて置く設定
tok/s・TTFT・合計応答時間:速度の3つの顔。決定モデルでは1つしか使えなかったが、Boltでは3つとも使える
OpenMDW-1.1:Boltのライセンス。モデルカードには商用・非商用どちらも可とある
🔗 関連記事
📝 まとめ
今日は、動かす前に設計だけを終わらせる回でした。
持ち帰りは3つです。
ひとつ、「○GBに収まる」と書かれていたら、どこのメモリの話かを確かめること。Boltの24GBはモデル本体の大きさで、公式のレシピはGPUのメモリに28GBか32GBを確保する前提でした。
ふたつ、本体のメモリが大きいことと、公式の想定どおりに動くことは別の話です。メインPCは128GBあっても、GPUのメモリは8GBで、世代も対応の外。だから速さは、動かして測るまで書きません。
みっつ、文章を書くモデルなら、速度の3つの顔が全部使えます。お題は過去回と同じものにして、時系列で並べられるようにしました。
クロコに締めてもらいます。
「一二八GBなら余裕さ、って言ったのは自分やっさ。置く場所は余裕。でも二四GBは、GPUのほうの話だったさー。八GBの上でどう動くか、次で確かめる」
あなたのPCのGPUのメモリは、何GBか知っていますか?
🚀 次回予告
次回は実測の回です。メインPCのllama.cppを更新してBoltを起動し、読み込み時間・書く速さ・最初の1文字までの時間・合計応答時間・メモリを記録します。予測あり/なし、考えるモードのオン/オフも、同じお題で比べます。
日曜のトーク(10月25日)では、E4Bが出たかどうかと、Bolt実測の途中経過を答え合わせします。
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
【デザインコンセプト】
- 背景: 「秋の昼下がりのガラスの温室」。高いガラス屋根から柔らかな日差しが差し込み、奥まで長い木の栽培台が何列も続いている。全体の色は、やわらかな若葉色から温かい琥珀色へのグラデーション
- メインビジュアル:
- 【中央】根元を麻布で包んだ、背の高い大きな鉢植えの木が1本、温室の通路にまだ置かれたまま立っている(どこにも載せていない)
- 【中央やや左】クロコ(添付1): 大きな木の横に立ち、腕を組んで、左手前の小さな手押し車と、右奥まで続く広い栽培台の列を見比べている。表情は落ち着いていて、少し楽しそう
- 【左手前】小さな一輪の手押し車。荷台の縁がほんのり緑色に光っている。大きな木を載せるには明らかに小さい
- 【右奥】空いたままの長い栽培台が何列も、奥までずっと続いている(広い置き場所)
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「余裕さ、は確かめてから」
- テキスト要素(3段):
- 上段(白・太字・30〜32pt・濃い影付き): 「動かす前に、置き場所を決めた」
- 中段(特大ゴールド・44〜48pt): 「Nemotron 3.5 Bolt 24GB・準備編」
- 下段(白・細字・20〜22pt・濃い影付き): 「メインPC(128GB)× llama.cpp」
- 装飾: ガラス屋根の細い桟の影、差し込む光の帯、栽培台の上の小さな空の植木鉢、通路の落ち葉
- ※木・手押し車・栽培台・植木鉢には数字や読める文字を描かないこと
- ※落胆・叱責・×印・涙・倒れた木を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: 倉庫・木箱・クレーン・吊りランプ・港町(Day452)/朝の駅の分岐点・線路・列車・案内板(Day455)/郵便仕分け場・ベルト・かご・封筒(Day454)/作業机・物差し・閉じたノートPC・計画表(Day453)/秤・市場広場・風車・温度計・帳面(Day439)/天文台・丸い机・無地の紙(Day449)/受付カウンター・引き出しの棚・書類トレイ(Day448)/図書館の大階段(Day445)
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のガラス屋根と栽培台の列のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 秋の昼下がりのガラスの温室を設定する。高いガラス屋根、差し込む光、奥まで続く木の栽培台、若葉色から琥珀色へのグラデーション
3. 中央に、根元を麻布で包んだ大きな鉢植えの木を、まだどこにも載せていない状態で立たせる
4. 中央やや左にクロコ(添付1と照合)を配置し、左手前の小さな手押し車(縁がほんのり緑に光る)と、右奥の空いた広い栽培台の列を見比べている姿にする
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる
9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する#YaroTech #ローカルLLM #llamacpp #Nemotron #生成AI #AI活用 #NVIDIA #検証 #Claude #毎日note