メインコンテンツへスキップ
見出し画像

Nemotron 3.5 Bolt 24GBをメインPCで動かす途中経過 ― 常駐AIを止めたらGPUのメモリは7,796→1,098MiB、22GBのダウンロードは道具1つで219kB/s→14.0MB/s【検証中】

    こんにちは!YaroTechです。

    昨日の記事の最後に「次回は実測の回です」と書きました。メインPC(128GB)でNemotron 3.5 Boltを起動して、速さを測る予定でした。

    結論から書くと、今日は起動まで届きませんでした。今日の記事は「検証中」の途中経過です。

    ただ、起動の手前でも数字がいくつか取れました。常駐AIを止めると、GPUのメモリと本体のメモリがどれだけ空くか。22GBのファイルを落とすのに、道具1つでどれだけ時間が変わるか。そして、llama.cppがBolt向けの新機能つきで「v0.7.0」になっていたこと。今日は、この3つを書きます。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🖥️ 実行環境

    • PC: メインPC(デスクトップ・Core i9-12900T/本体メモリ128GB/Windows 11 Pro 25H2)

    • GPU: NVIDIA GeForce RTX 3050(GPUのメモリ=VRAMは8GB・ドライバー610.88)

    • 動かす道具: llama.cpp b11669(CUDA 12.4版)。今日はダウンロード中

    • 動かすモデル: NVIDIA公式のGGUF「NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf」(22GB)。今日はダウンロード中

    • ダウンロードの道具: Hugging Faceの `hf` コマンド+hf_xet 1.7.0

    • 時点: 2026年10月24日(土)22時47分〜。llama.cppとモデルは更新が速いので、バージョンを明記しています

    数字は、今夜メインPCで実際に見たものだけです。速さ(tok/s)はまだ1つも測れていません。

    関連記事: 74BのNemotron 3.5 Boltは「128GBなら余裕」なのか ― 公式はGPU 32GB以上が前提、RTX 3050(8GB)のメインPCで動かす準備編で、今回の検証の設計をまとめています。


    🎯 この記事で得られること

    • 常駐させているAIを止めると、GPUのメモリと本体のメモリがどれだけ空くか(実測)

    • Hugging Faceから大きなモデルを落とすとき、最初に確かめておきたい1つのこと

    • llama.cpp v0.7.0で入った、GPUのメモリが小さいPC向けの新機能


    📌 先に結論

    1. 常駐のllm-jp-4を止めたら、GPUのメモリは 7,796MiB → 1,098MiB。本体のメモリ(使用中)は 42.4GB → 19.4GB になりました

    2. 22GBのダウンロードは、最初 219kB/s・残り26時間29分 と表示されました。「hf_xet」という道具を入れてやり直すと、14.0MB/s・残り約21分 の表示になりました

    3. llama.cppは正式版の v0.7.0 が出ていて、Bolt対応と、GPUのメモリが小さいPCのための新しい設定 `--moe-cache-mib` が入っていました

    準備編で立てた仮説5つは、まだ全部「未」です。


    🧹 常駐AIを止めて、置き場所を空けた

    メインPCでは、朝のメール要約のためにllm-jp-4というAIを常駐させています。準備編で「まず常駐を止めて、GPUのメモリ8GBを全部Boltに回す」と決めていたので、最初にこれを止めました。

    止める前の `nvidia-smi`(GPUの状態を見るコマンド)は、22時47分の時点でこうでした。

    • GPUのメモリ: 7,796MiB / 8,192MiB(ほぼ満杯)

    • タスクマネージャーの本体メモリ: 使用中 42.4GB/利用可能 85.4GB

    画像
    常駐のllm-jp-4が動いている状態。GPUのメモリは8,192MiB中7,796MiBが使用中
    画像
    常駐を止める前と後の本体メモリ。使用中は42.4GB→19.4GB

    常駐はWindowsのサービスとして動いているので、管理者のPowerShellで `Stop-Service` というコマンドを打って止めます(今日打ったコマンドは、次の章にまとめて載せています)。

    止めたあと(22時50分)の数字です。

    • GPUのメモリ: 1,098MiB / 8,192MiB

    • タスクマネージャーの本体メモリ: 使用中 19.4GB/利用可能 108GB

    画像
    Stop-Serviceのあと。GPUのメモリは1,098MiBまで下がった

    止める前と後の差は、GPUのメモリで約6,700MiB、本体のメモリ(使用中)で23.0GBでした。Boltに回せるGPUのメモリは、8GBのうち約7GBです。

    1つ気づいたことがあります。`nvidia-smi` の下にある「Processes(GPUを使っているプログラムの一覧)」に、常駐の `llama-server.exe` の名前は出ていませんでした。でも、止めたらGPUのメモリは大きく減りました。一覧に名前がないから使っていない、とは言えないということです。


    📦 22GBのダウンロード、道具1つで速さが変わった

    次に、Bolt本体(22GB)のダウンロードです。Hugging Faceの `hf download` コマンドで始めました。

    始めるとすぐ、こんなメッセージが出ました。

    「Xet Storage is enabled for this repo, but the 'hf_xet' package is not installed. Falling back to regular HTTP download.」

    このモデルの置き場所は「Xet」という新しい仕組みに対応しているけれど、その道具(hf_xet)が入っていないので、普通のダウンロードで代わりにやります、という意味です。

    そのまま進めた結果がこちらです。

    • 12分20秒たった時点で 5%(1.11G / 22.0G)

    • 速さの表示 219kB/s

    • 残り時間の表示 26時間29分50秒

    画像
    hf_xetなしの状態。残り時間は26時間以上と表示された

    これでは今夜どころか明日も終わりません。いったん `Ctrl + C` で止めて、メッセージに書かれていたとおり、hf_xetを入れました。

    Stop-Service -Name llama-server
    pip install -U hf_xet
    hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --local-dir D:\AITools\models\nemotron-bolt

    (1行目は前の章で常駐を止めたコマンド、2行目がhf_xetを入れるコマンド、3行目がダウンロードのやり直しです)

    同じダウンロードのコマンドを打ち直すと、「resume from 1918894080/22018326528」と出ました。止めるまでに落とせていた約1.9GBの続きから再開した、という意味です。最初からやり直しにはなりませんでした。

    再開後の表示はこうでした。

    • 4分40秒の時点: 782kB/s

    • 9分52秒の時点: 20%(4.44G / 22.0G)・14.0MB/s・残り20分56秒

    画像
    hf_xetを入れてやり直したあと。14.0MB/s・残り約21分の表示になった

    表示された速さだけで比べると、219kB/sから14.0MB/sで約64倍です。ただし、速さの表示は時間とともに上下します。同じ時刻・同じ条件で比べたわけではないので、「約64倍速くなった」と言い切るのではなく、「残り26時間の表示が、残り21分の表示になった」と書いておきます。

    同じ時間に、ブラウザでllama.cppのzip(254MBと373MB)も落としていました。こちらは「残り4時間」と表示されていて、回線を取り合っていたようです。


    🆕 llama.cppは「v0.7.0」になっていた

    ダウンロードを待つ間に、llama.cppを更新しようとしてGitHubのページを開きました。すると、いちばん上の「Latest」が、これまでの「b○○○○○」という番号ではなく、v0.7.0 という正式版になっていました。

    v0.7.0の説明(GitHubのリリースページ)には、今回の検証にそのまま関係する項目が並んでいました。

    • Nemotron Super 3.5 VL と Nemotron Bolt 74B A9B に対応

    • LiLiCorr(予測の仕組み)に対応。準備編で書いた、公式レシピの予測用の小さなモデルです

    • `--moe-cache-mib`: 本体のメモリに置いたMoEの専門家を、GPUのキャッシュで動かす新しい設定。説明では、専門家をGPUの外に置いているとき、書く速さが最大で約2.2倍

    • サーバーの初期ポートが8080から9931に変更

    3つ目が大きいです。準備編で「GPUのメモリが8GBしかないので、Boltの大半は本体のメモリに置いてCPUで計算することになる」と書きました。`--moe-cache-mib` は、まさにその状態のための設定です。実測の回では、この設定を使う・使わないも比べる項目に足します。

    なお、zipの置き場所は、v0.7.0のページではなく、その下にある「Nightly build: b11669」のリンク先でした。迷ったので書いておきます。

    Windows用のCUDA版は、CUDA 12.4版と13.4版の2つがありました。`nvidia-smi` の右上に「CUDA UMD Version: 13.3」と出ていたので、このPCのドライバーは13.3まで対応です。今回は対応の範囲に確実に入る12.4版を選びました。


    🔍 ついでの発見:E4Bは出ていた

    準備編で「予定日の10月23日、23時20分時点では見当たらない」と書いた、Boltの小さいほう「Nemotron 3.5 Bolt E4B 4GB」は、10月24日にHugging FaceのNVIDIAのページで見つかりました。

    ファイルを見ると、名前は「4GB」ですが、GGUFファイル(Q4_K_M)は約6.2GBでした。準備編で「24GBは、どこのメモリの話か」を書きましたが、名前の数字とファイルの大きさが違うのは、こちらも同じでした。詳しくは明日の日曜トークで扱います。


    💡 自分の環境で真似するときの要件

    • 常駐させているAIがあるなら、大きなモデルを試す前に止めて、GPUのメモリがどれだけ空くかを先に見ておく。止める前と後で `nvidia-smi` を1回ずつ打つだけです

    • GPUを使っているプログラムの一覧に名前が出ていなくても、メモリを使っていることがあります

    • Hugging Faceから大きなファイルを落とすとき、「hf_xet is not installed」と出たら、先に `pip install -U hf_xet` を入れてからやり直す。途中まで落とした分は続きから再開されました

    • llama.cppは、正式版(v0.7.0)とナイトリー(b番号)の2本立てになっています。zipはナイトリーのページにあります

    • CUDA版は、`nvidia-smi` の「CUDA UMD Version」以下の数字のものを選ぶと安心です


    📖 ことば帳

    今日はじめて出てきた言葉だけをまとめます。

    • 常駐(サービス):PCの起動と一緒に自動で動き続けるプログラム。止めるには管理者の権限が要る

    • Stop-Service:Windowsのサービスを止めるPowerShellのコマンド。PCを再起動すると、また自動で動き出す

    • nvidia-smi:NVIDIAのGPUの状態(メモリの使用量・温度など)を表示するコマンド

    • MiB:メモリの単位。1MiBは約1.05MB。GPUのメモリは8,192MiB=8GiB

    • hf_xet:Hugging Faceの新しい保存の仕組み「Xet」に対応したダウンロードの道具。入っていないと普通のダウンロードになる

    • v0.7.0とナイトリー(b11669):llama.cppの正式版と、毎日のように出る番号つきの版。今回は同じ中身を指していた

    • CUDA 12.4/13.4:NVIDIAのGPUで計算するための土台のバージョン。ドライバーが対応しているバージョン以下を選ぶ

    • `--moe-cache-mib`:v0.7.0で入った設定。本体のメモリに置いた専門家を、GPUのキャッシュで動かして速くする


    🔗 関連記事


    📝 まとめ

    今日は、Boltを起動する手前で時間切れになりました。

    持ち帰りは3つです。

    ひとつ、常駐のAIを止めると、GPUのメモリは7,796MiBから1,098MiBに、本体のメモリ(使用中)は42.4GBから19.4GBになりました。一覧に名前が出ていなくても、使っていることがあります。

    ふたつ、大きなモデルを落とす前に、hf_xetが入っているかを確かめること。残り26時間の表示が、入れたあとは残り21分の表示になりました。

    みっつ、llama.cppはv0.7.0になり、Bolt対応と、GPUのメモリが小さいPC向けの `--moe-cache-mib` が入っていました。今回の検証に、比べる項目が1つ増えました。

    クロコに締めてもらいます。

    「置き場所は空けたさー。荷物は、いま届いてる途中。速く届く道具が一個足りなかっただけやっさ」

    あなたのPCには、いつの間にか常駐しているAIはありませんか?


    🚀 次回予告

    明日(10月25日)は日曜トークです。E4Bが出ていたことと、Boltの途中経過を答え合わせします。

    Boltの実測は、そのあとの回で行います。ダウンロードとllama.cppの更新を終えて起動し、読み込み時間・書く速さ・最初の1文字までの時間・合計応答時間・メモリを記録します。予測あり/なし、考えるモードのオン/オフに加えて、`--moe-cache-mib` を使う・使わないも比べます。


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。

    🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
    
    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【重要】添付画像とキャラクターの対応:
    - 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
    クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
    
    【デザインコンセプト】
    - 背景: 「秋の夜のガラスの温室」。ガラス屋根の向こうに藍色の夜空と小さな星。温室の中は吊るされた暖色の小さな電球で照らされ、奥まで長い木の栽培台が何列も続いている。全体の色は、藍色の夜から温かい琥珀色の明かりへのグラデーション
    - メインビジュアル:
      - 【中央やや左】クロコ(添付1): 栽培台の一角を片付け終えたところ。もともと置いてあった小さな鉢植えを、通路の脇の台にそっと移し、空いた広い栽培台に手を置いている。表情は落ち着いていて、少し満足そう
      - 【中央】空いたばかりの広い栽培台。土の跡がうっすら残り、これから何かが届くのを待っている
      - 【右奥】温室の大きなガラス扉が開いていて、外の夜道を、麻布で根元を包んだ大きな木を載せた荷車が、ゆっくりこちらへ向かってくる(まだ温室の外)。荷車の脇に小さなランタンが灯っている
    - AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
    - クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
    - 吹き出し(クロコの頭上に小さく): 「置き場所は、空けたさー」
    - テキスト要素(3段):
      - 上段(白・太字・30〜32pt・濃い影付き): 「動かす前の、片付けと待ち時間」
      - 中段(特大ゴールド・44〜48pt): 「Nemotron 3.5 Bolt 24GB・途中経過」
      - 下段(白・細字・20〜22pt・濃い影付き): 「メインPC × llama.cpp v0.7.0」
    - 装飾: ガラス屋根の細い桟の影、吊り電球のやわらかな光の輪、栽培台の上の小さな空の植木鉢、通路の落ち葉
    - ※木・荷車・栽培台・植木鉢・ランタンには数字や読める文字を描かないこと
    - ※落胆・叱責・×印・涙・倒れた木・時計を連想させる演出は一切入れないこと
    - ※使用済みモチーフ禁止: 倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路・列車・案内板(Day455)/郵便仕分け場・ベルト・かご・封筒(Day454)/作業机・物差し・閉じたノートPC・計画表(Day453)/秤・市場広場・風車・温度計・帳面(Day439)/天文台・丸い机・無地の紙(Day449)/受付カウンター・引き出しの棚・書類トレイ(Day448)/図書館の大階段(Day445)。※Day456の「昼の温室」とは時間帯と構図を変え、続きの場面として描く
    
    【作成手順】
    1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のガラス屋根と栽培台の列のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
    2. 秋の夜のガラスの温室を設定する。藍色の夜空が見えるガラス屋根、吊り電球の暖かい明かり、奥まで続く木の栽培台、藍色から琥珀色へのグラデーション
    3. 中央に、片付けたばかりの空いた広い栽培台を置く
    4. 中央やや左にクロコ(添付1と照合)を配置し、小さな鉢植えを脇の台に移し終えて、空いた栽培台に手を置いている姿にする
    5. 右奥の開いたガラス扉の外に、大きな木を載せた荷車がランタンを灯してゆっくり近づいてくる様子を描く(まだ温室に入っていない)
    6. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
    7. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
    8. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
    9. 全体のバランスを確認して完成させる
    10. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
    11. キャラの参考画像(添付1)を添付して人物の一貫性を確保する

    #YaroTech #ローカルLLM #llamacpp #Nemotron #生成AI #AI活用 #NVIDIA #検証 #Claude #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ