メインコンテンツへスキップ
見出し画像

GPUに載らない大きさのAIを家のPCで動かす「3つの置き方」 ― 22GBのNemotron 3.5 BoltがRTX 3050(8GB)で動いた理由を、木と枝とカゴで説明します

    こんにちは!YaroTechです。

    昨日の記事で、22GBのAI「Nemotron 3.5 Bolt」を、GPUのメモリが8GBしかないメインPCで動かした話を書きました。読み返すと、`-ngl`、`--n-cpu-moe`、`--moe-cache-mib`……と、専門用語だらけでした。

    今日は同じ内容を、「これから自分のPCで大きめのAIを試してみたい」という人向けに言い直します。新しい実験はしていません。数字はすべて、昨日(10月28日)に測ったものです。

    先に一言でまとめると、GPUに載らない大きさのAIを動かすときに効いたのは、「どれだけ載せるか」より「どこに何を置くか」でした。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🎯 この記事で得られること

    • GPUに載りきらないAIを家のPCで動かすときの「3つの置き方」と、それぞれの実測の速さ

    • 自分のPCがどの置き方になるかを決めるために見る、2つの数字

    • 速さを比べるときにハマりやすい所(2回目は速く見える、など)


    🌳 たとえの登場人物をそろえる

    この記事は、最後まで「温室」のたとえで話します。先に登場人物をそろえます。

    • 作業台=GPUのメモリ(VRAM):手元にあって、作業がとても速い。ただし狭い。今回のPCは8GB

    • 温室の奥=本体メモリ:パソコンのふつうのメモリ。広い。ただし作業台から遠く、取りに行くたびに時間がかかる。今回のPCは128GB

    • 木=AIの「層」:AIは、層という部品が何段も積み重なってできています。層1つを木1本と考えてください

    • 枝=専門家(experts):木から分かれた枝。置き方2で詳しく書きます

    • カゴ=よく使う枝を入れて、作業台に置いておく入れ物:置き方3で出てきます

    AIは1語書くたびに、温室の木を1本目から順番に全部手入れしていきます。手入れする木が作業台の上にあれば速い。奥にあれば、そのたびに奥まで歩くので遅い。

    Bolt(ファイルは22.0GB)は、8GBの作業台には全部載りません。だから「何を作業台に置き、何を奥に置くか」を選ぶことになります。それが今日の「3つの置き方」です。

    なお、Boltは「MoE」という作りのモデルです。MoEは Day292の用語集 で「専門家だけ呼ぶ相談会」にたとえました。仕組みの話ならそちらが分かりやすいのですが、今日は「どこに置くか」の話なので、木と枝で言い直します。


    📌 先に結論

    お題は昨日と同じ、架空の「【至急】見積書の金額に誤りがあります」というメールの読み取り(3問)。どの置き方でも3問とも正解でした。数字はどれも、起動して1回目です。

    置き方起動オプション読み込み(起動)書く速さ合計1 木を8本だけ作業台に-ngl 8約7.8秒6.17 tok/s10.1秒1 木を14本作業台に-ngl 14約4.9秒6.54 tok/s9.5秒2 木は全部作業台、枝だけ奥-ngl 99 –n-cpu-moe 99単独では測っていない――3 2+よく使う枝をカゴで2に –moe-cache-mib 1024 を足す約4.3秒15.31 tok/s6.3秒3 さらに起動時に全部読み込む3に –load-mode none を足す約8.2秒17.41 tok/s3.7秒\begin{array}{|l|l|l|l|l|} \hline \text{置き方} & \text{起動オプション} & \text{読み込み(起動)} & \text{書く速さ} & \text{合計} \\ \hline \text{1 木を8本だけ作業台に} & \text{-ngl 8} & \text{約7.8秒} & \text{6.17 tok/s} & \text{10.1秒} \\ \hline \text{1 木を14本作業台に} & \text{-ngl 14} & \text{約4.9秒} & \text{6.54 tok/s} & \text{9.5秒} \\ \hline \text{2 木は全部作業台、枝だけ奥} & \text{-ngl 99 --n-cpu-moe 99} & \text{単独では測っていない} & \text{―} & \text{―} \\ \hline \text{3 2+よく使う枝をカゴで} & \text{2に --moe-cache-mib 1024 を足す} & \text{約4.3秒} & \text{15.31 tok/s} & \text{6.3秒} \\ \hline \text{3 さらに起動時に全部読み込む} & \text{3に --load-mode none を足す} & \text{約8.2秒} & \text{17.41 tok/s} & \text{3.7秒} \\ \hline \end{array}

    ※書く速さ(tok/s)は1秒あたりに書ける語の数。合計は「メールを読む時間+答えを書く時間」

    いちばん上といちばん下で、書く速さは約2.8倍、合計は10.1秒→3.7秒。変えたのは起動オプションだけで、モデルもGPUも同じです。


    🪵 置き方1:木を何本か作業台に、残りは奥に(-ngl)

    いちばんふつうのやり方です。作業台に載るだけ木を載せて、載らない木は奥に置いたまま。`-ngl` の数字で「何本載せるか」を決めます(`-ngl` は Day292 で「宿題をどれだけお姉ちゃんに頼むか」とたとえた設定です)。

    昨日の実測です。

    • `-ngl 8`(8本載せる):GPUのメモリ 4,953MiB、書く速さ 6.17 tok/s、合計 10.1秒

    • `-ngl 14`(14本載せる):GPUのメモリ 6,487MiB、書く速さ 6.54 tok/s、合計 9.5秒

    GPUのメモリを1.5GB多く使って、速くなったのは約6%でした。

    弱点:奥に残った木がある限り、速さは奥の木で決まる

    1語書くたびに、全部の木を順番に手入れします。作業台の木はすぐ終わりますが、奥の木は1本ずつ歩いて行って手入れするしかありません。8本を14本に増やしても、奥にはまだ木が残っています。時間の大半は奥で使っているので、作業台の木を少し増やしても、全体はあまり変わらない。昨日の+6%は、そういうことだと見ています。

    それでも置き方1は、どんなモデルでも使えるのが強みです。次の置き方2と3は、MoEのモデルでしか使えません。


    🌿 置き方2:木は全部作業台に、枝(専門家)だけ奥に(--n-cpu-moe)

    ここで「枝」が出てきます。

    Boltのような MoE のモデルは、木(層)ごとに、たくさんの枝(専門家)を持っています。そして1語書くたびに、それぞれの木で使うのは一部の枝だけ。残りの枝は、その語では使いません。

    モデル名にある 「74B-A9B」 が、そのしるしです。

    • 74B:全体の大きさ(Bは10億。AIの中の数字=パラメータの数で、大きさの目安)

    • A9B:1語ごとに実際に動く(Activeな)のは9B分だけ

    温室全体は大きいけれど、1語ごとに手を入れるのは、そのうちの一部分です。

    そしてMoEのモデルは、大部分を枝が占めています。だから枝を外して、木の幹(層の、枝以外の部分)だけにすると、全部の木が8GBの作業台に並びます。これが置き方2です。

    • `-ngl 99`:全部の木を作業台に置く(99は「全部」のつもりの大きい数)

    • `--n-cpu-moe 99`:ただし、全部の木の枝は奥(本体メモリ)に置く

    置き方1では、奥にある木は丸ごと奥で手入れしていました。置き方2では、幹の手入れは全部作業台でできます。奥まで行くのは、その語で使う枝の分だけです。

    正直に書くと、置き方2「だけ」の速さは測っていません

    昨日は、置き方2と次の置き方3(カゴ)を同時に足して測りました。なので「置き方2だけで、どれくらい速くなるか」は、この記事では書けません。ここは後の「つまずきやすい所」にもつながります。


    🧺 置き方3:よく使う枝をカゴで作業台に(--moe-cache-mib)

    置き方2で、作業台にまだ少し空きがあるなら、よく使う枝をカゴに入れて、作業台に置いておけます。カゴに入っている枝は、奥まで取りに行かなくていい。

    • `--moe-cache-mib 1024`:作業台に1024MiB(約1GB)のカゴを置く

    llama.cpp(家のPCでAIを動かす道具)のv0.7.0で入った、新しい設定です。

    昨日の実測です。

    • 書く速さ 15.31 tok/s(`-ngl 14` の6.54 tok/sから約2.3倍)

    • 合計 6.3秒

    • GPUのメモリ 7,815MiB/8,192MiB(残り約370MB)

    リリースの説明には「最大約2.2倍」とあります。ただ今回の約2.3倍は置き方2とカゴを合わせた結果なので、カゴだけでどれくらい効いたかは分かりません。

    もう1つ:--load-mode none(起動時に全部読み込む)

    ふだんのllama.cppは、モデルのファイルを「必要になった所だけ」読みます(mmapという方式)。たとえるなら、枝を温室の奥の倉から、使うときに出してくる形です。

    `--load-mode none` を足すと、起動のときに全部を本体メモリに読み込みます。最初に倉から全部出して、奥の棚に並べておく形です。昨日は、起動ログの警告がこの設定を勧めていました。

    • 書く速さ 15.31 → 17.41 tok/s

    • メールを読む速さ 67.3 → 131.9 tok/s(約2倍)

    • 合計 6.3秒 → 3.7秒

    • その代わり、起動(読み込み)は約4.3秒 → 約8.2秒 に延びた

    起動が4秒ほど遅くなる代わりに、答えるたびに速くなります。1回起動して長く使う(常駐させる)なら、こちらが向いています。


    🔍 自分のPCはどれ?

    見る数字は2つです

    1. GPUのメモリ(VRAM):タスクマネージャー →「パフォーマンス」→「GPU」の「専用GPUメモリ」。NVIDIAのGPUなら `nvidia-smi` でも見られます

    2. 本体メモリの空き:タスクマネージャー →「パフォーマンス」→「メモリ」の「利用可能」

    そのモデルがMoEかどうかは、名前で分かります

    「74B-A9B」のように「全体-A動く分」と書いてあれば、MoEです。次回比べる予定の「Qwen3.5-35B-A3B」も同じ書き方で、全体35B、1語ごとに動くのは3B分です。

    どの置き方になるか

    • モデルのファイルがGPUのメモリに全部載る → 悩まなくていい。全部作業台へ(Boltの公式は、GPUのメモリ28〜32GBが前提)

    • 載らない・MoEのモデル → 置き方2+3を試す(昨日いちばん速かった)

    • 載らない・MoEではないモデル → 置き方1(`-ngl`)

    • GPUがないPC(私のX1など)→ 全部奥に置く「置き方0(CPUだけ)」。Boltでは試していないので、数字はありません

    昨日、動いた条件

    • GPUのメモリ:8GB(RTX 3050)。最後の構成で7,759〜7,815MiB使用。常駐させているAIがあれば、先に止める

    • 本体メモリ:空きが35GB以上(目安)。使っている間は最大34.5GBまで上がった(Windowsなどの分を含む)。PCは128GB

    • llama.cpp:v0.7.0以降(`--moe-cache-mib` はv0.7.0で入った設定。今回はb11669で確認)

    • CUDA版(NVIDIAのGPU用。今回は12.4版)

    ここにない条件(GPUのメモリ6GB、本体メモリ32GBのPCなど)は試していません。

    昨日の最後の起動コマンドを、もう一度載せます。ファイルの場所は自分の環境に合わせてください。

    llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --moe-cache-mib 1024 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081

    置き方を決めているのは、`-ngl 99 --n-cpu-moe 99 --moe-cache-mib 1024 --load-mode none` の4つだけです。


    ⚠️ つまずきやすい所

    1. 置き方1と2を混ぜると、カゴが効かない

    昨日、最初は `-ngl 14` のまま `--moe-cache-mib 1024` を足しました。すると起動ログに「MoE cache is disabled」(MoEキャッシュは使いません)と出て、GPUのメモリも6,487MiBのまま。カゴは置かれませんでした。

    カゴは「木は全部作業台、枝だけ奥」(置き方2)が前提です。カゴを使うなら、`-ngl 99 --n-cpu-moe 99` とセットにします。起動ログの英語の警告は、読み飛ばさないほうがいいです。

    2. 同じ質問の2回目は、速く見える

    同じメールをもう一度送ると、合計がぐっと短くなりました。`-ngl 8` は10.1秒 → 3.8秒、いちばん速い構成は3.7秒 → 1.5秒。

    でも、書く速さは6.17 → 6.28 tok/s、17.41 → 17.37 tok/s。ほぼ同じです。2回目は、前に読んだ入力を読み直さずに使い回しているだけでした(プロンプトキャッシュ)。

    置き方を比べるときは、起動して1回目同士で比べてください。そうしないと、置き方の効果なのか、使い回しの効果なのか分からなくなります。

    3. 起動オプションは1つずつ変える

    一度に2つ変えると、どちらが効いたのか分からなくなります。実は昨日の私がそれで、置き方2とカゴを同時に足したので、置き方2だけの効果が分からないままです。試すときは1つ変えるごとに、速さと、答えが合っているかを確かめるのがおすすめです。


    📖 ことば帳

    今日はじめて説明したことば

    • 専門家(experts)と「74B-A9B」:MoEのモデルの中で、選ばれたときだけ動く部品(今日の「枝」)。モデルの大部分を占める。「74B-A9B」は、全体が74B、1語ごとに動くのが9B分という意味

    • VRAM(GPUのメモリ)と本体メモリ:VRAMは作業台(狭いが速い)、本体メモリは温室の奥(広いが遠い)。今回のPCは8GBと128GB

    • --n-cpu-moe:指定した数の層について、専門家だけを本体メモリに置く設定。木は作業台、枝だけ奥(置き方2)

    • --moe-cache-mib:奥に置いた専門家のうち、よく使うものをGPUに置いておく場所の大きさ。よく使う枝のカゴ(置き方3)

    • mmap と --load-mode none:mmapは、ファイルを必要な所だけ読む方式(使うときに倉から出す)。--load-mode none は、起動時に全部を読み込む指定(先に全部出して並べておく)

    • プロンプトキャッシュ:前に読んだ入力を、読み直さずに使い回す仕組み。同じ質問の2回目が速く見える理由

    前に説明したことば(ひとことだけ)

    • -ngl:GPUに載せる層の数(Day292・Day270)

    • MoE:専門家を一部だけ動かす作りのモデル(Day292・Day270)

    • tok/s:1秒あたりに書ける語(トークン)の数。AIの喋るスピード(Day292・Day270)

    • CUDA:NVIDIAのGPUで計算するための仕組み(Day292)

    • 量子化:モデルを小さくする工夫。写真の画質調整のようなもの。BoltのファイルはIQ2_XXSという強めの量子化で22.0GB(Day270)

    • GGUF:llama.cppで使うモデルファイルの形式。お弁当箱(Day270・Day292)


    📝 まとめ

    今日の持ち帰りは3つです。

    1. GPUに載らないAIは、「どれだけ載せるか」より「どこに何を置くか」。木を8本→14本にしても+6%、木は全部作業台・枝だけ奥・よく使う枝をカゴに、で約2.3倍

    2. 自分のPCで見るのは、GPUのメモリと本体メモリの空きの2つ。MoEかどうかは、名前の「A〇B」で分かる

    3. 比べるときは起動して1回目同士で、オプションは1つずつ変える

    クロコに締めてもらいます。

    「木を増やすより、枝の置き場所さー。枝を奥に置いてカゴを足したら、作業台は八ギガのままで二倍ちょっと速くなったやっさ」

    あなたのPCのGPUのメモリと本体メモリは、何GBでしたか? 3つのうち、どの置き方になりそうでしょうか。


    🔗 関連記事


    🚀 次回予告

    昨日測れなかった4つを、続けて測ります。

    • 予測(LiLiCorr)あり:予測用のファイル(約1GB)を足す。作業台の残りが約370MBなので、載るかどうかが最初の関門です

    • 考えるモードオン:合計がどれだけ延びるか

    • 常駐のllm-jp-4と同居:止めずに動かせるか

    • Qwen3.5-35B-A3Bとの比較:同じお題で、同じMoEのモデルと比べる


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成。クロコの参考画像を1枚添付して、人物の一貫性を確保しています。

    🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
    
    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【重要】添付画像とキャラクターの対応:
    - 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
    クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
    
    【デザインコンセプト】
    - 背景: 「秋の昼下がりのガラスの温室」。高いガラス屋根から、少し傾き始めたやわらかな午後の光が差し込む。手前に横長の木の作業台が1つ、奥には広い栽培台が何列も続いている。全体の色は、やわらかな山吹色から、明るい若葉色へのグラデーション
    - メインビジュアル(手前の横長の作業台を、左・中央・右の3つの場面に分けて、3つの置き方を1枚で見せる):
      - 【左の場面】作業台の上に、葉の茂った小さな鉢植えの木が3〜4本だけ並んでいる。そのすぐ奥の栽培台には、同じような木がまだたくさん並んでいる(作業台に載ったのは一部だけ)
      - 【中央の場面】作業台の上に、まっすぐ立つ細い若木の幹が鉢に入って一列に並んでいる(どれも元気で、先端に若葉が少しだけ付いている。切り株や折れた木には見せない)。その幹から分けた、葉の茂った枝の束は、温室の奥の栽培台にまとめて置かれている
      - 【右の場面】中央と同じ若木の幹の列の横に、籐で編んだ小さな丸い手提げカゴが置かれ、葉の付いた枝が数本入っている。クロコ(添付1)がそのカゴを作業台にそっと置きながら、奥の栽培台のほうを軽く振り返っている。表情は落ち着いていて、少し得意げ
    - AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
    - クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
    - 吹き出し(クロコの頭上に小さく): 「置き場所を、選ぶさー」
    - テキスト要素(3段):
      - 上段(白・太字・30〜32pt・濃い影付き): 「GPUに載らないAIを家のPCで」
      - 中段(特大ゴールド・44〜48pt): 「3つの置き方」
      - 下段(白・細字・20〜22pt・濃い影付き): 「Nemotron 3.5 Bolt 22GB × RTX 3050(8GB)」
    - 装飾: ガラス屋根の細い桟の影、午後の光の筋、作業台の上にこぼれた数枚の葉、栽培台の上の若い苗
    - ※3つの場面は仕切り板や札で区切らず、作業台の上の置き方の違いだけで見分けられるようにすること
    - ※作業台・鉢・カゴ・栽培台には数字や読める文字を描かないこと(数字や番号の札も描かない)
    - ※手押し車・荷車・木箱は描かないこと
    - ※落胆・叱責・×印・涙・倒れた木・折れた枝・切り株・枯れ木・時計を連想させる演出は一切入れないこと
    - ※使用済みモチーフ禁止: ガラスの花瓶・低い石の台・朝焼けの光(Day460)/会議室・ホワイトボード・虫めがね・付箋(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路・列車・案内板(Day455)/郵便仕分け場・ベルト・封筒(Day454)/作業机・物差し・閉じたノートPC(Day453)。※温室はDay456(昼)・Day457(夜)・Day460(朝)の続きの場面として、時間帯を「昼下がり」に変えて描く。籐の手提げカゴはシリーズの続きの小道具として使ってよい
    
    【作成手順】
    1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のガラス屋根と栽培台の列のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
    2. 秋の昼下がりのガラスの温室を設定する。傾き始めたやわらかな午後の光、手前の横長の作業台、奥まで続く栽培台、山吹色から若葉色へのグラデーション
    3. 手前の作業台を左・中央・右の3つの場面に分ける。左は鉢植えの木が3〜4本(奥の栽培台にも木がたくさん)、中央は元気な若木の幹の列(枝の束は奥の栽培台)、右は幹の列の横に枝の入った籐のカゴ
    4. 右の場面にクロコ(添付1と照合)を配置し、籐のカゴを作業台にそっと置きながら奥を振り返る姿にする
    5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
    6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
    8. 全体のバランスを確認して完成させる
    9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
    10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する

    #YaroTech #ローカルLLM #llamacpp #Nemotron #RTX3050 #MoE #初心者向け #AI活用 #生成AI #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ