
GPUに載らない大きさのAIを家のPCで動かす「3つの置き方」 ― 22GBのNemotron 3.5 BoltがRTX 3050(8GB)で動いた理由を、木と枝とカゴで説明します
こんにちは!YaroTechです。
昨日の記事で、22GBのAI「Nemotron 3.5 Bolt」を、GPUのメモリが8GBしかないメインPCで動かした話を書きました。読み返すと、`-ngl`、`--n-cpu-moe`、`--moe-cache-mib`……と、専門用語だらけでした。
今日は同じ内容を、「これから自分のPCで大きめのAIを試してみたい」という人向けに言い直します。新しい実験はしていません。数字はすべて、昨日(10月28日)に測ったものです。
先に一言でまとめると、GPUに載らない大きさのAIを動かすときに効いたのは、「どれだけ載せるか」より「どこに何を置くか」でした。
※見出し画像のプロンプトは一番下におまけで公開中!
🎯 この記事で得られること
GPUに載りきらないAIを家のPCで動かすときの「3つの置き方」と、それぞれの実測の速さ
自分のPCがどの置き方になるかを決めるために見る、2つの数字
速さを比べるときにハマりやすい所(2回目は速く見える、など)
🌳 たとえの登場人物をそろえる
この記事は、最後まで「温室」のたとえで話します。先に登場人物をそろえます。
作業台=GPUのメモリ(VRAM):手元にあって、作業がとても速い。ただし狭い。今回のPCは8GB
温室の奥=本体メモリ:パソコンのふつうのメモリ。広い。ただし作業台から遠く、取りに行くたびに時間がかかる。今回のPCは128GB
木=AIの「層」:AIは、層という部品が何段も積み重なってできています。層1つを木1本と考えてください
枝=専門家(experts):木から分かれた枝。置き方2で詳しく書きます
カゴ=よく使う枝を入れて、作業台に置いておく入れ物:置き方3で出てきます
AIは1語書くたびに、温室の木を1本目から順番に全部手入れしていきます。手入れする木が作業台の上にあれば速い。奥にあれば、そのたびに奥まで歩くので遅い。
Bolt(ファイルは22.0GB)は、8GBの作業台には全部載りません。だから「何を作業台に置き、何を奥に置くか」を選ぶことになります。それが今日の「3つの置き方」です。
なお、Boltは「MoE」という作りのモデルです。MoEは Day292の用語集 で「専門家だけ呼ぶ相談会」にたとえました。仕組みの話ならそちらが分かりやすいのですが、今日は「どこに置くか」の話なので、木と枝で言い直します。
📌 先に結論
お題は昨日と同じ、架空の「【至急】見積書の金額に誤りがあります」というメールの読み取り(3問)。どの置き方でも3問とも正解でした。数字はどれも、起動して1回目です。
※書く速さ(tok/s)は1秒あたりに書ける語の数。合計は「メールを読む時間+答えを書く時間」
いちばん上といちばん下で、書く速さは約2.8倍、合計は10.1秒→3.7秒。変えたのは起動オプションだけで、モデルもGPUも同じです。
🪵 置き方1:木を何本か作業台に、残りは奥に(-ngl)
いちばんふつうのやり方です。作業台に載るだけ木を載せて、載らない木は奥に置いたまま。`-ngl` の数字で「何本載せるか」を決めます(`-ngl` は Day292 で「宿題をどれだけお姉ちゃんに頼むか」とたとえた設定です)。
昨日の実測です。
`-ngl 8`(8本載せる):GPUのメモリ 4,953MiB、書く速さ 6.17 tok/s、合計 10.1秒
`-ngl 14`(14本載せる):GPUのメモリ 6,487MiB、書く速さ 6.54 tok/s、合計 9.5秒
GPUのメモリを1.5GB多く使って、速くなったのは約6%でした。
弱点:奥に残った木がある限り、速さは奥の木で決まる
1語書くたびに、全部の木を順番に手入れします。作業台の木はすぐ終わりますが、奥の木は1本ずつ歩いて行って手入れするしかありません。8本を14本に増やしても、奥にはまだ木が残っています。時間の大半は奥で使っているので、作業台の木を少し増やしても、全体はあまり変わらない。昨日の+6%は、そういうことだと見ています。
それでも置き方1は、どんなモデルでも使えるのが強みです。次の置き方2と3は、MoEのモデルでしか使えません。
🌿 置き方2:木は全部作業台に、枝(専門家)だけ奥に(--n-cpu-moe)
ここで「枝」が出てきます。
Boltのような MoE のモデルは、木(層)ごとに、たくさんの枝(専門家)を持っています。そして1語書くたびに、それぞれの木で使うのは一部の枝だけ。残りの枝は、その語では使いません。
モデル名にある 「74B-A9B」 が、そのしるしです。
74B:全体の大きさ(Bは10億。AIの中の数字=パラメータの数で、大きさの目安)
A9B:1語ごとに実際に動く(Activeな)のは9B分だけ
温室全体は大きいけれど、1語ごとに手を入れるのは、そのうちの一部分です。
そしてMoEのモデルは、大部分を枝が占めています。だから枝を外して、木の幹(層の、枝以外の部分)だけにすると、全部の木が8GBの作業台に並びます。これが置き方2です。
`-ngl 99`:全部の木を作業台に置く(99は「全部」のつもりの大きい数)
`--n-cpu-moe 99`:ただし、全部の木の枝は奥(本体メモリ)に置く
置き方1では、奥にある木は丸ごと奥で手入れしていました。置き方2では、幹の手入れは全部作業台でできます。奥まで行くのは、その語で使う枝の分だけです。
正直に書くと、置き方2「だけ」の速さは測っていません
昨日は、置き方2と次の置き方3(カゴ)を同時に足して測りました。なので「置き方2だけで、どれくらい速くなるか」は、この記事では書けません。ここは後の「つまずきやすい所」にもつながります。
🧺 置き方3:よく使う枝をカゴで作業台に(--moe-cache-mib)
置き方2で、作業台にまだ少し空きがあるなら、よく使う枝をカゴに入れて、作業台に置いておけます。カゴに入っている枝は、奥まで取りに行かなくていい。
`--moe-cache-mib 1024`:作業台に1024MiB(約1GB)のカゴを置く
llama.cpp(家のPCでAIを動かす道具)のv0.7.0で入った、新しい設定です。
昨日の実測です。
書く速さ 15.31 tok/s(`-ngl 14` の6.54 tok/sから約2.3倍)
合計 6.3秒
GPUのメモリ 7,815MiB/8,192MiB(残り約370MB)
リリースの説明には「最大約2.2倍」とあります。ただ今回の約2.3倍は置き方2とカゴを合わせた結果なので、カゴだけでどれくらい効いたかは分かりません。
もう1つ:--load-mode none(起動時に全部読み込む)
ふだんのllama.cppは、モデルのファイルを「必要になった所だけ」読みます(mmapという方式)。たとえるなら、枝を温室の奥の倉から、使うときに出してくる形です。
`--load-mode none` を足すと、起動のときに全部を本体メモリに読み込みます。最初に倉から全部出して、奥の棚に並べておく形です。昨日は、起動ログの警告がこの設定を勧めていました。
書く速さ 15.31 → 17.41 tok/s
メールを読む速さ 67.3 → 131.9 tok/s(約2倍)
合計 6.3秒 → 3.7秒
その代わり、起動(読み込み)は約4.3秒 → 約8.2秒 に延びた
起動が4秒ほど遅くなる代わりに、答えるたびに速くなります。1回起動して長く使う(常駐させる)なら、こちらが向いています。
🔍 自分のPCはどれ?
見る数字は2つです
GPUのメモリ(VRAM):タスクマネージャー →「パフォーマンス」→「GPU」の「専用GPUメモリ」。NVIDIAのGPUなら `nvidia-smi` でも見られます
本体メモリの空き:タスクマネージャー →「パフォーマンス」→「メモリ」の「利用可能」
そのモデルがMoEかどうかは、名前で分かります
「74B-A9B」のように「全体-A動く分」と書いてあれば、MoEです。次回比べる予定の「Qwen3.5-35B-A3B」も同じ書き方で、全体35B、1語ごとに動くのは3B分です。
どの置き方になるか
モデルのファイルがGPUのメモリに全部載る → 悩まなくていい。全部作業台へ(Boltの公式は、GPUのメモリ28〜32GBが前提)
載らない・MoEのモデル → 置き方2+3を試す(昨日いちばん速かった)
載らない・MoEではないモデル → 置き方1(`-ngl`)
GPUがないPC(私のX1など)→ 全部奥に置く「置き方0(CPUだけ)」。Boltでは試していないので、数字はありません
昨日、動いた条件
GPUのメモリ:8GB(RTX 3050)。最後の構成で7,759〜7,815MiB使用。常駐させているAIがあれば、先に止める
本体メモリ:空きが35GB以上(目安)。使っている間は最大34.5GBまで上がった(Windowsなどの分を含む)。PCは128GB
llama.cpp:v0.7.0以降(`--moe-cache-mib` はv0.7.0で入った設定。今回はb11669で確認)
CUDA版(NVIDIAのGPU用。今回は12.4版)
ここにない条件(GPUのメモリ6GB、本体メモリ32GBのPCなど)は試していません。
昨日の最後の起動コマンドを、もう一度載せます。ファイルの場所は自分の環境に合わせてください。
llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --moe-cache-mib 1024 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081置き方を決めているのは、`-ngl 99 --n-cpu-moe 99 --moe-cache-mib 1024 --load-mode none` の4つだけです。
⚠️ つまずきやすい所
1. 置き方1と2を混ぜると、カゴが効かない
昨日、最初は `-ngl 14` のまま `--moe-cache-mib 1024` を足しました。すると起動ログに「MoE cache is disabled」(MoEキャッシュは使いません)と出て、GPUのメモリも6,487MiBのまま。カゴは置かれませんでした。
カゴは「木は全部作業台、枝だけ奥」(置き方2)が前提です。カゴを使うなら、`-ngl 99 --n-cpu-moe 99` とセットにします。起動ログの英語の警告は、読み飛ばさないほうがいいです。
2. 同じ質問の2回目は、速く見える
同じメールをもう一度送ると、合計がぐっと短くなりました。`-ngl 8` は10.1秒 → 3.8秒、いちばん速い構成は3.7秒 → 1.5秒。
でも、書く速さは6.17 → 6.28 tok/s、17.41 → 17.37 tok/s。ほぼ同じです。2回目は、前に読んだ入力を読み直さずに使い回しているだけでした(プロンプトキャッシュ)。
置き方を比べるときは、起動して1回目同士で比べてください。そうしないと、置き方の効果なのか、使い回しの効果なのか分からなくなります。
3. 起動オプションは1つずつ変える
一度に2つ変えると、どちらが効いたのか分からなくなります。実は昨日の私がそれで、置き方2とカゴを同時に足したので、置き方2だけの効果が分からないままです。試すときは1つ変えるごとに、速さと、答えが合っているかを確かめるのがおすすめです。
📖 ことば帳
今日はじめて説明したことば
専門家(experts)と「74B-A9B」:MoEのモデルの中で、選ばれたときだけ動く部品(今日の「枝」)。モデルの大部分を占める。「74B-A9B」は、全体が74B、1語ごとに動くのが9B分という意味
VRAM(GPUのメモリ)と本体メモリ:VRAMは作業台(狭いが速い)、本体メモリは温室の奥(広いが遠い)。今回のPCは8GBと128GB
--n-cpu-moe:指定した数の層について、専門家だけを本体メモリに置く設定。木は作業台、枝だけ奥(置き方2)
--moe-cache-mib:奥に置いた専門家のうち、よく使うものをGPUに置いておく場所の大きさ。よく使う枝のカゴ(置き方3)
mmap と --load-mode none:mmapは、ファイルを必要な所だけ読む方式(使うときに倉から出す)。--load-mode none は、起動時に全部を読み込む指定(先に全部出して並べておく)
プロンプトキャッシュ:前に読んだ入力を、読み直さずに使い回す仕組み。同じ質問の2回目が速く見える理由
前に説明したことば(ひとことだけ)
MoE:専門家を一部だけ動かす作りのモデル(Day292・Day270)
tok/s:1秒あたりに書ける語(トークン)の数。AIの喋るスピード(Day292・Day270)
CUDA:NVIDIAのGPUで計算するための仕組み(Day292)
量子化:モデルを小さくする工夫。写真の画質調整のようなもの。BoltのファイルはIQ2_XXSという強めの量子化で22.0GB(Day270)
GGUF:llama.cppで使うモデルファイルの形式。お弁当箱(Day270・Day292)
📝 まとめ
今日の持ち帰りは3つです。
GPUに載らないAIは、「どれだけ載せるか」より「どこに何を置くか」。木を8本→14本にしても+6%、木は全部作業台・枝だけ奥・よく使う枝をカゴに、で約2.3倍
自分のPCで見るのは、GPUのメモリと本体メモリの空きの2つ。MoEかどうかは、名前の「A〇B」で分かる
比べるときは起動して1回目同士で、オプションは1つずつ変える
クロコに締めてもらいます。
「木を増やすより、枝の置き場所さー。枝を奥に置いてカゴを足したら、作業台は八ギガのままで二倍ちょっと速くなったやっさ」
あなたのPCのGPUのメモリと本体メモリは、何GBでしたか? 3つのうち、どの置き方になりそうでしょうか。
🔗 関連記事
Nemotron 3.5 Bolt 24GBをRTX 3050(8GB)で動かしたら、起動オプションだけで6.2→17.4 tok/sになった ― 専門家を本体メモリに置いてGPUにキャッシュする話(今日の元になった実測回)
ローカルLLM初心者向け用語集 ― Day291を10倍楽しく読み直す(-ngl・MoE・tok/s・CUDA)
「GGUF?MoE?量子化?」昨日の検証編で出てきた用語をAI5兄弟が全力で解説!(GGUF・MoE・量子化)
🚀 次回予告
昨日測れなかった4つを、続けて測ります。
予測(LiLiCorr)あり:予測用のファイル(約1GB)を足す。作業台の残りが約370MBなので、載るかどうかが最初の関門です
考えるモードオン:合計がどれだけ延びるか
常駐のllm-jp-4と同居:止めずに動かせるか
Qwen3.5-35B-A3Bとの比較:同じお題で、同じMoEのモデルと比べる
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成。クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
【デザインコンセプト】
- 背景: 「秋の昼下がりのガラスの温室」。高いガラス屋根から、少し傾き始めたやわらかな午後の光が差し込む。手前に横長の木の作業台が1つ、奥には広い栽培台が何列も続いている。全体の色は、やわらかな山吹色から、明るい若葉色へのグラデーション
- メインビジュアル(手前の横長の作業台を、左・中央・右の3つの場面に分けて、3つの置き方を1枚で見せる):
- 【左の場面】作業台の上に、葉の茂った小さな鉢植えの木が3〜4本だけ並んでいる。そのすぐ奥の栽培台には、同じような木がまだたくさん並んでいる(作業台に載ったのは一部だけ)
- 【中央の場面】作業台の上に、まっすぐ立つ細い若木の幹が鉢に入って一列に並んでいる(どれも元気で、先端に若葉が少しだけ付いている。切り株や折れた木には見せない)。その幹から分けた、葉の茂った枝の束は、温室の奥の栽培台にまとめて置かれている
- 【右の場面】中央と同じ若木の幹の列の横に、籐で編んだ小さな丸い手提げカゴが置かれ、葉の付いた枝が数本入っている。クロコ(添付1)がそのカゴを作業台にそっと置きながら、奥の栽培台のほうを軽く振り返っている。表情は落ち着いていて、少し得意げ
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「置き場所を、選ぶさー」
- テキスト要素(3段):
- 上段(白・太字・30〜32pt・濃い影付き): 「GPUに載らないAIを家のPCで」
- 中段(特大ゴールド・44〜48pt): 「3つの置き方」
- 下段(白・細字・20〜22pt・濃い影付き): 「Nemotron 3.5 Bolt 22GB × RTX 3050(8GB)」
- 装飾: ガラス屋根の細い桟の影、午後の光の筋、作業台の上にこぼれた数枚の葉、栽培台の上の若い苗
- ※3つの場面は仕切り板や札で区切らず、作業台の上の置き方の違いだけで見分けられるようにすること
- ※作業台・鉢・カゴ・栽培台には数字や読める文字を描かないこと(数字や番号の札も描かない)
- ※手押し車・荷車・木箱は描かないこと
- ※落胆・叱責・×印・涙・倒れた木・折れた枝・切り株・枯れ木・時計を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: ガラスの花瓶・低い石の台・朝焼けの光(Day460)/会議室・ホワイトボード・虫めがね・付箋(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路・列車・案内板(Day455)/郵便仕分け場・ベルト・封筒(Day454)/作業机・物差し・閉じたノートPC(Day453)。※温室はDay456(昼)・Day457(夜)・Day460(朝)の続きの場面として、時間帯を「昼下がり」に変えて描く。籐の手提げカゴはシリーズの続きの小道具として使ってよい
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のガラス屋根と栽培台の列のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 秋の昼下がりのガラスの温室を設定する。傾き始めたやわらかな午後の光、手前の横長の作業台、奥まで続く栽培台、山吹色から若葉色へのグラデーション
3. 手前の作業台を左・中央・右の3つの場面に分ける。左は鉢植えの木が3〜4本(奥の栽培台にも木がたくさん)、中央は元気な若木の幹の列(枝の束は奥の栽培台)、右は幹の列の横に枝の入った籐のカゴ
4. 右の場面にクロコ(添付1と照合)を配置し、籐のカゴを作業台にそっと置きながら奥を振り返る姿にする
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる
9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する#YaroTech #ローカルLLM #llamacpp #Nemotron #RTX3050 #MoE #初心者向け #AI活用 #生成AI #毎日note