
llama.cppの-ngl -1、16GBのM4で128K以上にしたら8回中8回メモリ不足。-cを外せば全層GPUでした
Redditのr/LocalLLaMAで「llama.cppを`-ngl -1`(GPUに載せる層数を自動で決める)で起動したら、何度かに1回、GPUに1層も載らずCPUで回っていた」という投稿が話題になっていました(Qwen3.8-27B・Q4_K_Mでの報告)。
同じことが16GBのMacでも起きているのか、自分のMac mini M4で20回起動して数えました。
結論から書くと、うちでは「0層になった」は20回中0回でした。そのかわり、コンテキスト長`-c`を128K以上にすると、8回中8回がGPUのメモリ不足で落ちました。`-c`を書かずに起動すると、llama.cppがコンテキストを縮めて全層をGPUに載せ、毎秒12トークンで普通に動きました。
この記事でわかること:
`-ngl -1`(自動)が実際に何層GPUに載せるか
16GBのMacで落ちる条件と、落ちない起動のしかた
自分のMacで同じログを確認する手順
検証環境
Mac mini M4 / メモリ16GB / macOS 26.4
llama.cpp 0.4.1(brew版、build 10964)
モデル: Qwen3.5-9B(Q6_K、7.15GiB、学習時のコンテキスト長は262144)
起動ログはllama-serverに`-lv 4`を付けて取得
16GBのM4では、GPU(Metal)が使える上限は12124MiBとログに出ていました。
そもそも-ngl -1は何をしているか
今のllama.cppは`-ngl`の既定が`auto`です(`llama-server --help`で確認できます)。起動時に「fit」という処理が走り、空いているGPUメモリに収まるように設定を自動で調整します。
ポイントは、ユーザーが指定していない項目だけを調整することです。`-c`を自分で書いていればコンテキストはそのままにして、GPUに載せる層の数を減らします。`-c`を書いていなければ、層は全部載せたままコンテキストを縮めにいきます。
結果: -cの大きさごとに4回ずつ起動した
コンテキスト長を5段階に変えて、それぞれ4回起動しました。
`-c 8192`: 34層中34層がGPU。4回とも同じ
`-c 32768`: 34層中34層。4回とも同じ
`-c 65536`: 34層中34層。4回とも同じ。生成は毎秒14.0〜14.2トークン
`-c 131072`: 34層中31層。4回とも起動直後のウォームアップでメモリ不足
`-c 262144`: 34層中22層。4回ともメモリ不足
結果は毎回まったく同じで、ランダムに0層になる現象は出ませんでした。Redditの報告はMTPの設定やGPUの種類も絡んでいるようなので、Macで同じことが起きるとは言えない、というのがうちでの答えです。
落ちたときのログはこうなっていました。
common_params_fit_impl: cannot meet free memory target of 1024 MiB, need to reduce device memory by 419 MiB
common_params_fit_impl: context size set by user to 131072 -> no change
common_params_fit_impl: - MTL0 (Apple M4): 31 layers, 10766 MiB used, 1156 MiB free
error: Insufficient Memory (00000008:kIOGPUCommandBufferCallbackErrorOutOfMemory)fitは「残り1GBを空けておけば大丈夫」という計算で31層まで載せますが、Macはメインメモリを画面表示や他のアプリと共有しているので、1GBの余白では足りなかった、という読みです(ここは解釈です)。
ちなみに余白を`-fitt 3072`(3GB)に広げると起動はしましたが、プロンプトの読み込みが毎秒0.15トークンまで落ちて、使える速さではありませんでした(1回だけ試して止めています)。
-cを外すと全部GPUに載った
`-c`を書かずに起動したら、ログはこうなりました。
common_params_fit_impl: entire model can be fit by reducing context
load_tensors: offloaded 34/34 layers to GPU
llama_context: n_ctx = 119040コンテキストを262144から119040まで自動で縮め、全層をGPUに載せています。この状態でメモリ不足は0回、生成は毎秒12.1トークンでした。
つまり16GBのMacでは、`-c`を大きく書くより、書かないほうが安全でした。
自分のMacで確認する手順
いつもの起動コマンドに`-lv 4`を足します
llama-server -m モデル.gguf -ngl -1 -c 131072 -lv 4 2>&1 | tee server.log別のターミナルで、GPUに何層載ったかとメモリ不足が出ていないかを見ます
grep -E "offloaded [0-9]+/[0-9]+ layers" server.log
grep -c "OutOfMemory" server.log`offloaded`の分子が分母より小さい、または`OutOfMemory`が1以上なら、`-c`を外すか小さくして起動し直します
llama-server -m モデル.gguf -ngl -1起動中は`llama-server`が「listening on」と出していても、裏でメモリ不足を出し続けていることがありました(`-c 262144`では43回出ていました)。画面だけ見て安心せず、ログを数えるのが確実です。
まとめ
16GBのM4で`-ngl -1`が「0層」になる現象は20回中0回。設定が同じなら結果は毎回同じでした
危ないのは`-c`を128K以上に書いたときで、8回中8回メモリ不足
`-c`を書かなければ、llama.cppがコンテキストを119040まで縮めて全層GPUで動きました
長いコンテキストを使いたくて`-c`を大きくしている人は、一度`-lv 4`でログを見てみてください。`offloaded`の数字が分母と揃っていなければ、速さもメモリも損をしています。
出典: https://www.reddit.com/r/LocalLLaMA/comments/1xun196/
関連(有料):16GBで128Kが入らないなら、もっと大きなモデルを手元で動かすにはどれだけ要るのか。GLM-5.2で必要なメモリを見積もった記録です。