メインコンテンツへスキップ
見出し画像

llama.cppの-ngl -1、16GBのM4で128K以上にしたら8回中8回メモリ不足。-cを外せば全層GPUでした

    Redditのr/LocalLLaMAで「llama.cppを`-ngl -1`(GPUに載せる層数を自動で決める)で起動したら、何度かに1回、GPUに1層も載らずCPUで回っていた」という投稿が話題になっていました(Qwen3.8-27B・Q4_K_Mでの報告)。

    同じことが16GBのMacでも起きているのか、自分のMac mini M4で20回起動して数えました。

    結論から書くと、うちでは「0層になった」は20回中0回でした。そのかわり、コンテキスト長`-c`を128K以上にすると、8回中8回がGPUのメモリ不足で落ちました。`-c`を書かずに起動すると、llama.cppがコンテキストを縮めて全層をGPUに載せ、毎秒12トークンで普通に動きました。

    この記事でわかること:

    • `-ngl -1`(自動)が実際に何層GPUに載せるか

    • 16GBのMacで落ちる条件と、落ちない起動のしかた

    • 自分のMacで同じログを確認する手順

    検証環境

    • Mac mini M4 / メモリ16GB / macOS 26.4

    • llama.cpp 0.4.1(brew版、build 10964)

    • モデル: Qwen3.5-9B(Q6_K、7.15GiB、学習時のコンテキスト長は262144)

    • 起動ログはllama-serverに`-lv 4`を付けて取得

    16GBのM4では、GPU(Metal)が使える上限は12124MiBとログに出ていました。

    そもそも-ngl -1は何をしているか

    今のllama.cppは`-ngl`の既定が`auto`です(`llama-server --help`で確認できます)。起動時に「fit」という処理が走り、空いているGPUメモリに収まるように設定を自動で調整します。

    ポイントは、ユーザーが指定していない項目だけを調整することです。`-c`を自分で書いていればコンテキストはそのままにして、GPUに載せる層の数を減らします。`-c`を書いていなければ、層は全部載せたままコンテキストを縮めにいきます。

    結果: -cの大きさごとに4回ずつ起動した

    コンテキスト長を5段階に変えて、それぞれ4回起動しました。

    • `-c 8192`: 34層中34層がGPU。4回とも同じ

    • `-c 32768`: 34層中34層。4回とも同じ

    • `-c 65536`: 34層中34層。4回とも同じ。生成は毎秒14.0〜14.2トークン

    • `-c 131072`: 34層中31層。4回とも起動直後のウォームアップでメモリ不足

    • `-c 262144`: 34層中22層。4回ともメモリ不足

    結果は毎回まったく同じで、ランダムに0層になる現象は出ませんでした。Redditの報告はMTPの設定やGPUの種類も絡んでいるようなので、Macで同じことが起きるとは言えない、というのがうちでの答えです。

    落ちたときのログはこうなっていました。

    common_params_fit_impl: cannot meet free memory target of 1024 MiB, need to reduce device memory by 419 MiB
    common_params_fit_impl: context size set by user to 131072 -> no change
    common_params_fit_impl:   - MTL0 (Apple M4): 31 layers,  10766 MiB used,   1156 MiB free
    error: Insufficient Memory (00000008:kIOGPUCommandBufferCallbackErrorOutOfMemory)

    fitは「残り1GBを空けておけば大丈夫」という計算で31層まで載せますが、Macはメインメモリを画面表示や他のアプリと共有しているので、1GBの余白では足りなかった、という読みです(ここは解釈です)。

    ちなみに余白を`-fitt 3072`(3GB)に広げると起動はしましたが、プロンプトの読み込みが毎秒0.15トークンまで落ちて、使える速さではありませんでした(1回だけ試して止めています)。

    -cを外すと全部GPUに載った

    `-c`を書かずに起動したら、ログはこうなりました。

    common_params_fit_impl: entire model can be fit by reducing context
    load_tensors: offloaded 34/34 layers to GPU
    llama_context: n_ctx = 119040

    コンテキストを262144から119040まで自動で縮め、全層をGPUに載せています。この状態でメモリ不足は0回、生成は毎秒12.1トークンでした。

    つまり16GBのMacでは、`-c`を大きく書くより、書かないほうが安全でした。

    自分のMacで確認する手順

    1. いつもの起動コマンドに`-lv 4`を足します

    llama-server -m モデル.gguf -ngl -1 -c 131072 -lv 4 2>&1 | tee server.log
    1. 別のターミナルで、GPUに何層載ったかとメモリ不足が出ていないかを見ます

    grep -E "offloaded [0-9]+/[0-9]+ layers" server.log
    grep -c "OutOfMemory" server.log
    1. `offloaded`の分子が分母より小さい、または`OutOfMemory`が1以上なら、`-c`を外すか小さくして起動し直します

    llama-server -m モデル.gguf -ngl -1

    起動中は`llama-server`が「listening on」と出していても、裏でメモリ不足を出し続けていることがありました(`-c 262144`では43回出ていました)。画面だけ見て安心せず、ログを数えるのが確実です。

    まとめ

    • 16GBのM4で`-ngl -1`が「0層」になる現象は20回中0回。設定が同じなら結果は毎回同じでした

    • 危ないのは`-c`を128K以上に書いたときで、8回中8回メモリ不足

    • `-c`を書かなければ、llama.cppがコンテキストを119040まで縮めて全層GPUで動きました

    長いコンテキストを使いたくて`-c`を大きくしている人は、一度`-lv 4`でログを見てみてください。`offloaded`の数字が分母と揃っていなければ、速さもメモリも損をしています。

    出典: https://www.reddit.com/r/LocalLLaMA/comments/1xun196/


    関連(有料):16GBで128Kが入らないなら、もっと大きなモデルを手元で動かすにはどれだけ要るのか。GLM-5.2で必要なメモリを見積もった記録です。


     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ