
llama.cpp 1.0.0で、16GBのM4のGPUに載らなかったLFM2.5-24Bが動きました。ただし毎秒4.1トークン
llama.cppが11月13日にバージョン1.0.0になりました。古いオプションの削除と、MoEモデル向けの新しい「エキスパートキャッシュ」が入った節目のリリースです。
10月にLFM2.5-24B-A2Bを16GBのM4で試したとき、GPUには載らず、CPUだけで毎秒3.58トークンという結果でした。1.0.0でそれが変わるのかを同じMacで測り直しました。
この記事でわかること:
1.0.0に上げると、自分の起動コマンドが壊れるかどうか
16GBのMacでLFM2.5-24Bがどこまで動くようになったか
新機能のMoEキャッシュが、16GBのMacで役に立つか
検証環境はMac mini M4(メモリ16GB・macOS 26.4)、llama.cppはGitHubのv1.0.0リリースが指しているビルドb12359(`--version` の表示は 1.0.0-dev)です。Homebrewの安定版はまだ0.9.0なので、`brew upgrade` ではまだ1.0.0になりません。
先に結論
この3か月で自分が打ったllama.cppのコマンド285本を調べたら、llama-serverに渡していたオプション31種類は1.0.0でも全部残っていた
LFM2.5-24B-A2Bは、全層GPUだと1.0.0でもメモリ不足。ただし10月には落ちていた `--n-cpu-moe` が動くようになり、生成は毎秒4.13トークン
新機能のMoEキャッシュは、普通に指定すると警告1行だけ出して無効のまま。有効にできたが、16GBのMacでは逆に遅くなった
1.0.0で消えたもの
プルリクエスト(#32190)によると、1.0.0では非推奨だった公開関数35個と、KVキャッシュの断片化しきい値を決める `--defrag-thold`(短縮形 `-dt`)が削除されています。関数の削除はllama.cppをライブラリとして呼ぶ側(Pythonのバインディングなど)に効く話で、コマンドで使っている人に関係するのは主に `--defrag-thold` です。
自分の起動スクリプトにこれが入っていないかは、次の1行で確認できます。
grep -rn -- "--defrag-thold\|-dt " ~/Library/LaunchAgents ~/bin ~/*.sh 2>/dev/null自分の場合は、Claude Codeの作業ログから過去3か月に実行したllama.cppのコマンド285本を抜き出し、llama-serverに渡していたオプションを数えました。`-m` `-c` `-ngl` `--jinja` `--cache-type-k` など31種類で、1.0.0の `--help` に全部残っていました。`--defrag-thold` は一度も使っていなかったので、自分の環境では上げても何も壊れません。
ついでに気づいた点として、`--no-mmap` は1.0.0より前の時点ですでに消えています。代わりは `-lm none`(`--load-mode none`)です。古いブログ記事の手順をそのまま貼ると、ここで止まります。
LFM2.5-24Bを測り直した
1.0.0はリリースページからMac用のビルドをダウンロードし、Homebrew版とは別の場所に置いて試しました。
gh release download b12359 -R ggml-org/llama.cpp -p 'llama-b12359-bin-macos-arm64.tar.gz'
tar xzf llama-b12359-bin-macos-arm64.tar.gz
cd llama-b12359まず全層をGPUに載せる設定です。
./llama-bench -m LFM2.5-24B-A2B-QAD-Q4_0.gguf -ngl 99 -p 128 -n 32 -r 1結果は10月と同じ `Insufficient Memory` でした。モデル本体が12.64GiBあり、16GBのM4でGPUが使える上限(約12.4GiB)を最初から超えているので、バージョンを上げても変わりません。
次に、MoEの「エキスパート」部分だけをCPU側のメモリに置き、残りをGPUで計算する設定です。10月のビルド(b10964)では、これがCPU側の処理で落ちていました。
./llama-bench -m LFM2.5-24B-A2B-QAD-Q4_0.gguf -ngl 99 -ncmoe 40 -p 128 -n 64 -r 11.0.0では最後まで走りました。
プロンプト読み込み: 毎秒18.02トークン(10月のCPUだけ: 14.56)
生成: 毎秒4.13トークン(10月のCPUだけ: 3.58)
GPUを使って動くようにはなりました。ただ、生成が速くなったのは約15%で、計測中のスワップは5〜6GBに達していました。ほかのアプリと並べて普段使いできる速さではありません。なお10月の数字はビルドも設定も違うので、厳密な同条件比較ではありません。
新機能のMoEキャッシュは黙って無効だった
1.0.0の目玉の1つが `--moe-cache-mib` です。CPU側に置いたエキスパートのうち、よく使うものをGPU側にキャッシュしておく機能です。16GBのMacでMoEモデルを速くできるかもしれない、と期待して試しました。
./llama-completion -m LFM2.5-24B-A2B-QAD-Q4_0.gguf -ngl 99 -cmoe --moe-cache-mib 2048 \
-c 2048 -n 64 --temp 0 -no-cnv -p "Explain what a Mixture of Experts model is in three sentences."動きはしますが、ログに次の1行が出ていました。
no layer has all of its experts in host memory, MoE cache is disabledキャッシュは無効のまま、エラーにもならずに普通に走ります。生成速度だけ見ていると、効いていないことに気づけません。
`-lm none` で読み込み方を変えても同じ警告でした。重みを並べ替えて最適化する処理(repack)を `-nr` で切ると警告は消え、キャッシュが有効になりました。ところが生成は毎秒1.45トークンで、キャッシュなし(毎秒2.56トークン)より遅くなりました。並べ替えを切ったぶんCPU側の計算が遅くなり、キャッシュの効果を上回ったようです。
64トークンを1回ずつ流しただけの計測で、スワップの状態によって毎秒2.2〜2.6トークン程度は揺れます。それでも、16GBのMacでこのモデルを速くする手段にはなりませんでした。
まとめ
llama.cpp 1.0.0で消えたコマンドのオプションは `--defrag-thold` が中心。自分の3か月分のコマンド31種類は全部そのまま動いた
LFM2.5-24B-A2Bは、16GBのM4でも `-ngl 99 -ncmoe 40` ならGPUを使って動くようになった。生成は毎秒4.13トークン
新しいMoEキャッシュは、警告1行だけ出して無効になることがある。使うならログの `MoE cache is disabled` を必ず確認する
MoEキャッシュは、メモリに余裕があってエキスパートの一部をGPUに置けるMacほど効く設計に見えます。16GBで試すなら、まずは手元のスクリプトを `grep` して、1.0.0で止まる行が無いかだけ確認しておくのがおすすめです。
出典:
関連(有料):16GBで24Bがぎりぎりなら、もっと大きなモデルを手元で動かすにはどれだけ要るのか。GLM-5.2で必要なメモリを見積もった記録です。