
え?!! MoE の設定しなくても良しなにやってくれるの??いつそうなった? llama.cpp やるな
検証(1)
MoE オプション: 無し/コンテキストレングス: 32,768
./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 32768prompt eval time = 201.34 ms / 41 tokens ( 4.91 ms per token, 203.63 tokens per second)
eval time = 60905.77 ms / 4509 tokens ( 13.51 ms per token, 74.03 tokens per second)
total time = 61107.11 ms / 4550 tokens74.03 tokens per second
アホな顔してコマンド叩けばこの速度。
MoE を設定しないと、以前は落ちてた気がするんだけどね。
MoE オプション: 有り/コンテキストレングス: 32,768
./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 32768 \
--threads 6 --n-cpu-moe 16prompt eval time = 244.96 ms / 41 tokens ( 5.97 ms per token, 167.37 tokens per second)
eval time = 68090.86 ms / 5176 tokens ( 13.16 ms per token, 76.02 tokens per second)
total time = 68335.82 ms / 5217 tokens76.02 tokens per second
ギリギリまで攻めているから、若干早いけど、もはや誤差。
検証(2)
MoE オプション: 無し/コンテキストレングス: 131,072
./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 131072prompt eval time = 239.73 ms / 41 tokens ( 5.85 ms per token, 171.02 tokens per second)
eval time = 87100.35 ms / 5816 tokens ( 14.98 ms per token, 66.77 tokens per second)
total time = 87340.08 ms / 5857 tokens66.77 tokens per second
MoE オプション: 有り/コンテキストレングス: 131,072
./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 131072 \
--threads 6 --n-cpu-moe 20prompt eval time = 272.14 ms / 41 tokens ( 6.64 ms per token, 150.66 tokens per second)
eval time = 63582.98 ms / 4398 tokens ( 14.46 ms per token, 69.17 tokens per second)
total time = 63855.12 ms / 4439 tokens69.17 tokens per second
検証(3)
MoE オプション: 有り/コンテキストレングス: 131,072
./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 131072 --threads 6 --n-cpu-moe 40VRAM: 7.38 GB
prompt eval time = 435.40 ms / 39 tokens ( 11.16 ms per token, 89.57 tokens per second)
eval time = 110000.88 ms / 5109 tokens ( 21.53 ms per token, 46.45 tokens per second)
total time = 110436.28 ms / 5148 tokens46.45 tokens per second
これでも、個人的には十分な速度。
環境
調査結果(Gemini)
1. 2025年8月:--n-cpu-moe の導入(伏線)
これまで MoE モデル(Mixtralなど)を VRAM に収めるには、正規表現を使った複雑なレイヤー指定が必要でしたが、8月初旬に --n-cpu-moe(または --cpu-moe)というフラグが追加されました。
変化: 「何個のエキスパートを CPU に逃がすか」を数字1つで指定できるようになり、MoE 特有のメモリ不足エラーを回避しやすくなりました。
2. 2025年10月〜11月:VRAM予算管理 (Memory Budgeting) の実装
この時期、llama.cpp のコア部分に 「利用可能な VRAM を事前にチェックし、モデルを分割する」 ロジックが組み込まれました。
変化: 以前は指定された -ngl(GPUレイヤー数)が VRAM を超えるとロード中にクラッシュしていましたが、この更新により**「現在の空き VRAM に合わせて -ngl を自動計算、または超過分を自動で RAM へ回す」**という賢い挙動がデフォルトになりました。
3. 2026年1月:Auto-fit 機能の完成とデフォルト化
年明けの 2026年1月初旬、内部的な「Model Planner」という古い仕組みが廃止され、llama_params_fit という新しい自動適合システムに完全に置き換わりました。
変化: 起動ログに llama_params_fit: successfully fit params to free device memory と表示されるようになったのはこの頃です。これにより、ユーザーが何も設定しなくても「VRAM に入るだけ入れ、残りは RAM で動かす」という挙動が完成形となりました。
結論:いつから「良しなに」なったのか?
「手動調整が楽になった」 のは 2025年8月。
「設定ミスで落ちなくなった(予算管理の導入)」 のは 2025年11月頃。
「今の、何も考えずに最適化される状態」 になったのは 2026年1月。
まとめ?
そうそう、この MoE 設定があったから今のマシンを買うきっかけになった。アホな顔している間に、自動化されていたんだね。
--fit オプションがデフォルトで on だから適用されていたのか。