メインコンテンツへスキップ
見出し画像

え?!! MoE の設定しなくても良しなにやってくれるの??いつそうなった? llama.cpp やるな

    検証(1)

    MoE オプション: 無し/コンテキストレングス: 32,768

    ./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 32768
    prompt eval time =     201.34 ms /    41 tokens (    4.91 ms per token,   203.63 tokens per second)
           eval time =   60905.77 ms /  4509 tokens (   13.51 ms per token,    74.03 tokens per second)
          total time =   61107.11 ms /  4550 tokens
    • 74.03 tokens per second

    アホな顔してコマンド叩けばこの速度。
    MoE を設定しないと、以前は落ちてた気がするんだけどね。

    MoE オプション: 有り/コンテキストレングス: 32,768

    ./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 32768 \
      --threads 6 --n-cpu-moe 16
    prompt eval time =     244.96 ms /    41 tokens (    5.97 ms per token,   167.37 tokens per second)
           eval time =   68090.86 ms /  5176 tokens (   13.16 ms per token,    76.02 tokens per second)
          total time =   68335.82 ms /  5217 tokens
    • 76.02 tokens per second

    ギリギリまで攻めているから、若干早いけど、もはや誤差。

    検証(2)

    MoE オプション: 無し/コンテキストレングス: 131,072

    ./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 131072
    prompt eval time =     239.73 ms /    41 tokens (    5.85 ms per token,   171.02 tokens per second)
           eval time =   87100.35 ms /  5816 tokens (   14.98 ms per token,    66.77 tokens per second)
          total time =   87340.08 ms /  5857 tokens
    • 66.77 tokens per second

    MoE オプション: 有り/コンテキストレングス: 131,072

    ./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 131072 \
      --threads 6 --n-cpu-moe 20
    prompt eval time =     272.14 ms /    41 tokens (    6.64 ms per token,   150.66 tokens per second)
           eval time =   63582.98 ms /  4398 tokens (   14.46 ms per token,    69.17 tokens per second)
          total time =   63855.12 ms /  4439 tokens
    • 69.17 tokens per second

    検証(3)

    MoE オプション: 有り/コンテキストレングス: 131,072

    ./build/bin/llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 131072 --threads 6 --n-cpu-moe 40
    • VRAM: 7.38 GB

    prompt eval time =     435.40 ms /    39 tokens (   11.16 ms per token,    89.57 tokens per second)
           eval time =  110000.88 ms /  5109 tokens (   21.53 ms per token,    46.45 tokens per second)
          total time =  110436.28 ms /  5148 tokens
    • 46.45 tokens per second

    これでも、個人的には十分な速度。

    環境

    調査結果(Gemini)

    1. 2025年8月:--n-cpu-moe の導入(伏線)

    これまで MoE モデル(Mixtralなど)を VRAM に収めるには、正規表現を使った複雑なレイヤー指定が必要でしたが、8月初旬に --n-cpu-moe(または --cpu-moe)というフラグが追加されました。

    • 変化: 「何個のエキスパートを CPU に逃がすか」を数字1つで指定できるようになり、MoE 特有のメモリ不足エラーを回避しやすくなりました。

    2. 2025年10月〜11月:VRAM予算管理 (Memory Budgeting) の実装

    この時期、llama.cpp のコア部分に 「利用可能な VRAM を事前にチェックし、モデルを分割する」 ロジックが組み込まれました。

    • 変化: 以前は指定された -ngl(GPUレイヤー数)が VRAM を超えるとロード中にクラッシュしていましたが、この更新により**「現在の空き VRAM に合わせて -ngl を自動計算、または超過分を自動で RAM へ回す」**という賢い挙動がデフォルトになりました。

    3. 2026年1月:Auto-fit 機能の完成とデフォルト化

    年明けの 2026年1月初旬、内部的な「Model Planner」という古い仕組みが廃止され、llama_params_fit という新しい自動適合システムに完全に置き換わりました。

    • 変化: 起動ログに llama_params_fit: successfully fit params to free device memory と表示されるようになったのはこの頃です。これにより、ユーザーが何も設定しなくても「VRAM に入るだけ入れ、残りは RAM で動かす」という挙動が完成形となりました。


    結論:いつから「良しなに」なったのか?

    • 「手動調整が楽になった」 のは 2025年8月。

    • 「設定ミスで落ちなくなった(予算管理の導入)」 のは 2025年11月頃。

    • 「今の、何も考えずに最適化される状態」 になったのは 2026年1月。

    まとめ?

    そうそう、この MoE 設定があったから今のマシンを買うきっかけになった。アホな顔している間に、自動化されていたんだね。

    --fit オプションがデフォルトで on だから適用されていたのか。

    あなたへのおすすめ