メインコンテンツへスキップ
見出し画像

Qwen/Qwen3-Coder-Next (80B-A3B)がキター! 256K Context Length でまともにコーディングできるかもしれない期待のモデル

    モデル

    環境

    実行

    念の為、 llama.cpp を最新にアップデートして。

    ./llama-server -hf Qwen/Qwen3-Coder-Next-GGUF:Q4_K_M --jinja \
      --ctx-size 32768 --threads 6 --n-cpu-moe 48 \
      --host 0.0.0.0 --alias qwen3codernext

    リソース消費

    Qwen3-Next-80B-A3B-Instruct の時もメモリ効率?が良かったが、相変わらず良いね。

    起動オプション: `--ctx-size 32768`, `--n-cpu-moe 48`

    • VRAM: 3.71 GB

    • PHYSICAL: 48.23 GB

    起動オプション: `--ctx-size 262144`, `--n-cpu-moe 48`

    • VRAM: 9.40 GB

    • PHYSICAL: 48.66 GB

    起動オプション: `--ctx-size 262144`, `--n-cpu-moe 42`

    • VRAM: 15.23 GB

    • PHYSICAL: 42.78 GB

    生成速度

    起動オプション: `--ctx-size 262144`, `--n-cpu-moe 48`

    • 4,274 tokens

    • 122.82 s

    • 34.80 tokens/s

      • 35.0 スタートで、徐々に下がっていったが、このくらいの下がり幅なら実用的か。

    起動オプション: `--ctx-size 262144`, `--n-cpu-moe 42`

    • 4,074 tokens

    • 108.47 s

    • 37.56 tokens/s

      • 38.0 スタートで、徐々に下がっていったが、このくらいの下がり幅なら実用的か。ただ、 `--n-cpu-moe 48` の時より、気持ち下がるのが早かった気がする。もしかしたら、コンテキスト多くなると、VRAM 消費と生成速度のコスパは `--n-cpu-moe 42` の方が悪いかも。

    所感

    サクッと動いて良かった。
    これからコーディング性能を試す。楽しみ。


    あなたへのおすすめ