メインコンテンツへスキップ
見出し画像

“Qwen3.6-35B-A3B” - 何が起こった? 0.1で違いすぎやしませんか? Flappy Bird 作成 と パターン別生成速度計測

    概要

    Qwen3.6-35B-A3B をちょっと動かしてみようと試したら、びっくり。
    Flappy Bird を簡単なプロンプトでチャットに入れただけなのにすごかった。
    ついでにオセロも。

    Qwen3.5 の時と変わらないだろうが、いくつかの実行パターンで、生成速度を見てみた。6 ビット量子化で 128K コンテキストレングスで、60 t/s 弱出るのにこの性能。いや、すごいっす。

    モデル

    unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q6_K_XL

    llama.cpp

    llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q6_K_XL --jinja \
      --ctx-size 131072 --alias "qwen36-35b-a3b" \
      --cache-type-k q8_0 --cache-type-v q8_0 --host 0.0.0.0 --n-cpu-moe 40

    Flappy Bird

    作成環境

    llama-server の Web UI
    http://localhost:8080

    ユーザープロンプト

    index.html のみで Flappy Bird を作成して

    遠景の山はパララックスして、鳥は羽ばたいて、パイプの質感高し。
    ディスプレイのリフレッシュレートが 60Hz じゃないと期待する動作にならないけど、開発用エージェントでも無ければ、画像の入力も無いワンショット。これはヤバい。

    1 世代前の unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q6_K_XL で同環境で作ったのがこれ。一応動くが、パイプの無い場所を通ろうとしても衝突判定されてしまう。何よりビジュアルが違いすぎる。ファイルサイズ(生成トークン数)の差も凄い。

    画像

    オセロ

    作成環境

    llama-server の Web UI
    http://localhost:8080

    ユーザープロンプト

    index.html のみでコンピューターと対戦できるオセロを作って

    石は、碁石っぽさがあるが、石の反転アニメーションは、今までに無い。
    バグも無く(?)遊べるし、ビジュアルも過去イチだし、ビビる。


    パターン別生成速度

    Ⅰ) 2 ビット量子化 + 128K コンテキストレングス

    llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q2_K_XL --jinja \
      --ctx-size 131072 --alias "qwen36-35b-a3b" \
      --cache-type-k q8_0 --cache-type-v q8_0
    • VRAM 消費: 15.02 GB

    • 生成速度: 160.72 tokens per second (徐々に速度は落ちる)

    prompt eval time =     100.12 ms /    25 tokens (    4.00 ms per token,   249.69 tokens per second)
           eval time =   42171.75 ms /  6778 tokens (    6.22 ms per token,   160.72 tokens per second)
          total time =   42271.87 ms /  6803 tokens

    Ⅱ) 6 ビット量子化 + 128K コンテキス + VRAM 最低限

    llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q6_K_XL --jinja \
      --ctx-size 131072 --alias "qwen36-35b-a3b" \
      --cache-type-k q8_0 --cache-type-v q8_0 --n-cpu-moe 40
    • VRAM 消費: 5.98 GB

    • 生成速度: 44.74 tokens per second

    prompt eval time =     266.14 ms /    25 tokens (   10.65 ms per token,    93.94 tokens per second)
           eval time =  126372.21 ms /  5654 tokens (   22.35 ms per token,    44.74 tokens per second)
          total time =  126638.35 ms /  5679 tokens

    Ⅲ) 6 ビット量子化 + 128K コンテキスト + VRAM 限界付近

    6 ビット量子化で、128K コンテキストレングス指定して、この速度はかなり良い。

    llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q6_K_XL \
      --jinja   --ctx-size 131072 --alias "qwen36-35b-a3b" \
      --cache-type-k q8_0 --cache-type-v q8_0 --n-cpu-moe 26
    • VRAM 消費: 15.44 GB

    • 生成速度: 57.94 tokens per second

    prompt eval time =     202.49 ms /    23 tokens (    8.80 ms per token,   113.58 tokens per second)
           eval time =  204783.96 ms / 11866 tokens (   17.26 ms per token,    57.94 tokens per second)
          total time =  204986.45 ms / 11889 tokens

    環境

    以上


    あなたへのおすすめ