メインコンテンツへスキップ
見出し画像

Qwen3.8-Flash-Next + llama.cpp + グラボ二枚で動かすメモ - 生成速度も早くは無いがプロンプト処理が遅い

    まとめ

    次の PR が待てど暮せどマージされない。マージされなくたって使えるんだけど。

    • テキスト生成を優先にすると、生成速度は 32 tokens/s 程度、プロンプト処理は 212 tokens/s 程度。

    • プロンプト処理を優先にすると、生成速度は 21 tokens/s 程度、プロンプト処理は 438 tokens/s 程度。

    AI エージェントで、コンテキストの自動圧縮後、大きめのコンテキストの読み込みが必要だとプロンプト処理の遅さが気になる。

    N-gram 51B を SSD に残したまま実行できるのは良いが、アクティブパラメーター数が 6 B と考えるともう少し早いと嬉しいな。。
    まぁ、ぼくの環境では、背伸びな領域のモデルだから仕方なし。

    次の 2 つが気になっている。

    準備

    MTP モデルのダウンロード

    hf download unsloth/Qwen3.8-Flash-Next-GGUF MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf --local-dir ./models

    テキスト生成速度優先

    llama serve

    • `--lazy-mode on`

      • これで、N-gram の 51B 分を SSD に残す。

    llama serve \
      -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \
      -md ./models/MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf \
      -fa on -cb -np 1 \
      --temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
      --presence-penalty 1.5 --repeat-penalty 1.0 \
      --jinja --chat-template-kwargs '{"reasoning_effort": "low"}' \
      --spec-type draft-mtp --spec-draft-n-max 3 \
      --lazy-mode on \
      -ts 37,12 \
      -ot "blk\.(3[3-6])\.ffn_(gate|up|down)_exps=CUDA0" \
      -ot "blk\.(3[9]|4[01])\.ffn_(gate|up|down)_exps=CUDA1" \
      -ot "ffn_(gate|up|down)_exps=CPU" \
      --threads 6 -c 131072
    +-----------------------------------------------------------------------------------------+
    | NVIDIA-SMI 610.43.02              KMD Version: 610.43.02     CUDA UMD Version: 13.3     |
    +-----------------------------------------+------------------------+----------------------+
    | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
    |                                         |                        |               MIG M. |
    |=========================================+========================+======================|
    |   0  NVIDIA GeForce RTX 5070 Ti     On  |   00000000:01:00.0 Off |                  N/A |
    |  0%   40C    P1             48W /  300W |   15385MiB /  16303MiB |      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+
    |   1  NVIDIA GeForce RTX 5070        On  |   00000000:04:00.0 Off |                  N/A |
    |  0%   36C    P1             26W /  250W |   11441MiB /  12227MiB |      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+

    Flappy Bird 風ゲームのコーディング

    Flappy Bird 風のゲームを作成してください。
    (以下略)

    • PP: 524 tokens / 23s / 22.33 tokens/s

    • TG: 10,567 tokens / 5min 30s / 31.96 t/s

    画像

    人間失格の要約

    添付ファイルの内容を三行に要約して。

    • PP: 48165 tokens / 3min 46s / 212.83 tokens/s

    • TG: 334 tokens / 15s / 22.18 t/s

    画像

    プロンプト処理速度優先

    llama serve

    • `--threads 6`

      • CPU のコア数(参考値)

    • `--threads-batch 12`

      • CPU のスレッド数(参考値)

    • `-ub 4096`

      • ここが頭打ちだった(参考値)

    llama serve \
      -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \
      -md ./models/MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf \
      --threads 6 --threads-batch 12 -ub 4096 \
      -fa on -cb -np 1 \
      --temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
      --presence-penalty 1.5 --repeat-penalty 1.0 \
      --jinja --chat-template-kwargs '{"reasoning_effort": "low"}' \
      --spec-type draft-mtp --spec-draft-n-max 3 \
      --lazy-mode on \
      -ctk q8_0 -ctv q8_0 \
      -ts 43,6 \
      -ot "blk\.(3[3-4])\.ffn_(gate|up|down)_exps=CUDA0" \
      -ot "blk\.35\.ffn_down_exps=CUDA0" \
      -ot "ffn_(gate|up|down)_exps=CPU" \
      -c 131072
    +-----------------------------------------------------------------------------------------+
    | NVIDIA-SMI 610.43.02              KMD Version: 610.43.02     CUDA UMD Version: 13.3     |
    +-----------------------------------------+------------------------+----------------------+
    | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
    |                                         |                        |               MIG M. |
    |=========================================+========================+======================|
    |   0  NVIDIA GeForce RTX 5070 Ti     On  |   00000000:01:00.0 Off |                  N/A |
    |  0%   42C    P1             53W /  300W |   14565MiB /  16303MiB |      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+
    |   1  NVIDIA GeForce RTX 5070        On  |   00000000:04:00.0 Off |                  N/A |
    |  0%   37C    P1             26W /  250W |   10823MiB /  12227MiB |      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+

    人間失格の要約

    添付ファイルの内容を三行に要約して。

    • PP: 48165 tokens / 1min 50s / 437.61 tokens/s

    • TG: 270 tokens / 22s / 12.11 t/s

    画像

    Flappy Bird 風ゲームのコーディング

    Flappy Bird 風のゲームを作成してください。
    (以下略)

    • 524 tokens / 6.8s / 77.28 tokens/s

    • 10,349 tokens / 8min 5s / 21.30 t/s

    画像

    以上


    あなたへのおすすめ