
Qwen3.8-Flash-Next + llama.cpp + グラボ二枚で動かすメモ - 生成速度も早くは無いがプロンプト処理が遅い
まとめ
次の PR が待てど暮せどマージされない。マージされなくたって使えるんだけど。
テキスト生成を優先にすると、生成速度は 32 tokens/s 程度、プロンプト処理は 212 tokens/s 程度。
プロンプト処理を優先にすると、生成速度は 21 tokens/s 程度、プロンプト処理は 438 tokens/s 程度。
AI エージェントで、コンテキストの自動圧縮後、大きめのコンテキストの読み込みが必要だとプロンプト処理の遅さが気になる。
N-gram 51B を SSD に残したまま実行できるのは良いが、アクティブパラメーター数が 6 B と考えるともう少し早いと嬉しいな。。
まぁ、ぼくの環境では、背伸びな領域のモデルだから仕方なし。
次の 2 つが気になっている。
準備
MTP モデルのダウンロード
hf download unsloth/Qwen3.8-Flash-Next-GGUF MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf --local-dir ./modelsテキスト生成速度優先
llama serve
`--lazy-mode on`
これで、N-gram の 51B 分を SSD に残す。
llama serve \
-hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \
-md ./models/MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf \
-fa on -cb -np 1 \
--temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
--presence-penalty 1.5 --repeat-penalty 1.0 \
--jinja --chat-template-kwargs '{"reasoning_effort": "low"}' \
--spec-type draft-mtp --spec-draft-n-max 3 \
--lazy-mode on \
-ts 37,12 \
-ot "blk\.(3[3-6])\.ffn_(gate|up|down)_exps=CUDA0" \
-ot "blk\.(3[9]|4[01])\.ffn_(gate|up|down)_exps=CUDA1" \
-ot "ffn_(gate|up|down)_exps=CPU" \
--threads 6 -c 131072+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 610.43.02 KMD Version: 610.43.02 CUDA UMD Version: 13.3 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 5070 Ti On | 00000000:01:00.0 Off | N/A |
| 0% 40C P1 48W / 300W | 15385MiB / 16303MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 5070 On | 00000000:04:00.0 Off | N/A |
| 0% 36C P1 26W / 250W | 11441MiB / 12227MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+Flappy Bird 風ゲームのコーディング
Flappy Bird 風のゲームを作成してください。
(以下略)
PP: 524 tokens / 23s / 22.33 tokens/s
TG: 10,567 tokens / 5min 30s / 31.96 t/s

人間失格の要約
添付ファイルの内容を三行に要約して。
PP: 48165 tokens / 3min 46s / 212.83 tokens/s
TG: 334 tokens / 15s / 22.18 t/s

プロンプト処理速度優先
llama serve
`--threads 6`
CPU のコア数(参考値)
`--threads-batch 12`
CPU のスレッド数(参考値)
`-ub 4096`
ここが頭打ちだった(参考値)
llama serve \
-hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \
-md ./models/MTP/mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf \
--threads 6 --threads-batch 12 -ub 4096 \
-fa on -cb -np 1 \
--temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
--presence-penalty 1.5 --repeat-penalty 1.0 \
--jinja --chat-template-kwargs '{"reasoning_effort": "low"}' \
--spec-type draft-mtp --spec-draft-n-max 3 \
--lazy-mode on \
-ctk q8_0 -ctv q8_0 \
-ts 43,6 \
-ot "blk\.(3[3-4])\.ffn_(gate|up|down)_exps=CUDA0" \
-ot "blk\.35\.ffn_down_exps=CUDA0" \
-ot "ffn_(gate|up|down)_exps=CPU" \
-c 131072+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 610.43.02 KMD Version: 610.43.02 CUDA UMD Version: 13.3 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 5070 Ti On | 00000000:01:00.0 Off | N/A |
| 0% 42C P1 53W / 300W | 14565MiB / 16303MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 5070 On | 00000000:04:00.0 Off | N/A |
| 0% 37C P1 26W / 250W | 10823MiB / 12227MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+人間失格の要約
添付ファイルの内容を三行に要約して。
PP: 48165 tokens / 1min 50s / 437.61 tokens/s
TG: 270 tokens / 22s / 12.11 t/s

Flappy Bird 風ゲームのコーディング
Flappy Bird 風のゲームを作成してください。
(以下略)
524 tokens / 6.8s / 77.28 tokens/s
10,349 tokens / 8min 5s / 21.30 t/s

以上