
Qwen3.8-Flash-Next-GGUF:UD-IQ4_XS を Ubuntu の llama.cpp で動かしてみた(生成は 22 t/s スタート) 〜 せめて MTP は欲しいが対応はまだ無い
所感
今の状況だと常用は厳しい。MTP 対応が欲しい。あと、最適化が進んで、生成速度が早くなってくれたら、、。
FreeToken の #257(マージ済み)が気になる。近いうちに。
あと、デフォルト(effort: xhigh)は長すぎる。今回試したプロンプトで xhigh も試したが、low が 10 分程度であるのに対して、xhigh は 1 時間動いてた。無駄に凝ったゲーム画面を作ったがバグがあり動かなかった。low は、ちゃんと遊べるものを作る。ガチャもあるだろうけど。
結局は、何をするか?、次第で effort も変えるのが良いのかな。
10 分程度で 12,000 トークン生成だと、20 t/s だが、1 時間で 64,000 トークン生成だと 16 t/s 程度まで落ち込む。
すごい生成例は x.com いくらでもあるが、自分で動かした記録。
対象モデル
llama.cpp
起動コマンド
CUDA_VISIBLE_DEVICES=0 \
llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-IQ4_XS \
-fa on \
--temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
--presence-penalty 1.5 --repeat-penalty 1.0 \
-cb -np 1 \
-c 131072 \
-ctk q8_0 -ctv q8_0 \
--n-cpu-moe 45 --threads 6 \
--jinja --chat-template-kwargs '{"reasoning_effort": "low"}'CUDA_VISIBLE_DEVICES=0
RTX5070Ti のみを使う(RTX5070 は使わない)
--threads 6
CPU のコア数(気持ち早い気がする)
VRAM 消費
`nvidia-smi` コマンド結果
14455MiB / 16303MiB
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 610.43.02 KMD Version: 610.43.02 CUDA UMD Version: 13.3 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 5070 Ti On | 00000000:01:00.0 Off | N/A |
| 0% 43C P5 21W / 300W | 14455MiB / 16303MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 5070 On | 00000000:04:00.0 Off | N/A |
| 0% 36C P8 2W / 250W | 15MiB / 12227MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+メインメモリ
`free -h` コマンド結果
total used free shared buff/cache available
Mem: 123Gi 10Gi 62Gi 451Mi 51Gi 112Gi
Swap: 8.0Gi 0B 8.0Giワンショット・スーパーマリオ
プロンプト
スーパーマリオブラザーズのクローンを index.html のみで作成して
26 tokens / 0.9s / 29.25 tokens/s
生成結果
## 操作方法
| キー | アクション |
|------|-----------|
| ← → / A D | 移動 |
| Space / ↑ / W | ジャンプ(長押しで高く飛ぶ) |
## 実装されている機能
- **物理エンジン**: 重力・慣性・摩擦・可変ジャンプ
- **タイルベースのレベル**: 地面、レンガ、?ブロック、パイプ
- **敵キャラ**: クリボー(踏んで撃破)、ノコノコ(踏むと甲羅になる)
- **アイテム**: コイン収集、キノコ(スーパーマリオ化)
- **レンガ破壊**: スーパーマリオ状態でレンガを破壊可能
- **スクロールカメラ**: 左右パララックス背景付き
- **サウンド**: Web Audio APIによる効果音
- **ライフ制 / スコア / タイマー**
- **タイトル画面・ゲームオーバー・クリア演出**
12,408 tokens / 10min 11s / 20.28 t/s
ワンショット・グラディウス
プロンプト
index.html のみで、横スクロールのシューティングゲーム『NEMESIS』のクローンを作成して
381 tokens / 2.4s / 160.59 tokens/s
生成結果
## 操作方法
| キー | 動作 |
|------|------|
| ↑↓←→ / WASD | 移動 |
| Z / Space | メインウェポン発射 |
| X | ミサイル(取得時) |
## 実装機能
- **武器システム**: VULCAN → LASER → DOUBLE → RIPPLE → MISSILE → MACHINE → SHIELD → SPEED のサイクル式パワーアップ
- **敵の種類**: ビートル、アイ(目玉)、戦艦、バレットアント、壁、ターレット
- **ボス戦**: 3種類の弾幕パターン、低HPでミニオン召喚
- **演出**: スクリーンシェイク、爆発パーティクル、レーザーのグロー表現、リップルの虹色エフェクト
- **ステージ進行**: プログレスバー表示、難易度段階的上昇
12,117 tokens / 9min 45s / 20.70 t/s
以上