メインコンテンツへスキップ
見出し画像

Qwen3.8-Flash-Next-GGUF:UD-IQ4_XS を Ubuntu の llama.cpp で動かしてみた(生成は 22 t/s スタート) 〜 せめて MTP は欲しいが対応はまだ無い

    所感

    今の状況だと常用は厳しい。MTP 対応が欲しい。あと、最適化が進んで、生成速度が早くなってくれたら、、。

    FreeToken の #257(マージ済み)が気になる。近いうちに。

    あと、デフォルト(effort: xhigh)は長すぎる。今回試したプロンプトで xhigh も試したが、low が 10 分程度であるのに対して、xhigh は 1 時間動いてた。無駄に凝ったゲーム画面を作ったがバグがあり動かなかった。low は、ちゃんと遊べるものを作る。ガチャもあるだろうけど。

    結局は、何をするか?、次第で effort も変えるのが良いのかな。

    10 分程度で 12,000 トークン生成だと、20 t/s だが、1 時間で 64,000 トークン生成だと 16 t/s 程度まで落ち込む。

    すごい生成例は x.com いくらでもあるが、自分で動かした記録。

    対象モデル

    llama.cpp

    起動コマンド

    CUDA_VISIBLE_DEVICES=0 \
    llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-IQ4_XS \
      -fa on \
      --temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
      --presence-penalty 1.5 --repeat-penalty 1.0 \
      -cb -np 1 \
      -c 131072 \
      -ctk q8_0 -ctv q8_0 \
      --n-cpu-moe 45 --threads 6 \
      --jinja --chat-template-kwargs '{"reasoning_effort": "low"}'
    • CUDA_VISIBLE_DEVICES=0

      • RTX5070Ti のみを使う(RTX5070 は使わない)

    • --threads 6

      • CPU のコア数(気持ち早い気がする)

    VRAM 消費

    `nvidia-smi` コマンド結果

    14455MiB / 16303MiB

    +-----------------------------------------------------------------------------------------+
    | NVIDIA-SMI 610.43.02              KMD Version: 610.43.02     CUDA UMD Version: 13.3     |
    +-----------------------------------------+------------------------+----------------------+
    | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
    |                                         |                        |               MIG M. |
    |=========================================+========================+======================|
    |   0  NVIDIA GeForce RTX 5070 Ti     On  |   00000000:01:00.0 Off |                  N/A |
    |  0%   43C    P5             21W /  300W |   14455MiB /  16303MiB |      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+
    |   1  NVIDIA GeForce RTX 5070        On  |   00000000:04:00.0 Off |                  N/A |
    |  0%   36C    P8              2W /  250W |      15MiB /  12227MiB |      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+

    メインメモリ

    `free -h` コマンド結果

                   total        used        free      shared  buff/cache   available
    Mem:           123Gi        10Gi        62Gi       451Mi        51Gi       112Gi
    Swap:          8.0Gi          0B       8.0Gi

    ワンショット・スーパーマリオ

    プロンプト

    スーパーマリオブラザーズのクローンを index.html のみで作成して

    👦🏻 User

    26 tokens / 0.9s / 29.25 tokens/s

    生成結果

    ## 操作方法

    | キー | アクション |
    |------|-----------|
    | ← → / A D | 移動 |
    | Space / ↑ / W | ジャンプ(長押しで高く飛ぶ) |

    ## 実装されている機能

    - **物理エンジン**: 重力・慣性・摩擦・可変ジャンプ
    - **タイルベースのレベル**: 地面、レンガ、?ブロック、パイプ
    - **敵キャラ**: クリボー(踏んで撃破)、ノコノコ(踏むと甲羅になる)
    - **アイテム**: コイン収集、キノコ(スーパーマリオ化)
    - **レンガ破壊**: スーパーマリオ状態でレンガを破壊可能
    - **スクロールカメラ**: 左右パララックス背景付き
    - **サウンド**: Web Audio APIによる効果音
    - **ライフ制 / スコア / タイマー**
    - **タイトル画面・ゲームオーバー・クリア演出**

    🤖 Qwen3.8-Flash-Next

    12,408 tokens / 10min 11s / 20.28 t/s

    ワンショット・グラディウス

    プロンプト

    index.html のみで、横スクロールのシューティングゲーム『NEMESIS』のクローンを作成して

    👦🏻 User

    381 tokens / 2.4s / 160.59 tokens/s

    生成結果

    ## 操作方法

    | キー | 動作 |
    |------|------|
    | ↑↓←→ / WASD | 移動 |
    | Z / Space | メインウェポン発射 |
    | X | ミサイル(取得時) |

    ## 実装機能

    - **武器システム**: VULCAN → LASER → DOUBLE → RIPPLE → MISSILE → MACHINE → SHIELD → SPEED のサイクル式パワーアップ
    - **敵の種類**: ビートル、アイ(目玉)、戦艦、バレットアント、壁、ターレット
    - **ボス戦**: 3種類の弾幕パターン、低HPでミニオン召喚
    - **演出**: スクリーンシェイク、爆発パーティクル、レーザーのグロー表現、リップルの虹色エフェクト
    - **ステージ進行**: プログレスバー表示、難易度段階的上昇

    🤖 Qwen3.8-Flash-Next

    12,117 tokens / 9min 45s / 20.70 t/s

    以上


    あなたへのおすすめ