メインコンテンツへスキップ
見出し画像

Qwen3.8-27B(4ビット量子化)で 120 t/s(tg_3s) / llama-server と RTX5070Ti + RTX5070 で再度追い込んだ

    まとめ

    適用すれば生成が早くなるオプション、適用したばかりに生成が遅くなっていたオプションが判明。

    120 t/s と書きはしたが、あくまで 3 秒間(tg_3s)の最速値。今回試した内容は後述する。1 時間動いたコーディングでは、平均 70 t/s 程度。

    早くなるオプション

    `-sm tensor` が、早くなる? テンソル分割は、レイヤー分割より遅い、と Claude に教わった。理由も納得感あった。だが、2026 年 4 月にマージされたこのオプションは早くなる。遅いと教わったのは 2025 年。

    たまたま x.com で目にしたテンソル分割の方が早い説。(そのツイートは流れてしまって分からなくなった)活用させていただきました。

    遅くなるオプション

    `--no-mmproj-offload` が、まさか生成速度を遅くしているとは。

    生成の雰囲気

    llama.cpp

    使用したオプション

    • --spec-draft-n-max 3

      • MTP 設定。以前は、グラボ 2 枚だとエラーが出たが今は出ない。

    • -sm tensor

      • テンソル分割

    • -ts 34,31

      • block_count + 1 = 65

      • 本来は比率なので、この合計値である必要は無いが『CUDA0 に 34 層と『CUDA1 に 31 層』に綺麗に分けるため。

    • --chat-template-kwargs '{"reasoning_effort": "low"}'

      • xhigh は長すぎるとビビって low に。

    • -c 131072

      • コンテキストサイズを 128 K に。

    llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL \
      --spec-type draft-mtp --spec-draft-n-max 3 \
      -fa on -ngl 99 -np 1 -ctk q8_0 -ctv q8_0 \
      --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \
      --jinja --chat-template-kwargs '{"reasoning_effort": "low"}' \
      -sm tensor -ts 34,31 -c 131072 --alias "qwen3.8-27b-128k"

    使用しないオプションと環境変数

    • --no-mmproj-offload

      • これ画像使わない時に KV に VRAM を振りたい時付けたりしたけど、まさか生成速度に大きく影響していたとは。無いほうが早い。

    • LLAMA_GRAPH_REUSE_DISABLE=1

      • 以前、4 万トークン生成くらいで発生したエラーが今は発生しない。llama.cpp のアップデートかな?コレついていると生成速度が遅くなる。

    使用したコーディングエージェント

    設定

    pi はあまり良い印象無かったのだけど、次のモデル設定を入れたら、良くなった。この設定がデフォルトでモデルに合わないものだった事が挙動に影響を与えた可能性あり。

    ~/.pi/agent/models.json

    {
      "providers": {
        "llamacpp": {
          "baseUrl": "http://localhost:8080/v1",
          "api": "openai-completions",
          "apiKey": "xyz-123",
          "models": [
            { "id": "qwen3.8-27b-128k", "reserveTokens": 16384, "keepRecentTokens": 32768, "contextWindow": 131072, "maxTokens": 65536 },
            { "id": "qwen3.8-flash-next-128k", "reserveTokens": 16384, "keepRecentTokens": 32768, "contextWindow": 131072, "maxTokens": 65536 }
          ]
        }
      }
    }

    使用したプロンプト

    スーパーマリオブラザーズのクローンをブラウザで遊びたい。
    まずは、計画を立ててください。実装は何段階かに分けて計画を作成してください。
    段階毎に確認しながら進めてください。完成するまで止めないでください。

    実行結果

    • 実行時間:65.5 分

    • LLM リクエスト(アシスタントターン数):155

    • ツール呼び出し:180(エラー:23)

    • 入力トークン(未キャッシュのプレフィル):196.5 k

    • 出力トークン(思考含む):219.3 k

    • キャッシュ読取:11.27 M(ヒット率・中央値:99.8 %)

    • 自動圧縮:2 回(〜 114 k で発火 → 〜 37 k)

    画像

    出来たもの

    xhigh のワンショットより、low のエージェントループ。

    以上


    あなたへのおすすめ