メインコンテンツへスキップ

ローカルLLM生成速度計測 - RTX5070Ti 編

    計測後所感

    LLM でのテキスト生成だけで言えば、RTX 5070 Ti は中途半端感があった。下記記事を参照すると RTX 5060 Ti と gpt-oss-120b (MoE) の速度差は無い。価格差はまぁまぁある。後悔はない、目から汗が少し流れただけ。(そういえば、M3 Ultra のメモリ帯域幅に憧れて、帯域幅だけは肉薄した 5070Ti を選んだのだった。)

    MoE に関して言えば、メモリ帯域幅とメモリ(VRAM)容量のバランスが重要なのかも知れぬ。あと、メインメモリの速度も関係してくるのかな。
    VRAM 容量に関して言えば、グラフィックボード 1 つで 24 GB があったらなー、とも思う。32 GBあれば言うことは無い(それなりのメモリ帯域幅がある前提で)。RTX 5060 Ti の 2 枚刺しとか気になる。
    CUDA いらないなら、 AMD Ryzen AI Max+ 395 128GB か。gpt-oss-120b で、 30 tokens/s くらい出るらしい。glm-4.5-air (Q4) が、20 tokes/s くらい?、それはうらやましいところ。
    とは言え、来年(2026 年)に、LLM がどうなっているのか?、GPU なんかいらん!な世界になってたって不思議はない。
    今ある環境で、今を楽しむ。所詮、自己満な浪漫。

    計測環境

    マシン

    プロンプト

    # タスク管理アプリケーション開発
    
    ## 指示
    
    このドキュメントの記載内容に従ってアプリケーションを開発する。
    
    ## 概要
    
    ブラウザーを利用し、各個人が自身のタスクを管理することができる。
    タスクの実施計画が立てられ、タスクの漏れが無くなるようにする。
    
    ## 機能
    
    下記の機能を全て実装する。
    
    - タスクの全件表示
    - タスクの登録
    - タスクの削除
    - タスクの状態変更: 未完了、完了
    - タスクの情報: 内容、状態、登録日、期限日、完了日
    
    ## UI/UX
    
    下記のスタイルガイドに従う。
    
    - ダッシュボード風レイアウト
    - グリッドシステム
    - リキッドレイアウト
    - 色はモノクローム
    - アニメーション不要
    - シャドー不要
    
    ## 技術スタック
    
    下記の技術を使用し Web アプリケーションを実装する。
    
    - HTML
    - JavaScript
    - CSS
    - Indexeddb
    
    ## データ永続化
    
    下記ルールに従いタスクデータを Indexeddb に保存する。
    
    - 1 タスク : 1 レコード
    
    ## ファイル構成
    
    - index.html のみ
    
    制約
    
    - index.html 以外のファイルを使用しないこと。
    - ローカルファイルやネットワーク経由でファイルを読み込まないこと。
    
    

    LLM 実行

    選択した量子化

    • 量子化は、Q8_0 と IQ4_NL をベースに、それ以下のものは条件の中で一番大きな IQ 。

    • Q4_K_M じゃなくて IQ4_NL にしたのは気まぐれ。

    llama-server のパラメーター

    • "--jinja" : 無くても良いが実際の利用では付くだろうということでとりあえず入れた。

    • "--ctx-size" : 32,768 に統一。

    • "--no-kv-offload" : 場合によっては KV をメインメモリに。

    • "--n-cpu-moe" : MoE モデルで限界まで下げる。

    • "--threads" : CPU のコア数を指定。デフォと差は無さそうだが指定。

    結果

    詳細

    [9B] glm-4-9b

    • 生成トークン数 : 4,024

    • 生成時間 : 54 秒

    • 生成速度 : 74.35 tokens/s

    • 生成速度変化(10 秒毎) :

      • 77.40 → 76.64 → 75.95 → 75.27 → 74.62

    llama-server -hf unsloth/GLM-4-9B-0414-GGUF:Q8_0 --jinja --ctx-size 32768

    [12B] nemotron-nano-12b

    • 生成トークン数 : 2,589

    • 生成時間 : 47 秒

    • 生成速度 : 54.61 tokens/s

    • 生成速度変化(10 秒毎) :

      • 54.89 → 54.79 → 54.732 → 54.66

    llama-server -hf bartowski/nvidia_NVIDIA-Nemotron-Nano-12B-v2-GGUF:Q8_0 --jinja --ctx-size 32768

    [14B] phi-4-reasoning-plus

    • 生成トークン数 : 7,668

    • 生成時間 : 98 秒

    • 生成速度 : 78.10 tokens/s

    • 生成速度変化(10 秒毎) :

      • 86.87 → 85.66 → 84.51 → 83.43 → 82.39 → 81.42

      • 80.50 → 79.62 → 78.77

    llama-server -hf unsloth/Phi-4-reasoning-plus-GGUF:IQ4_NL --jinja --ctx-size 32768

    [20B-A3.6B] gpt-oss-20b

    • 生成トークン数 : 3,747

    • 生成時間 : 19 秒

    • 生成速度 : 194.76 tokens/s

    • 生成速度変化(10 秒毎) :

      • 200.06

    llama-server -hf ggml-org/gpt-oss-20b-GGUF --jinja --ctx-size 32768
    • 生成トークン数 : 26,173

    • 生成時間 : 146 秒

    • 生成速度 : 178.88 tokens/s

    • 生成速度変化(10 秒毎) :

      • 200.00 → 194.30 → 189.09 → 184.43 → 185.16 → 185.42

      • 185.22 → 184.63 → 183.97 → 183.19 → 182.32 → 181.37

      • 180.43 → 179.48

    llama-server -hf ggml-org/gpt-oss-20b-GGUF --jinja --ctx-size 32768 --chat-template-kwargs '{"reasoning_effort": "high"}'

    [27B] gemma-3-27b

    • 生成トークン数 : 2,203

    • 生成時間 : 40 秒

    • 生成速度 : 54.99 tokens/s

    • 生成速度変化(10 秒毎) :

      • 56.29 → 55.67 → 55.25 → 54.99

    llama-server -hf unsloth/gemma-3-27b-it-qat-GGUF:IQ3_XXS --jinja --ctx-size 32768
    • 生成トークン数 : 3,829

    • 生成時間 : 260 秒

    • 生成速度 : 14.69 tokens/s

    • 生成速度変化(10 秒毎) :

      • 23.88 → 22.37 → 21.06 → 20.10 → 19.33 → 18.56

      • 18.01 → 17.56 → 17.21 → 16.91 → 16.66 → 16.43

      • 16.23 → 16.06 → 15.90 → 15.75 → 15.61 → 15.49

      • 15.37 → 15.26 → 15.15 → 15.05 → 14.96 → 14.87

      • 14.78 → 14.69

    llama-server -hf unsloth/gemma-3-27b-it-qat-GGUF:IQ4_XS --jinja --ctx-size 32768 --no-kv-offload

    [30B-A3B] qwen3-30b-a3b-thinking

    • 生成トークン数 : 10,244

    • 生成時間 : 157 秒

    • 生成速度 : 65.03 tokens/s

    • 生成速度変化(10 秒毎) :

      • 72.25 → 71.51 → 70.88 → 70.30 → 69.65 → 68.90

      • 68.30 → 67.70 → 67.19 → 66.65 → 66.13 → 65.83

      • 65.62 → 65.38 → 65.17

    llama-server -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:IQ4_NL --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 14

    [30B-A3B] qwen3-30b-a3b-instruct

    • 生成トークン数 : 3,582

    • 生成時間 : 119 秒

    • 生成速度 : 29.98 tokens/s

    • 生成速度変化(10 秒毎) :

      • 30.52 → 30.47 → 30.39 → 30.32 → 30.28 → 30.23

      • 30.19 → 30.15 → 30.12 → 30.07 → 30.02

    llama-server -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q8_0 --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 31

    [30B-A6B] qwen3-30b-a6b-extreme

    • 生成トークン数 : 2,187

    • 生成時間 : 47 秒

    • 生成速度 : 45.82 tokens/s

    • 生成速度変化(10 秒毎) :

      • 46.82 → 46.48 → 46.26 → 45.96

    llama-server -hf Mungert/Qwen3-30B-A6B-16-Extreme-GGUF:IQ4_NL --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 14

    [32B] glm-4-32b

    • 生成トークン数 : 3,260

    • 生成時間 : 108 秒

    • 生成速度 : 30.05 tokens/s

    • 生成速度変化(10 秒毎) :

      • 36.92 → 35.77 → 34.77 → 33.92 → 33.15 → 32.49

      • 31.91 → 31.39 → 30.90 → 30.43

    llama-server -hf bartowski/THUDM_GLM-4-32B-0414-GGUF:IQ3_M --jinja --ctx-size 32768 --no-kv-offload

    [32B-9B] granite-4.0-h-small

    • 生成トークン数 : 2,201

    • 生成時間 : 53 秒

    • 生成速度 : 41.08 tokens/s

    • 生成速度変化(10 秒毎) :

      • 41.27 → 41.13 → 41.08 → 41.05 → 41.07

    llama-server -hf unsloth/granite-4.0-h-small-GGUF:IQ4_NL --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 9

    [36B] seed-oss-36b

    • 生成トークン数 : 9,336

    • 生成時間 : 952 秒

    • 生成速度 : 9.79 tokens/s

    • 生成速度変化(10 秒毎) :

      • 26.81 → 25.37 → 24.40 → 23.48 → 22.72 → 22.08

      • 21.45 → 20.89 → 20.41 → 19.93 → 19.50 → 19.12

      • 18.73 → 18.39 → 18.06 → 17.77 → 17.47 → 17.19

      • 16.94 → 16.70 → 16.46 → 16.24 → 16.02 → 15.83

      • 15.63 → 15.44 → 15.26 → 15.09 → 14.93 → 14.76

      • 14.60 → 14.46 → 14.31 → 14.18 → 14.04 → 13.91

      • 13.78 → 13.66 → 13.54 → 13.42 → 13.31 → 13.20

      • 13.09 → 12.99 → 12.88 → 12.79 → 12.69 → 12.59

      • 12.50 → 12.41 → 12.33 → 12.24 → 12.16 → 12.07

      • 11.99 → 11.92 → 11.84 → 11.76 → 11.69 → 11.62

      • 11.55 → 11.48 → 11.41 → 11.34 → 11.28 → 11.22

      • 11.15 → 11.09 → 11.04 → 10.98 → 10.92 → 10.87

      • 10.81 → 10.76 → 10.71 → 10.66 → 10.61 → 10.55

      • 10.51 → 10.46 → 10.41 → 10.36 → 10.32 → 10.27

      • 10.22 → 10.18 → 10.14 → 10.09 → 10.05 → 10.01

      • 9.97 → 9.92 → 9.88 → 9.84 → 9.80

    llama-server -hf bartowski/ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF:IQ3_XS --jinja --ctx-size 32768 --no-kv-offload

    [106B-A12B] glm-4.5-air

    • 生成トークン数 : 4,356

    • 生成時間 : 331 秒

    • 生成速度 : 13.13 tokens/s

    • 生成速度変化(10 秒毎) :

      • 13.61 → 13.55 → 13.52 → 13.50 → 13.49 → 13.47

      • 13.46 → 13.44 → 13.43 → 13.41 → 13.40 → 13.39

      • 13.37 → 13.36 → 13.35 → 13.34 → 13.33 → 13.31

      • 13.30 → 13.29 → 13.28 → 13.26 → 13.25 → 13.24

      • 13.23 → 13.22 → 13.20 → 13.19 → 13.18 → 13.17

      • 13.16 → 13.15 → 13.13

    llama-server -hf unsloth/GLM-4.5-Air-GGUF:IQ4_XS --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 42
    • 生成トークン数 : 4,076

    • 生成時間 : 250 秒

    • 生成速度 : 16.25 tokens/s

    • 生成速度変化(10 秒毎) :

      • 16.92 → 16.86 → 16.82 → 16.78 → 16.75 → 16.73

      • 16.71 → 16.68 → 16.64 → 16.62 → 16.60 → 16.58

      • 16.55 → 16.53 → 16.50 → 16.48 → 16.45 → 16.43

      • 16.40 → 16.38 → 16.35 → 16.33 → 16.30 → 16.28

      • 16.26

    llama-server -hf unsloth/GLM-4.5-Air-GGUF:IQ2_M --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 40

    [117B-A5.1B] gpt-oss-120b

    • 生成トークン数 : 3,178

    • 生成時間 : 123 秒

    • 生成速度 : 25.79 tokens/s

    • 生成速度変化(10 秒毎) :

      • 26.19 → 26.11 → 26.03 → 25.97 → 25.94 → 25.92

      • 25.91 → 25.88 → 25.86 → 25.84 → 25.81 → 25.79

    llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 29

    [235B-A22B] qwen3-235b-a22b

    • 生成トークン数 : 2,775

    • 生成時間 : 331 秒

    • 生成速度 : 8.38 tokens/s

    • 生成速度変化(10 秒毎) :

      • 8.65 → 8.59 → 8.56 → 8.54 → 8.53 → 8.52

      • 8.51 → 8.50 → 8.50 → 8.49 → 8.48 → 8.48

      • 8.47 → 8.47 → 8.46 → 8.46 → 8.45 → 8.44

      • 8.44 → 8.44 → 8.43 → 8.43 → 8.42 → 8.42

      • 8.41 → 8.41 → 8.40 → 8.40 → 8.39 → 8.39

      • 8.39 → 8.38 → 8.38

    llama-server -hf bartowski/Qwen_Qwen3-235B-A22B-Instruct-2507-GGUF:IQ2_XS --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 87



    あなたへのおすすめ