ローカルLLM生成速度計測 - RTX5070Ti 編
計測後所感
LLM でのテキスト生成だけで言えば、RTX 5070 Ti は中途半端感があった。下記記事を参照すると RTX 5060 Ti と gpt-oss-120b (MoE) の速度差は無い。価格差はまぁまぁある。後悔はない、目から汗が少し流れただけ。(そういえば、M3 Ultra のメモリ帯域幅に憧れて、帯域幅だけは肉薄した 5070Ti を選んだのだった。)
MoE に関して言えば、メモリ帯域幅とメモリ(VRAM)容量のバランスが重要なのかも知れぬ。あと、メインメモリの速度も関係してくるのかな。
VRAM 容量に関して言えば、グラフィックボード 1 つで 24 GB があったらなー、とも思う。32 GBあれば言うことは無い(それなりのメモリ帯域幅がある前提で)。RTX 5060 Ti の 2 枚刺しとか気になる。
CUDA いらないなら、 AMD Ryzen AI Max+ 395 128GB か。gpt-oss-120b で、 30 tokens/s くらい出るらしい。glm-4.5-air (Q4) が、20 tokes/s くらい?、それはうらやましいところ。
とは言え、来年(2026 年)に、LLM がどうなっているのか?、GPU なんかいらん!な世界になってたって不思議はない。
今ある環境で、今を楽しむ。所詮、自己満な浪漫。
計測環境
マシン
プロンプト
# タスク管理アプリケーション開発
## 指示
このドキュメントの記載内容に従ってアプリケーションを開発する。
## 概要
ブラウザーを利用し、各個人が自身のタスクを管理することができる。
タスクの実施計画が立てられ、タスクの漏れが無くなるようにする。
## 機能
下記の機能を全て実装する。
- タスクの全件表示
- タスクの登録
- タスクの削除
- タスクの状態変更: 未完了、完了
- タスクの情報: 内容、状態、登録日、期限日、完了日
## UI/UX
下記のスタイルガイドに従う。
- ダッシュボード風レイアウト
- グリッドシステム
- リキッドレイアウト
- 色はモノクローム
- アニメーション不要
- シャドー不要
## 技術スタック
下記の技術を使用し Web アプリケーションを実装する。
- HTML
- JavaScript
- CSS
- Indexeddb
## データ永続化
下記ルールに従いタスクデータを Indexeddb に保存する。
- 1 タスク : 1 レコード
## ファイル構成
- index.html のみ
制約
- index.html 以外のファイルを使用しないこと。
- ローカルファイルやネットワーク経由でファイルを読み込まないこと。
LLM 実行
選択した量子化
量子化は、Q8_0 と IQ4_NL をベースに、それ以下のものは条件の中で一番大きな IQ 。
Q4_K_M じゃなくて IQ4_NL にしたのは気まぐれ。
llama-server のパラメーター
"--jinja" : 無くても良いが実際の利用では付くだろうということでとりあえず入れた。
"--ctx-size" : 32,768 に統一。
"--no-kv-offload" : 場合によっては KV をメインメモリに。
"--n-cpu-moe" : MoE モデルで限界まで下げる。
"--threads" : CPU のコア数を指定。デフォと差は無さそうだが指定。
結果
詳細
[9B] glm-4-9b
生成トークン数 : 4,024
生成時間 : 54 秒
生成速度 : 74.35 tokens/s
生成速度変化(10 秒毎) :
77.40 → 76.64 → 75.95 → 75.27 → 74.62
llama-server -hf unsloth/GLM-4-9B-0414-GGUF:Q8_0 --jinja --ctx-size 32768[12B] nemotron-nano-12b
生成トークン数 : 2,589
生成時間 : 47 秒
生成速度 : 54.61 tokens/s
生成速度変化(10 秒毎) :
54.89 → 54.79 → 54.732 → 54.66
llama-server -hf bartowski/nvidia_NVIDIA-Nemotron-Nano-12B-v2-GGUF:Q8_0 --jinja --ctx-size 32768[14B] phi-4-reasoning-plus
生成トークン数 : 7,668
生成時間 : 98 秒
生成速度 : 78.10 tokens/s
生成速度変化(10 秒毎) :
86.87 → 85.66 → 84.51 → 83.43 → 82.39 → 81.42
80.50 → 79.62 → 78.77
llama-server -hf unsloth/Phi-4-reasoning-plus-GGUF:IQ4_NL --jinja --ctx-size 32768[20B-A3.6B] gpt-oss-20b
生成トークン数 : 3,747
生成時間 : 19 秒
生成速度 : 194.76 tokens/s
生成速度変化(10 秒毎) :
200.06
llama-server -hf ggml-org/gpt-oss-20b-GGUF --jinja --ctx-size 32768生成トークン数 : 26,173
生成時間 : 146 秒
生成速度 : 178.88 tokens/s
生成速度変化(10 秒毎) :
200.00 → 194.30 → 189.09 → 184.43 → 185.16 → 185.42
185.22 → 184.63 → 183.97 → 183.19 → 182.32 → 181.37
180.43 → 179.48
llama-server -hf ggml-org/gpt-oss-20b-GGUF --jinja --ctx-size 32768 --chat-template-kwargs '{"reasoning_effort": "high"}'[27B] gemma-3-27b
生成トークン数 : 2,203
生成時間 : 40 秒
生成速度 : 54.99 tokens/s
生成速度変化(10 秒毎) :
56.29 → 55.67 → 55.25 → 54.99
llama-server -hf unsloth/gemma-3-27b-it-qat-GGUF:IQ3_XXS --jinja --ctx-size 32768生成トークン数 : 3,829
生成時間 : 260 秒
生成速度 : 14.69 tokens/s
生成速度変化(10 秒毎) :
23.88 → 22.37 → 21.06 → 20.10 → 19.33 → 18.56
18.01 → 17.56 → 17.21 → 16.91 → 16.66 → 16.43
16.23 → 16.06 → 15.90 → 15.75 → 15.61 → 15.49
15.37 → 15.26 → 15.15 → 15.05 → 14.96 → 14.87
14.78 → 14.69
llama-server -hf unsloth/gemma-3-27b-it-qat-GGUF:IQ4_XS --jinja --ctx-size 32768 --no-kv-offload[30B-A3B] qwen3-30b-a3b-thinking
生成トークン数 : 10,244
生成時間 : 157 秒
生成速度 : 65.03 tokens/s
生成速度変化(10 秒毎) :
72.25 → 71.51 → 70.88 → 70.30 → 69.65 → 68.90
68.30 → 67.70 → 67.19 → 66.65 → 66.13 → 65.83
65.62 → 65.38 → 65.17
llama-server -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:IQ4_NL --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 14[30B-A3B] qwen3-30b-a3b-instruct
生成トークン数 : 3,582
生成時間 : 119 秒
生成速度 : 29.98 tokens/s
生成速度変化(10 秒毎) :
30.52 → 30.47 → 30.39 → 30.32 → 30.28 → 30.23
30.19 → 30.15 → 30.12 → 30.07 → 30.02
llama-server -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q8_0 --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 31[30B-A6B] qwen3-30b-a6b-extreme
生成トークン数 : 2,187
生成時間 : 47 秒
生成速度 : 45.82 tokens/s
生成速度変化(10 秒毎) :
46.82 → 46.48 → 46.26 → 45.96
llama-server -hf Mungert/Qwen3-30B-A6B-16-Extreme-GGUF:IQ4_NL --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 14[32B] glm-4-32b
生成トークン数 : 3,260
生成時間 : 108 秒
生成速度 : 30.05 tokens/s
生成速度変化(10 秒毎) :
36.92 → 35.77 → 34.77 → 33.92 → 33.15 → 32.49
31.91 → 31.39 → 30.90 → 30.43
llama-server -hf bartowski/THUDM_GLM-4-32B-0414-GGUF:IQ3_M --jinja --ctx-size 32768 --no-kv-offload[32B-9B] granite-4.0-h-small
生成トークン数 : 2,201
生成時間 : 53 秒
生成速度 : 41.08 tokens/s
生成速度変化(10 秒毎) :
41.27 → 41.13 → 41.08 → 41.05 → 41.07
llama-server -hf unsloth/granite-4.0-h-small-GGUF:IQ4_NL --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 9[36B] seed-oss-36b
生成トークン数 : 9,336
生成時間 : 952 秒
生成速度 : 9.79 tokens/s
生成速度変化(10 秒毎) :
26.81 → 25.37 → 24.40 → 23.48 → 22.72 → 22.08
21.45 → 20.89 → 20.41 → 19.93 → 19.50 → 19.12
18.73 → 18.39 → 18.06 → 17.77 → 17.47 → 17.19
16.94 → 16.70 → 16.46 → 16.24 → 16.02 → 15.83
15.63 → 15.44 → 15.26 → 15.09 → 14.93 → 14.76
14.60 → 14.46 → 14.31 → 14.18 → 14.04 → 13.91
13.78 → 13.66 → 13.54 → 13.42 → 13.31 → 13.20
13.09 → 12.99 → 12.88 → 12.79 → 12.69 → 12.59
12.50 → 12.41 → 12.33 → 12.24 → 12.16 → 12.07
11.99 → 11.92 → 11.84 → 11.76 → 11.69 → 11.62
11.55 → 11.48 → 11.41 → 11.34 → 11.28 → 11.22
11.15 → 11.09 → 11.04 → 10.98 → 10.92 → 10.87
10.81 → 10.76 → 10.71 → 10.66 → 10.61 → 10.55
10.51 → 10.46 → 10.41 → 10.36 → 10.32 → 10.27
10.22 → 10.18 → 10.14 → 10.09 → 10.05 → 10.01
9.97 → 9.92 → 9.88 → 9.84 → 9.80
llama-server -hf bartowski/ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF:IQ3_XS --jinja --ctx-size 32768 --no-kv-offload[106B-A12B] glm-4.5-air
生成トークン数 : 4,356
生成時間 : 331 秒
生成速度 : 13.13 tokens/s
生成速度変化(10 秒毎) :
13.61 → 13.55 → 13.52 → 13.50 → 13.49 → 13.47
13.46 → 13.44 → 13.43 → 13.41 → 13.40 → 13.39
13.37 → 13.36 → 13.35 → 13.34 → 13.33 → 13.31
13.30 → 13.29 → 13.28 → 13.26 → 13.25 → 13.24
13.23 → 13.22 → 13.20 → 13.19 → 13.18 → 13.17
13.16 → 13.15 → 13.13
llama-server -hf unsloth/GLM-4.5-Air-GGUF:IQ4_XS --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 42生成トークン数 : 4,076
生成時間 : 250 秒
生成速度 : 16.25 tokens/s
生成速度変化(10 秒毎) :
16.92 → 16.86 → 16.82 → 16.78 → 16.75 → 16.73
16.71 → 16.68 → 16.64 → 16.62 → 16.60 → 16.58
16.55 → 16.53 → 16.50 → 16.48 → 16.45 → 16.43
16.40 → 16.38 → 16.35 → 16.33 → 16.30 → 16.28
16.26
llama-server -hf unsloth/GLM-4.5-Air-GGUF:IQ2_M --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 40[117B-A5.1B] gpt-oss-120b
生成トークン数 : 3,178
生成時間 : 123 秒
生成速度 : 25.79 tokens/s
生成速度変化(10 秒毎) :
26.19 → 26.11 → 26.03 → 25.97 → 25.94 → 25.92
25.91 → 25.88 → 25.86 → 25.84 → 25.81 → 25.79
llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 29[235B-A22B] qwen3-235b-a22b
生成トークン数 : 2,775
生成時間 : 331 秒
生成速度 : 8.38 tokens/s
生成速度変化(10 秒毎) :
8.65 → 8.59 → 8.56 → 8.54 → 8.53 → 8.52
8.51 → 8.50 → 8.50 → 8.49 → 8.48 → 8.48
8.47 → 8.47 → 8.46 → 8.46 → 8.45 → 8.44
8.44 → 8.44 → 8.43 → 8.43 → 8.42 → 8.42
8.41 → 8.41 → 8.40 → 8.40 → 8.39 → 8.39
8.39 → 8.38 → 8.38
llama-server -hf bartowski/Qwen_Qwen3-235B-A22B-Instruct-2507-GGUF:IQ2_XS --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 87