ローカルLLM生成速度計測 - llama.cpp で動かなかった者たち編
計測後所感
ring-flash-2.0 と ring-mini-2.0 が、glm-4-32b や glm-4-9b 以来の衝撃か。まだ詳細には見れていないが、良さげな予感。mini は CPU でもいける。
前回計測の seed-oss-36b も良さげな感じだし、計測したモデルの生成物の評価を近々したい。
計測したLLMについて
Qwen/Qwen3-Next-80B-A3B-Instruct
このモデル自体は公開されて既に 1 ヶ月以上経つが、アーキテクチャーが複雑なようで、llama.cpp のサポートはまだない。2025年10月18日現在。
Transformers で CPU 実行しても、 1 tok/sec くらいしか出ず計測は見送っていた。次の記事に出会うまでは。
利用するアプリとモデルは次の通り。
環境作成
fastllm (ftllm) は、リポジトリもヘルプも中国語でとっつきづらい。気になる人は注意。
git clone https://github.com/ztxz16/fastllm.git
cd fastllm
uv init -p 3.12
uv venv
source .venv/bin/activate
uv run python -m ensurepipインストールスクリプト作成
この環境で install.sh だとエラーになったので、ちょっと改変した index2.sh を作成する。
cat > install2.sh <<'EOF'
#!/bin/bash
folder="build-fastllm"
PYBIN="$(pwd)/.venv/bin/python"
# 创建工作文件夹
if [ ! -d "$folder" ]; then
mkdir "$folder"
fi
cd "$folder"
cmake .. "$@" -DPYTHON_EXECUTABLE="${PYBIN}"
make -j"$(nproc)"
# 编译失败停止执行
if [ $? != 0 ]; then
exit -1
fi
cd tools
"${PYBIN}" -m pip install '.[all]'
#python3 setup.py sdist build
#python3 setup.py bdist_wheel
#python3 setup.py install --all
EOFインストール
警告出るけど気にしない、"Successfully built ftllm" が表示されたら OK。
uv run bash install2.sh -DUSE_CUDA=ON -DCUDA_ARCH=120 -D CMAKE_CUDA_COMPILER="$(which nvcc)"inclusionAI の Ring と Ling
数日前に 1T (一兆)パラメーターで話題?になってた Ring と Ling。
gpt-oss と競合する感じのサイズのモデル(MoE)も公開していて気になった。GGUF も公開されていたので動かそうとしたが、公式の llama.cpp では動かず。
llama.cpp のフォークで動いたので計測。
Models
ビルド
git clone https://github.com/im0qianqian/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build計測環境
プロンプト
GPU
# タスク管理アプリケーション開発
## 指示
このドキュメントの記載内容に従ってアプリケーションを開発する。
## 概要
ブラウザーを利用し、各個人が自身のタスクを管理することができる。
タスクの実施計画が立てられ、タスクの漏れが無くなるようにする。
## 機能
下記の機能を全て実装する。
- タスクの全件表示
- タスクの登録
- タスクの削除
- タスクの状態変更: 未完了、完了
- タスクの情報: 内容、状態、登録日、期限日、完了日
## UI/UX
下記のスタイルガイドに従う。
- ダッシュボード風レイアウト
- グリッドシステム
- リキッドレイアウト
- 色はモノクローム
- アニメーション不要
- シャドー不要
## 技術スタック
下記の技術を使用し Web アプリケーションを実装する。
- HTML
- JavaScript
- CSS
- Indexeddb
## データ永続化
下記ルールに従いタスクデータを Indexeddb に保存する。
- 1 タスク : 1 レコード
## ファイル構成
- index.html のみ
制約
- index.html 以外のファイルを使用しないこと。
- ローカルファイルやネットワーク経由でファイルを読み込まないこと。
CPU
「誰も居ないジャングルの奥深くで大きなバナナが落ちている。バナナは本当に落ちたのか?」のような問いと、「二重スリット実験の結果が観測の有無により違いが生じるのはなぜか?」という問いに対して、あなたの独自の見解を聞かせてください。
結果
GPU
CPU
詳細 - GPU
[80B-A3B] qwen3-next-80b-a3b-instruct
量子化 : Q4_K_M
生成トークン数 : 3,206
生成時間 : 117.0 秒
生成速度 : 27.38 tokens/s
生成速度変化(10 秒毎) :
28.23 → 27.79 → 27.64 → 27.55 → 27.47 → 27.44
27.38 → 27.34 → 27.33 → 27.31 → 27.26
uv run ftllm server "fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M" --device cuda --moe_device cpu --threads 6[103B-A6.1B] ring-flash-2.0
量子化 : Q4_K_M
生成トークン数 : 10,880
生成時間 : 432.8 秒
生成速度 : 25.13 tokens/s
生成速度変化(10 秒毎) :
26.04 → 25.99 → 25.95 → 25.91 → 25.87 → 25.83
25.80 → 25.78 → 25.75 → 25.72 → 25.69 → 25.67
25.65 → 25.62 → 25.59 → 25.57 → 25.55 → 25.52
25.50 →25.48 → 25.45 → 25.43 → 25.41 → 25.39
25.37 → 25.35 → 25.33 → 25.30 → 25.28 → 25.26
25.25 → 25.24 → 25.23 → 25.22 → 25.21 → 25.20
25.19 → 25.18 → 25.17 → 25.16 → 25.15 → 25.14
25.13
llama-server -hf inclusionAI/Ring-flash-2.0-GGUF:Q4_K_M --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 27[16B-A1.4B] ring-mini-2.0
量子化 : Q8_0
生成トークン数 : 9,059
生成時間 : 52.6 秒
生成速度 : 171.95 tokens/s
生成速度変化(10 秒毎) :
184.06 → 180.93 → 177.75 → 175.06 → 172.54
llama-server -hf inclusionAI/Ring-mini-2.0-GGUF:Q8_0 --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 4詳細 - CPU
[80B-A3B] qwen3-next-80b-a3b-instruct
量子化 : Q4_K_M
生成トークン数 : 1,778
生成時間 : 211.8 秒
生成速度 : 8.39 tokens/s
生成速度変化(10 秒毎) :
8.49 → 8.55 → 8.50 → 8.44 → 8.35 → 8.30
8.26 → 8.24 → 8.25 → 8.22 → 8.19 → 8.18
8.17 → 8.18 → 8.15 → 8.14 → 8.14 → 8.13
8.10 → 8.07 → 8.07
uv run ftllm server "fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M" --device cpu --moe_device cpu --threads 6[103B-A6.1B] ring-mini-2.0
量子化 : Q8_0
生成トークン数 : 2,992
生成時間 : 91.8 秒
生成速度 : 32.58 tokens/s
生成速度変化(10 秒毎) :
37.28 → 36.48 → 35.77 → 35.19 → 34.63 → 34.10
33.59 → 33.11 → 32.66
llama-server -hf inclusionAI/Ring-mini-2.0-GGUF:Q8_0 --jinja --ctx-size 32768 --n-gpu-layers 0 --device none --no-op-offload --mlock --threads 6[16B-A1.4B] ring-mini-2.0
量子化 : Q4_K_M
生成トークン数 : 2,829
生成時間 : 62.9 秒
生成速度 : 44.91 tokens/s
生成速度変化(10 秒毎) :
52.43 → 50.59 → 49.05 → 47.66 → 46.42 → 45.27
llama-server -hf inclusionAI/Ring-mini-2.0-GGUF:Q4_K_M --jinja --ctx-size 32768 --n-gpu-layers 0 --device none --no-op-offload --mlock --threads 6