メインコンテンツへスキップ

ローカルLLM生成速度計測 - llama.cpp で動かなかった者たち編

    計測後所感

    ring-flash-2.0 と ring-mini-2.0 が、glm-4-32b や glm-4-9b 以来の衝撃か。まだ詳細には見れていないが、良さげな予感。mini は CPU でもいける。
    前回計測の seed-oss-36b も良さげな感じだし、計測したモデルの生成物の評価を近々したい。

    計測したLLMについて

    Qwen/Qwen3-Next-80B-A3B-Instruct

    このモデル自体は公開されて既に 1 ヶ月以上経つが、アーキテクチャーが複雑なようで、llama.cpp のサポートはまだない。2025年10月18日現在。
    Transformers で CPU 実行しても、 1 tok/sec くらいしか出ず計測は見送っていた。次の記事に出会うまでは。

    利用するアプリとモデルは次の通り。

    環境作成
    fastllm (ftllm) は、リポジトリもヘルプも中国語でとっつきづらい。気になる人は注意。

    git clone https://github.com/ztxz16/fastllm.git
    cd fastllm
    
    uv init -p 3.12
    uv venv
    source .venv/bin/activate
    
    uv run python -m ensurepip

    インストールスクリプト作成
    この環境で install.sh だとエラーになったので、ちょっと改変した index2.sh を作成する。

    cat > install2.sh <<'EOF'
    #!/bin/bash
    folder="build-fastllm"
    PYBIN="$(pwd)/.venv/bin/python"
    
    # 创建工作文件夹
    if [ ! -d "$folder" ]; then
        mkdir "$folder"
    fi
    
    cd "$folder"
    cmake .. "$@" -DPYTHON_EXECUTABLE="${PYBIN}"
    make -j"$(nproc)"
    
    # 编译失败停止执行
    if [ $? != 0 ]; then
        exit -1
    fi
    
    cd tools
    "${PYBIN}" -m pip install '.[all]'
    #python3 setup.py sdist build
    #python3 setup.py bdist_wheel
    #python3 setup.py install --all
    EOF

    インストール
    警告出るけど気にしない、"Successfully built ftllm" が表示されたら OK。

    uv run bash install2.sh -DUSE_CUDA=ON -DCUDA_ARCH=120 -D CMAKE_CUDA_COMPILER="$(which nvcc)"

    inclusionAI の Ring と Ling

    数日前に 1T (一兆)パラメーターで話題?になってた Ring と Ling。
    gpt-oss と競合する感じのサイズのモデル(MoE)も公開していて気になった。GGUF も公開されていたので動かそうとしたが、公式の llama.cpp では動かず。
    llama.cpp のフォークで動いたので計測。

    ビルド

    git clone https://github.com/im0qianqian/llama.cpp.git
    cd llama.cpp
    
    cmake -B build -DGGML_CUDA=ON
    cmake --build build

    計測環境

    プロンプト

    GPU

    # タスク管理アプリケーション開発

    ## 指示

    このドキュメントの記載内容に従ってアプリケーションを開発する。

    ## 概要

    ブラウザーを利用し、各個人が自身のタスクを管理することができる。
    タスクの実施計画が立てられ、タスクの漏れが無くなるようにする。

    ## 機能

    下記の機能を全て実装する。

    - タスクの全件表示
    - タスクの登録
    - タスクの削除
    - タスクの状態変更: 未完了、完了
    - タスクの情報: 内容、状態、登録日、期限日、完了日

    ## UI/UX

    下記のスタイルガイドに従う。

    - ダッシュボード風レイアウト
    - グリッドシステム
    - リキッドレイアウト
    - 色はモノクローム
    - アニメーション不要
    - シャドー不要

    ## 技術スタック

    下記の技術を使用し Web アプリケーションを実装する。

    - HTML
    - JavaScript
    - CSS
    - Indexeddb

    ## データ永続化

    下記ルールに従いタスクデータを Indexeddb に保存する。

    - 1 タスク : 1 レコード

    ## ファイル構成

    - index.html のみ

    制約

    - index.html 以外のファイルを使用しないこと。
    - ローカルファイルやネットワーク経由でファイルを読み込まないこと。

    CPU

    「誰も居ないジャングルの奥深くで大きなバナナが落ちている。バナナは本当に落ちたのか?」のような問いと、「二重スリット実験の結果が観測の有無により違いが生じるのはなぜか?」という問いに対して、あなたの独自の見解を聞かせてください。

    結果

    GPU

    CPU

    詳細 - GPU

    [80B-A3B] qwen3-next-80b-a3b-instruct

    • 量子化 : Q4_K_M

    • 生成トークン数 : 3,206

    • 生成時間 : 117.0 秒

    • 生成速度 : 27.38 tokens/s

    • 生成速度変化(10 秒毎) :

      • 28.23 → 27.79 → 27.64 → 27.55 → 27.47 → 27.44

      • 27.38 → 27.34 → 27.33 → 27.31 → 27.26

    uv run ftllm server "fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M" --device cuda --moe_device cpu --threads 6

    [103B-A6.1B] ring-flash-2.0

    • 量子化 : Q4_K_M

    • 生成トークン数 : 10,880

    • 生成時間 : 432.8 秒

    • 生成速度 : 25.13 tokens/s

    • 生成速度変化(10 秒毎) :

      • 26.04 → 25.99 → 25.95 → 25.91 → 25.87 → 25.83

      • 25.80 → 25.78 → 25.75 → 25.72 → 25.69 → 25.67

      • 25.65 → 25.62 → 25.59 → 25.57 → 25.55 → 25.52

      • 25.50 →25.48 → 25.45 → 25.43 → 25.41 → 25.39

      • 25.37 → 25.35 → 25.33 → 25.30 → 25.28 → 25.26

      • 25.25 → 25.24 → 25.23 → 25.22 → 25.21 → 25.20

      • 25.19 → 25.18 → 25.17 → 25.16 → 25.15 → 25.14

      • 25.13

    llama-server -hf inclusionAI/Ring-flash-2.0-GGUF:Q4_K_M --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 27

    [16B-A1.4B] ring-mini-2.0

    • 量子化 : Q8_0

    • 生成トークン数 : 9,059

    • 生成時間 : 52.6 秒

    • 生成速度 : 171.95 tokens/s

    • 生成速度変化(10 秒毎) :

      • 184.06 → 180.93 → 177.75 → 175.06 → 172.54

    llama-server -hf inclusionAI/Ring-mini-2.0-GGUF:Q8_0 --jinja --ctx-size 32768 --threads 6 --n-cpu-moe 4

    詳細 - CPU

    [80B-A3B] qwen3-next-80b-a3b-instruct

    • 量子化 : Q4_K_M

    • 生成トークン数 : 1,778

    • 生成時間 : 211.8 秒

    • 生成速度 : 8.39 tokens/s

    • 生成速度変化(10 秒毎) :

      • 8.49 → 8.55 → 8.50 → 8.44 → 8.35 → 8.30

      • 8.26 → 8.24 → 8.25 → 8.22 → 8.19 → 8.18

      • 8.17 → 8.18 → 8.15 → 8.14 → 8.14 → 8.13

      • 8.10 → 8.07 → 8.07

    uv run ftllm server "fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M" --device cpu --moe_device cpu --threads 6

    [103B-A6.1B] ring-mini-2.0

    • 量子化 : Q8_0

    • 生成トークン数 : 2,992

    • 生成時間 : 91.8 秒

    • 生成速度 : 32.58 tokens/s

    • 生成速度変化(10 秒毎) :

      • 37.28 → 36.48 → 35.77 → 35.19 → 34.63 → 34.10

      • 33.59 → 33.11 → 32.66

    llama-server -hf inclusionAI/Ring-mini-2.0-GGUF:Q8_0 --jinja --ctx-size 32768 --n-gpu-layers 0 --device none --no-op-offload --mlock --threads 6

    [16B-A1.4B] ring-mini-2.0

    • 量子化 : Q4_K_M

    • 生成トークン数 : 2,829

    • 生成時間 : 62.9 秒

    • 生成速度 : 44.91 tokens/s

    • 生成速度変化(10 秒毎) :

      • 52.43 → 50.59 → 49.05 → 47.66 → 46.42 → 45.27

    llama-server -hf inclusionAI/Ring-mini-2.0-GGUF:Q4_K_M --jinja --ctx-size 32768 --n-gpu-layers 0 --device none --no-op-offload --mlock --threads 6


    あなたへのおすすめ