メインコンテンツへスキップ
見出し画像

VRAM が大きくなくたって、ローカルLLMで、大きなコンテキストを扱いたい

    前提

    • 必要に迫られた訳ではなく、ただの検証。

    • コンテキストレングスを設定して llama-server が起動できるかどうか。

    • 生成速度は、llama-server が提供する UI(http://localhost:8080)で、20 tokens/s 以上を目安にする。120 文字程度のプロンプトで 1,000 トークン程度の生成の結果。

    • --no-kv-offload オプション指定時は、トークン数が増えていくと、生成速度がみるみる落ちる。

    • --cache-type-k や --cache-type-v オプション指定時は、回答の品質が落ちる。

    • 量子化は Q4_K_M で統一。

    検証後所感

    128K なら今回試したモデル以外でも選択肢は多そう。
    256K は多くを試せてはいないが、Qwen の 80B (A3B) が良かった。詳しいことは理解していないが、設定したコンテキストレングスに対して VRAM の消費量が少ない。
    1M 以上に関しては、まぁ、動きはした、というところ。

    inclusionAI/Ling-mini-2.0-GGUF

    • 最大コンテキストレングス:128K

    • パラメーター数:16B(A1.4B)

    1) 128K + VRAM 最低消費

    • VRAM 消費:6.77GB

    • コンテキストレングス設定:128K

    • 生成速度:104.71 tokens/s

    llama-server -hf inclusionAI/Ling-mini-2.0-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 20 --ctx-size 131072

    2) 128K + VRAM 16GB 未満

    • VRAM 消費:15.16GB

    • コンテキストレングス設定:128K

    • 生成速度:404.10 tokens/s

    llama-server -hf inclusionAI/Ling-mini-2.0-GGUF:Q4_K_M --jinja --ctx-size 131072

    unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF

    • 最大コンテキストレングス:128K

    • パラメーター数:21B (A3B)

    1) 128K + VRAM 最低消費

    • VRAM 消費:9.26GB

    • コンテキストレングス設定:128K

    • 生成速度:36.79 tokens/s

    llama-server -hf unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 28 --ctx-size 131072

    2) 128K + VRAM 16GB 未満

    • VRAM 消費:15.67GB

    • コンテキストレングス設定:128K

    • 生成速度:64.80 tokens/s

    llama-server -hf unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 13 --ctx-size 131072

    unsloth/gpt-oss-20b-GGUF

    • 最大コンテキストレングス:128K

    • パラメーター数:21B (A3.6B)

    1) 128K + VRAM 最低消費

    • VRAM 消費:5.16GB

    • コンテキストレングス設定:128K

    • 生成速度:34.23 tokens/s

    llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 32 --ctx-size 131072

    2) 128K + VRAM 16GB 未満

    • VRAM 消費:14.60GB

    • コンテキストレングス設定:128K

    • 生成速度:246.22 tokens/s

    llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M --jinja --ctx-size 131072

    ibm-granite/granite-4.0-h-small-GGUF

    • 最大コンテキストレングス:128K

    • パラメーター数:32B (A9B)

    1) 128K + VRAM 最低消費

    • VRAM 消費:6.64GB

    • コンテキストレングス設定:128K

    • 生成速度:18.37 tokens/s

    llama-server -hf ibm-granite/granite-4.0-h-small-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 40 --ctx-size 131072

    2) 128K + VRAM 16GB 未満

    • VRAM 消費:15.83GB

    • コンテキストレングス設定:128K

    • 生成速度:33.15 tokens/s

    llama-server -hf ibm-granite/granite-4.0-h-small-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 16 --ctx-size 131072

    Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF

    • パラメーター数:80B (A3B)

    • 最大コンテキストレングス:256K

    1) 128K + VRAM 最低消費

    • VRAM 消費:6.08GB

    • コンテキストレングス設定:128K

    • 生成速度:26.36 tokens/s

    llama-server -hf Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 48 --ctx-size 131072

    2) 256K + VRAM 16GB 未満

    • VRAM 消費:15.17GB

    • コンテキストレングス設定:256K

    • 生成速度:28.29 tokens/s

    llama-server -hf Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 42 --ctx-size 262144

    inclusionAI/Ling-flash-2.0-GGUF

    パラメーター数:100B(6.1B)
    最大コンテキストレングス:128K

    1) 128K + VRAM 最低消費

    • VRAM 消費:11.55GB

    • コンテキストレングス設定:128K

    • 生成速度:22.64 tokens/s

    llama-server -hf inclusionAI/Ling-flash-2.0-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 32 --ctx-size 131072

    2) 128K + VRAM 16GB 未満

    • VRAM 消費:15.44GB

    • コンテキストレングス設定:128K

    • 生成速度:23.95 tokens/s

    llama-server -hf inclusionAI/Ling-flash-2.0-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 30 --ctx-size 131072

    unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF

    • パラメーター数:30B (A3B)

    • 最大コンテキストレングス:1M

    1) 128K + VRAM 最低消費

    • VRAM 消費:15.72GB

    • コンテキストレングス設定:128K

    • 生成速度:39.16 tokens/s

    llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 43 --ctx-size 131072

    2) 256K + VRAM 16GB 未満

    • VRAM 消費:15.01GB

    • コンテキストレングス設定:256K

    • 生成速度:35.54 tokens/s

    llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 48 --cache-type-k q8_0 --cache-type-v q8_0 --ctx-size 262144

    3) 1M + VRAM 最低消費

    • VRAM 消費:5.08GB

    • メインメモリ消費:34.32GB

    • コンテキストレングス設定:1M

    • 生成速度:32.87 tokens/s

    llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 48 --no-kv-offload --cache-type-k q4_0 --cache-type-v q4_0 --ctx-size 1048576

    4) 1M + VRAM 16GB 未満

    • VRAM 消費:15.75GB

    • メインメモリ消費:58.33GB

    • コンテキストレングス設定:1M

    • 生成速度:52.62 tokens/s

    llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 18 --no-kv-offload --cache-type-k q8_0 --cache-type-v q8_0 --ctx-size 1048576

    mradermacher/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct-i1-GGUF

    • パラメーター数:8B

    • 最大コンテキストレングス:4M

    1) 256K (--no-kv-offload 無し)

    • VRAM 消費:14.80GB

    • コンテキストレングス設定:256K

    • 生成速度:147.85 tokens/s

    llama-server -hf mradermacher/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct-i1-GGUF:Q4_K_M --jinja --cache-type-k q4_0 --cache-type-v q4_0 --ctx-size 262144

    2) 2M (--no-kv-offload 有り)

    • VRAM 消費:13.31GB

    • メインメモリ消費:81.43GB

    • コンテキストレングス設定:2M

    • 生成速度:107.82 tokens/s

    llama-server -hf mradermacher/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct-i1-GGUF:Q4_K_M --jinja --threads 6 --no-kv-offload --cache-type-k q4_0 --cache-type-v q4_0 --ctx-size 2097152


    あなたへのおすすめ