
VRAM が大きくなくたって、ローカルLLMで、大きなコンテキストを扱いたい
前提
必要に迫られた訳ではなく、ただの検証。
コンテキストレングスを設定して llama-server が起動できるかどうか。
生成速度は、llama-server が提供する UI(http://localhost:8080)で、20 tokens/s 以上を目安にする。120 文字程度のプロンプトで 1,000 トークン程度の生成の結果。
--no-kv-offload オプション指定時は、トークン数が増えていくと、生成速度がみるみる落ちる。
--cache-type-k や --cache-type-v オプション指定時は、回答の品質が落ちる。
量子化は Q4_K_M で統一。
検証後所感
128K なら今回試したモデル以外でも選択肢は多そう。
256K は多くを試せてはいないが、Qwen の 80B (A3B) が良かった。詳しいことは理解していないが、設定したコンテキストレングスに対して VRAM の消費量が少ない。
1M 以上に関しては、まぁ、動きはした、というところ。
inclusionAI/Ling-mini-2.0-GGUF
最大コンテキストレングス:128K
パラメーター数:16B(A1.4B)
1) 128K + VRAM 最低消費
VRAM 消費:6.77GB
コンテキストレングス設定:128K
生成速度:104.71 tokens/s
llama-server -hf inclusionAI/Ling-mini-2.0-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 20 --ctx-size 1310722) 128K + VRAM 16GB 未満
VRAM 消費:15.16GB
コンテキストレングス設定:128K
生成速度:404.10 tokens/s
llama-server -hf inclusionAI/Ling-mini-2.0-GGUF:Q4_K_M --jinja --ctx-size 131072unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF
最大コンテキストレングス:128K
パラメーター数:21B (A3B)
1) 128K + VRAM 最低消費
VRAM 消費:9.26GB
コンテキストレングス設定:128K
生成速度:36.79 tokens/s
llama-server -hf unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 28 --ctx-size 1310722) 128K + VRAM 16GB 未満
VRAM 消費:15.67GB
コンテキストレングス設定:128K
生成速度:64.80 tokens/s
llama-server -hf unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 13 --ctx-size 131072unsloth/gpt-oss-20b-GGUF
最大コンテキストレングス:128K
パラメーター数:21B (A3.6B)
1) 128K + VRAM 最低消費
VRAM 消費:5.16GB
コンテキストレングス設定:128K
生成速度:34.23 tokens/s
llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 32 --ctx-size 1310722) 128K + VRAM 16GB 未満
VRAM 消費:14.60GB
コンテキストレングス設定:128K
生成速度:246.22 tokens/s
llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M --jinja --ctx-size 131072ibm-granite/granite-4.0-h-small-GGUF
最大コンテキストレングス:128K
パラメーター数:32B (A9B)
1) 128K + VRAM 最低消費
VRAM 消費:6.64GB
コンテキストレングス設定:128K
生成速度:18.37 tokens/s
llama-server -hf ibm-granite/granite-4.0-h-small-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 40 --ctx-size 1310722) 128K + VRAM 16GB 未満
VRAM 消費:15.83GB
コンテキストレングス設定:128K
生成速度:33.15 tokens/s
llama-server -hf ibm-granite/granite-4.0-h-small-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 16 --ctx-size 131072Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF
パラメーター数:80B (A3B)
最大コンテキストレングス:256K
1) 128K + VRAM 最低消費
VRAM 消費:6.08GB
コンテキストレングス設定:128K
生成速度:26.36 tokens/s
llama-server -hf Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 48 --ctx-size 1310722) 256K + VRAM 16GB 未満
VRAM 消費:15.17GB
コンテキストレングス設定:256K
生成速度:28.29 tokens/s
llama-server -hf Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 42 --ctx-size 262144inclusionAI/Ling-flash-2.0-GGUF
パラメーター数:100B(6.1B)
最大コンテキストレングス:128K
1) 128K + VRAM 最低消費
VRAM 消費:11.55GB
コンテキストレングス設定:128K
生成速度:22.64 tokens/s
llama-server -hf inclusionAI/Ling-flash-2.0-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 32 --ctx-size 1310722) 128K + VRAM 16GB 未満
VRAM 消費:15.44GB
コンテキストレングス設定:128K
生成速度:23.95 tokens/s
llama-server -hf inclusionAI/Ling-flash-2.0-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 30 --ctx-size 131072unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF
パラメーター数:30B (A3B)
最大コンテキストレングス:1M
1) 128K + VRAM 最低消費
VRAM 消費:15.72GB
コンテキストレングス設定:128K
生成速度:39.16 tokens/s
llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 43 --ctx-size 1310722) 256K + VRAM 16GB 未満
VRAM 消費:15.01GB
コンテキストレングス設定:256K
生成速度:35.54 tokens/s
llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 48 --cache-type-k q8_0 --cache-type-v q8_0 --ctx-size 2621443) 1M + VRAM 最低消費
VRAM 消費:5.08GB
メインメモリ消費:34.32GB
コンテキストレングス設定:1M
生成速度:32.87 tokens/s
llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 48 --no-kv-offload --cache-type-k q4_0 --cache-type-v q4_0 --ctx-size 10485764) 1M + VRAM 16GB 未満
VRAM 消費:15.75GB
メインメモリ消費:58.33GB
コンテキストレングス設定:1M
生成速度:52.62 tokens/s
llama-server -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF:Q4_K_M --jinja --threads 6 --n-cpu-moe 18 --no-kv-offload --cache-type-k q8_0 --cache-type-v q8_0 --ctx-size 1048576mradermacher/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct-i1-GGUF
パラメーター数:8B
最大コンテキストレングス:4M
1) 256K (--no-kv-offload 無し)
VRAM 消費:14.80GB
コンテキストレングス設定:256K
生成速度:147.85 tokens/s
llama-server -hf mradermacher/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct-i1-GGUF:Q4_K_M --jinja --cache-type-k q4_0 --cache-type-v q4_0 --ctx-size 2621442) 2M (--no-kv-offload 有り)
VRAM 消費:13.31GB
メインメモリ消費:81.43GB
コンテキストレングス設定:2M
生成速度:107.82 tokens/s
llama-server -hf mradermacher/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct-i1-GGUF:Q4_K_M --jinja --threads 6 --no-kv-offload --cache-type-k q4_0 --cache-type-v q4_0 --ctx-size 2097152