
NVIDIA-Nemotron-3-Super-120B-A12B を試す、会話していて気持ちが良い、コーディングは、、
モデル
unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL
まとめ
コーディングを期待して選ぶモデルではない。(出来ないわけではない)
日本語での会話は、クラウドの LLM と会話しているかと錯覚する。なんなら、Gemini より好き。Gemini は別に嫌いじゃないしサブスクもしてる。
ただ、専門的な話になると、難しくてついていけない。
あー、中国語混じっちゃったよ、って思って調べたら日本語だった。
うーん、韓国語は完全に混じったな。
普通の会話の質は良いが、それだけだと、ローカルで動かすにはちょっと大きすぎる。
Qwen3 や 3.5 もコンテキストレングスの VRAM 消費がかなり抑えられていたのに驚いたが、この Nemotron 、それをかなり上回る。512K もいける。
まじか。
実行
速度優先
./build/bin/llama-server \
-hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 65536 --n-cpu-moe 84 --alias nemotron3super生成速度例
2,056 tokens
2 min 35 s
13.24 t/s
コンテキストレングス: 512K
このモデル、良い意味で挙動がおかしい。
コンテキストレングスを大きくしても、VRAM 消費が大きく上がらない。
./build/bin/llama-server \
-hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \
--jinja --ctx-size 524288 --n-cpu-moe 88 --alias nemotron3super消費リソース
VRAM: 15.84 GB
メインメモリ: 7.81 GB
生成速度例
1,804 tokens
2 min 21 s
12.77 t/s