メインコンテンツへスキップ
見出し画像

NVIDIA-Nemotron-3-Super-120B-A12B を試す、会話していて気持ちが良い、コーディングは、、

    モデル

    unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL

    まとめ

    コーディングを期待して選ぶモデルではない。(出来ないわけではない)

    日本語での会話は、クラウドの LLM と会話しているかと錯覚する。なんなら、Gemini より好き。Gemini は別に嫌いじゃないしサブスクもしてる。

    ただ、専門的な話になると、難しくてついていけない。
    あー、中国語混じっちゃったよ、って思って調べたら日本語だった。
    うーん、韓国語は完全に混じったな。

    普通の会話の質は良いが、それだけだと、ローカルで動かすにはちょっと大きすぎる。

    Qwen3 や 3.5 もコンテキストレングスの VRAM 消費がかなり抑えられていたのに驚いたが、この Nemotron 、それをかなり上回る。512K もいける。
    まじか。

    実行

    速度優先

    ./build/bin/llama-server \
      -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 65536 --n-cpu-moe 84 --alias nemotron3super
    • 生成速度例

      • 2,056 tokens

      • 2 min 35 s

      • 13.24 t/s

    コンテキストレングス: 512K

    このモデル、良い意味で挙動がおかしい。
    コンテキストレングスを大きくしても、VRAM 消費が大きく上がらない。

    ./build/bin/llama-server \
      -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \
      --jinja --ctx-size 524288 --n-cpu-moe 88 --alias nemotron3super
    • 消費リソース

      • VRAM: 15.84 GB

      • メインメモリ: 7.81 GB

    • 生成速度例

      • 1,804 tokens

      • 2 min 21 s

      • 12.77 t/s

    環境


    あなたへのおすすめ