
JetBrains製Mellum2.1を16GBのM4で。Qwen3.5-4Bと同じ全問正解で、待ち時間は13分の1でした
JetBrains(IntelliJやPyCharmの会社)が、コーディング向けのローカルLLM「Mellum2.1」を公開しました。10月7日には公式のGGUF版も出て、llama.cppやLM Studioでそのまま動かせるようになっています。
総パラメータは12Bですが、1トークンごとに動くのは2.5Bだけ、というMoE(専門家を切り替えながら動くタイプ)のモデルです。4bit版のファイルは8.07GBなので、16GBのMacにも載ります。
そこで、うちのMac mini M4(16GB)で、普段使っているQwen3.5-4Bと同じコーディング問題を解かせて比べました。
この記事でわかること:
Mellum2.1が16GBのMacで動くか、どれくらい速いか
Qwen3.5-4Bと比べて、正解数と待ち時間がどう違うか
自分のMacで同じことを試す手順
結論を先に書くと、正解数は同じ(4問中4問)で、待ち時間は13分の1でした。生成速度の差は1.8倍しかなく、残りの差は「考える量」の違いです。
Mellum2.1はどんなモデルか
JetBrainsのモデルカードに書かれている主な仕様です。
総パラメータ12B、1トークンあたりのアクティブ2.5B
エキスパート64個のうち8個を使う
コンテキスト長131,072トークン
考える過程を `<think>...</think>` の中に出す思考型(Thinking)モデル
ライセンスはApache 2.0(商用利用可)
公式のベンチマークでは、LiveCodeBench v6が82.0、HumanEval+が91.5、SWE-bench Verifiedが47.0と書かれています。いずれもJetBrains自身の発表値です。
GGUF版の量子化は4種類あります。
Q8_0: 12.9GB
Q6_K: 10.9GB
Q4_K_M: 8.1GB(公式の推奨)
MXFP4_MOE: 7.0GB(最小)
16GBのMacならQ4_K_Mが現実的です。今回もこれを使いました。
検証環境と条件
Mac mini M4(10コアGPU)/ メモリ16GB / macOS 26.4
llama.cpp 0.4.1(Homebrew版)
Mellum2.1-12B-A2.5B-Thinking Q4_K_M(8.07GB)
比較相手: Qwen3.5-4B Q4_K_M(2.74GB)
コンテキスト16,384トークン、GPUに全層を載せる(`-ngl 99`)
サンプリングは公式推奨のtemperature 0.6 / top_p 0.95 / top_k 20で両方そろえた
問題は、Pythonの関数を1つ書かせる小さな課題です。回文判定、区間のマージ、ローマ数字の変換、重複のない最長部分文字列、「1h30m」のような時間表記のパース、の5問を用意しました。出てきたコードを実際に実行して、テストが全部通ったら正解としています。
結果: 正解数は同じ、待ち時間が13分の1
両方そろって解けた4問の結果です。
Qwen3.5-4B:
正解: 4問中4問
4問の合計時間: 461秒(1問あたり77〜151秒)
出力トークン: 合計12,621
生成速度: 約27 tok/s
Mellum2.1:
正解: 4問中4問
4問の合計時間: 34秒(1問あたり4〜18秒)
出力トークン: 合計1,686
生成速度: 約50 tok/s
Mellum2.1は2回目の実行でも同じ4問を27秒で全問正解し、5問目(時間表記のパース)も16秒で正解しました。
Qwen3.5-4Bは5問目の途中で打ち切っています。1問に2分以上かかる回が続き、検証の時間枠(10分)を超えたためです。なのでQwenの比較はn=4です。
差の正体は「考える量」
生成速度だけ見ると、Mellum2.1は約50 tok/s、Qwen3.5-4Bは約27 tok/sで、差は1.8倍です。アクティブ2.5Bと4Bの差なので、ここは理屈どおりです。
一方、出力したトークンの量は7.5倍違いました。Qwen3.5-4Bは1問あたり2,000〜4,000トークン考えてから答えるのに対して、Mellum2.1は170〜900トークンで答えを出しています。
速度1.8倍×考える量7.5分の1で、待ち時間が13分の1になった、というのが今回の結果です。
体感としては、Qwen3.5-4Bは「質問して、別の作業をして、戻ってくる」待ち方でした。Mellum2.1は「答えが出るのを眺めていられる」待ち方です。エディタの横で使う補助としては、この差が一番大きいと感じました。
注意点も書いておきます。
今回の5問はどれもLeetCodeの易しい〜中程度の問題で、両方とも全問解けています。難しい問題で正解数に差が出るかは、この検証ではわかりません
各モデル1〜2回の実行で、サンプリングにランダム性があります
「考える量が少ない=賢い」とは限りません。易しい問題で考えすぎないのはMellum2.1の長所ですが、難しい問題で考えが足りなくなる可能性もあります
自分のMacで試す手順
1. llama.cppを入れる
brew install llama.cppすでに入っている場合は `llama-server --version` でバージョンを確認してください。今回の0.4.1でMellumのアーキテクチャに対応していました。
2. モデルをダウンロードする
mkdir -p ~/models/mellum && cd ~/models/mellum
curl -L -o Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf \
https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF/resolve/main/Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf8.07GBあります。メモリが8GBのMacでは載らないので、16GB以上のMacで試してください。
3. サーバーを立てる
llama-server -m ~/models/mellum/Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf \
--port 8082 -c 16384 -ngl 99公式の例は `--ctx-size 131072` ですが、16GBのMacでは16,384程度に抑えておくのが無難です。
4. 問題を投げる
curl -s http://127.0.0.1:8082/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Write a Python function roman_to_int(s) that converts a Roman numeral string to an integer. Reply with only one Python code block."}],"temperature":0.6,"top_p":0.95,"top_k":20}' \
| python3 -c "import json,sys; r=json.load(sys.stdin); print(r['choices'][0]['message']['content']); print(r['usage']['completion_tokens'],'tokens', round(r['timings']['predicted_per_second'],1),'tok/s')"最後の行に、出力トークン数と生成速度が出ます。同じ問題を手元の別モデルにも投げると、「速度の差」と「考える量の差」を分けて比べられます。
試し終わったら、サーバーは `Ctrl+C` で止めてください。
まとめ
JetBrainsのMellum2.1(12B・アクティブ2.5B)は、4bit版8.07GBで16GBのM4でも動いた
易しいコーディング問題4問では、Qwen3.5-4Bと同じ全問正解で、待ち時間は461秒→34秒の13分の1
生成速度の差は1.8倍だけ。残りは、答えるまでに考えるトークンが7.5分の1だったこと
ローカルLLMをコーディングの補助に使っていて「思考型は待たされるのがつらい」と感じている人は、一度Mellum2.1に同じ質問を投げてみてください。次は、もっと難しい問題で正解数に差が出るかを試してみます。
出典:
Mellum2.1 Thinkingモデルカード https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking
Mellum2.1 Thinking GGUF版 https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF
関連(有料):小さいモデルの次に気になるのは大きいモデルです。GLM-5.2をローカルで動かすには最低223GB要る、という現実を整理しました