メインコンテンツへスキップ
見出し画像

JetBrains製Mellum2.1を16GBのM4で。Qwen3.5-4Bと同じ全問正解で、待ち時間は13分の1でした

    JetBrains(IntelliJやPyCharmの会社)が、コーディング向けのローカルLLM「Mellum2.1」を公開しました。10月7日には公式のGGUF版も出て、llama.cppやLM Studioでそのまま動かせるようになっています。

    総パラメータは12Bですが、1トークンごとに動くのは2.5Bだけ、というMoE(専門家を切り替えながら動くタイプ)のモデルです。4bit版のファイルは8.07GBなので、16GBのMacにも載ります。

    そこで、うちのMac mini M4(16GB)で、普段使っているQwen3.5-4Bと同じコーディング問題を解かせて比べました。

    この記事でわかること:

    • Mellum2.1が16GBのMacで動くか、どれくらい速いか

    • Qwen3.5-4Bと比べて、正解数と待ち時間がどう違うか

    • 自分のMacで同じことを試す手順

    結論を先に書くと、正解数は同じ(4問中4問)で、待ち時間は13分の1でした。生成速度の差は1.8倍しかなく、残りの差は「考える量」の違いです。

    Mellum2.1はどんなモデルか

    JetBrainsのモデルカードに書かれている主な仕様です。

    • 総パラメータ12B、1トークンあたりのアクティブ2.5B

    • エキスパート64個のうち8個を使う

    • コンテキスト長131,072トークン

    • 考える過程を `<think>...</think>` の中に出す思考型(Thinking)モデル

    • ライセンスはApache 2.0(商用利用可)

    公式のベンチマークでは、LiveCodeBench v6が82.0、HumanEval+が91.5、SWE-bench Verifiedが47.0と書かれています。いずれもJetBrains自身の発表値です。

    GGUF版の量子化は4種類あります。

    • Q8_0: 12.9GB

    • Q6_K: 10.9GB

    • Q4_K_M: 8.1GB(公式の推奨)

    • MXFP4_MOE: 7.0GB(最小)

    16GBのMacならQ4_K_Mが現実的です。今回もこれを使いました。

    検証環境と条件

    • Mac mini M4(10コアGPU)/ メモリ16GB / macOS 26.4

    • llama.cpp 0.4.1(Homebrew版)

    • Mellum2.1-12B-A2.5B-Thinking Q4_K_M(8.07GB)

    • 比較相手: Qwen3.5-4B Q4_K_M(2.74GB)

    • コンテキスト16,384トークン、GPUに全層を載せる(`-ngl 99`)

    • サンプリングは公式推奨のtemperature 0.6 / top_p 0.95 / top_k 20で両方そろえた

    問題は、Pythonの関数を1つ書かせる小さな課題です。回文判定、区間のマージ、ローマ数字の変換、重複のない最長部分文字列、「1h30m」のような時間表記のパース、の5問を用意しました。出てきたコードを実際に実行して、テストが全部通ったら正解としています。

    結果: 正解数は同じ、待ち時間が13分の1

    両方そろって解けた4問の結果です。

    Qwen3.5-4B:

    • 正解: 4問中4問

    • 4問の合計時間: 461秒(1問あたり77〜151秒)

    • 出力トークン: 合計12,621

    • 生成速度: 約27 tok/s

    Mellum2.1:

    • 正解: 4問中4問

    • 4問の合計時間: 34秒(1問あたり4〜18秒)

    • 出力トークン: 合計1,686

    • 生成速度: 約50 tok/s

    Mellum2.1は2回目の実行でも同じ4問を27秒で全問正解し、5問目(時間表記のパース)も16秒で正解しました。

    Qwen3.5-4Bは5問目の途中で打ち切っています。1問に2分以上かかる回が続き、検証の時間枠(10分)を超えたためです。なのでQwenの比較はn=4です。

    差の正体は「考える量」

    生成速度だけ見ると、Mellum2.1は約50 tok/s、Qwen3.5-4Bは約27 tok/sで、差は1.8倍です。アクティブ2.5Bと4Bの差なので、ここは理屈どおりです。

    一方、出力したトークンの量は7.5倍違いました。Qwen3.5-4Bは1問あたり2,000〜4,000トークン考えてから答えるのに対して、Mellum2.1は170〜900トークンで答えを出しています。

    速度1.8倍×考える量7.5分の1で、待ち時間が13分の1になった、というのが今回の結果です。

    体感としては、Qwen3.5-4Bは「質問して、別の作業をして、戻ってくる」待ち方でした。Mellum2.1は「答えが出るのを眺めていられる」待ち方です。エディタの横で使う補助としては、この差が一番大きいと感じました。

    注意点も書いておきます。

    • 今回の5問はどれもLeetCodeの易しい〜中程度の問題で、両方とも全問解けています。難しい問題で正解数に差が出るかは、この検証ではわかりません

    • 各モデル1〜2回の実行で、サンプリングにランダム性があります

    • 「考える量が少ない=賢い」とは限りません。易しい問題で考えすぎないのはMellum2.1の長所ですが、難しい問題で考えが足りなくなる可能性もあります

    自分のMacで試す手順

    1. llama.cppを入れる

    brew install llama.cpp

    すでに入っている場合は `llama-server --version` でバージョンを確認してください。今回の0.4.1でMellumのアーキテクチャに対応していました。

    2. モデルをダウンロードする

    mkdir -p ~/models/mellum && cd ~/models/mellum
    curl -L -o Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf \
      https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF/resolve/main/Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf

    8.07GBあります。メモリが8GBのMacでは載らないので、16GB以上のMacで試してください。

    3. サーバーを立てる

    llama-server -m ~/models/mellum/Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf \
      --port 8082 -c 16384 -ngl 99

    公式の例は `--ctx-size 131072` ですが、16GBのMacでは16,384程度に抑えておくのが無難です。

    4. 問題を投げる

    curl -s http://127.0.0.1:8082/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{"messages":[{"role":"user","content":"Write a Python function roman_to_int(s) that converts a Roman numeral string to an integer. Reply with only one Python code block."}],"temperature":0.6,"top_p":0.95,"top_k":20}' \
      | python3 -c "import json,sys; r=json.load(sys.stdin); print(r['choices'][0]['message']['content']); print(r['usage']['completion_tokens'],'tokens', round(r['timings']['predicted_per_second'],1),'tok/s')"

    最後の行に、出力トークン数と生成速度が出ます。同じ問題を手元の別モデルにも投げると、「速度の差」と「考える量の差」を分けて比べられます。

    試し終わったら、サーバーは `Ctrl+C` で止めてください。

    まとめ

    • JetBrainsのMellum2.1(12B・アクティブ2.5B)は、4bit版8.07GBで16GBのM4でも動いた

    • 易しいコーディング問題4問では、Qwen3.5-4Bと同じ全問正解で、待ち時間は461秒→34秒の13分の1

    • 生成速度の差は1.8倍だけ。残りは、答えるまでに考えるトークンが7.5分の1だったこと

    ローカルLLMをコーディングの補助に使っていて「思考型は待たされるのがつらい」と感じている人は、一度Mellum2.1に同じ質問を投げてみてください。次は、もっと難しい問題で正解数に差が出るかを試してみます。

    出典:


    関連(有料):小さいモデルの次に気になるのは大きいモデルです。GLM-5.2をローカルで動かすには最低223GB要る、という現実を整理しました


     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ