メインコンテンツへスキップ
見出し画像

【実測】M4 Pro 48GBでQwen3.8-27Bの「運用上のバランス」を探した。DFlash2・49K Context・KV8bitに落ち着くまで

    Qwen3.8-27BをMac mini M4 Pro・48GBでしばらく使い込み、OpenClawのローカルCoding Agentとして実運用できるところまで設定を詰めました。

    最初は「とりあえず4bitで動けば十分」と考えていました。

    しかし実際に使い始めると、モデルをロードできることと、長時間のAgent処理を快適に回せることはまったく別でした。

    Contextをどこまで伸ばすのか。

    KV Cacheは4bitと8bitのどちらがいいのか。

    DSparkとDFlash2はどちらを使うのか。

    max-draftはいくつに固定するのか。

    Thinkingはどう扱うのか。

    Prefix Cacheはどう設定するのか。

    このあたりを一つずつ試していった結果、2026年9月時点では、自分の環境における現実的な着地点が見えてきました。

    先にお断りしておくと、これから書く数字や設定は「Qwen3.8-27Bというモデルの絶対的な最適解」ではありません。あくまで「M4 Pro 48GBという特定のハードウェアで、OpenClawを使った長時間のローカルCoding Agentを安定して動かす」という、かなり限定された目的の下での着地点です。この前提が変われば、最適な設定も変わります。

    先に結論を書きます。

    結論:M4 Pro 48GBで今使っている構成

    項目 最終設定
    Mac Mac mini M4 Pro / GPU 16コア / 48GB Unified Memory
    Model Qwen3.8-27B 4bit MLX
    推論 mlx-dspark + DFlash2
    Context Window 49,152 tokens(自分の環境での運用上限。モデル自体のネイティブ上限は262,144、最大1,000,000まで拡張可能)
    KV Cache 8bit
    Thinking OFF
    Prefix Cache 4096 tokens × 4 slots
    max-draft auto
    Lookup Drafts OFF
    small-M AUTO
    SDPA split AUTO
    CPU co-prefill AUTO
    OpenClaw contextWindow: 49152
    モデル配置 SSD
    Fallback Qwen3.6系を保持

    自分の環境に限って言えば、現時点での実用上のバランス点は、

    Qwen3.8-27B 4bit + DFlash2 + Context 49K + KV8bit + Thinking OFF + Prefix Cache 4096×4

    です。

    繰り返しますが、これは「Qwen3.8-27Bそのものの最大性能を引き出す設定」ではありません。目的はあくまで、48GBのMacでOpenClawを使った長時間のローカルCoding Agentを安定して動かすことです。

    ⸻

    そもそもQwen3.8-27Bを選んだ理由

    Qwen3.8-27Bは、2026年8月にAlibabaのQwenチームが公開した27B規模のDenseモデルです。ネイティブでVision-Language Model(画像・動画理解)に対応しており、コーディング、専門業務、リサーチ、長時間のAgentタスクにおいて前世代(Qwen3.6)から大きく性能が向上しているとされています。Thinkingの有効・無効やreasoning effortの調整も公式にサポートされています。

    今回重視したのは、その中でも特にAgent性能です。

    ローカルLLMでCoding Agentを作る場合、単発のコード生成性能だけでは足りません。

    ファイルを読む。

    修正する。

    コマンドを実行する。

    テスト結果を見る。

    失敗原因を考える。

    もう一度修正する。

    このループを何度も続けられることの方が重要です。

    Qwen3.8-27Bは、48GBクラスのApple Siliconでこの用途を狙えるモデルとして、かなり面白い位置にあります。

    ⸻

    最初の構成は「4bit + DSpark」

    最初に試したのはQwen3.8-27B 4bitとDSparkの組み合わせでした。

    自分のM4 Pro環境では、通常推論がおよそ

    14.92 tok/s

    だったのに対し、DSparkを使いmax-draft 7で動かしたところ、

    28.07 tok/s

    まで伸びました。

    単純計算では約1.88倍です。

    27B DenseモデルがM4 Pro上で約28 tok/s出るので、体感としてもかなり大きな差があります。

    ここで「Qwen3.8-27BはMacでも十分実用になる」と判断しました。

    ただし、この後DFlash2を試して構成を変えることになります。

    ⸻

    DSparkからDFlash2へ

    mlx-dsparkでは、Qwen3.8-27BについてDFlash2が現在の最速構成として扱われています。これはDeepSeekのDSparkとは別系統の、z-labによるDFlash方式のspeculative decodingをMLXに移植したものです。

    自分の環境での実測では、4bit Qwen3.8-27Bの場合、

    構成 実測値
    通常推論 約14.7 tok/s
    DSpark 約29.6 tok/s
    DFlash2 約33.8 tok/s

    となりました。

    4bit DFlash2では平均約2.30倍、accepted tokensは約5.14でした。mlx-dspark側でもQwen3.8-27BについてはDFlash2がmeasured-bestとして登録されており、--mode autoで自動選択されます。

    8bitモデルについてもDFlash2は非常に速く、通常約8.4 tok/sから約30.5 tok/s、平均3.63倍という数字も確認しています。

    数字だけを見ると、「48GBなら8bitを使った方がいいのでは」と思うかもしれません。実際、mlx-dspark側も48GBクラスでは8bit Qwen3.8-27Bを有力な推奨候補として挙げています。「48GBでは8bitは動かない」という話では全くありません。

    それでも自分は最終的に4bitを選びました。理由はメモリの使い方です。

    mlx-dsparkの現行READMEでは、M4 Pro上のQwen3.8-27Bについて、chat-length context時のPeak RAMとして4bit構成は約18GB、8bit構成は約29GBと報告されています。この約11GBの差は、48GB Macではかなり大きな意味を持ちます。

    OpenClawではモデル本体以外にも、DFlash2のdrafter、KV Cache、長いContext、Prefix Cache、ツール実行、macOS本体などが同じUnified Memoryを奪い合います。「モデル単体を最大品質で動かす」のではなく、長いContextを確保しながらAgent全体を安定して動かすことを優先し、4bitを採用しました。

    つまり「48GBでは8bitが動かないから4bit」ではなく、「48GBなら8bitも動くが、Agent用途で49K Contextなどの余白を優先して4bitを選んだ」というのが正確な言い方です。

    なお、4bitと8bitの品質差そのものを厳密な評価セットで比較したわけではありません。「4bitでも8bitと品質が変わらない」という主張ではない点は明記しておきます。

    ⸻

    最大の試行錯誤はContext Windowだった

    ここが今回一番重要な部分です。

    まず前提として、Qwen3.8-27B自体のネイティブContext Windowは262,144 tokensで、公式には最大1,000,000 tokensまで拡張可能とされています。以下に書くのはこのモデル仕様の話ではなく、あくまで「M4 Pro 48GB + 4bit + DFlash2 + OpenClaw」という自分の運用条件における実用上のバランス点の話です。

    以前まとめた段階では、Context 32,768を採用していました。32Kならかなり安定しており、メモリにも余裕があったからです。

    しかしOpenClawで実際にCoding Agentを長く走らせると、32Kでは少し足りません。大きめのリポジトリを読み、複数ファイルを修正し、buildやtest結果までContextに残していくと、圧縮・compactionが早い段階で必要になります。

    そこでContextを、32,768 → 49,152へ拡大しました。

    49K環境では23K tokens相当の長文入力も含めて安定動作を確認し、Tool/Codingを繰り返す8段階程度のループでもcompactionなしで完走できました。

    この差はtok/sのようにベンチマークには現れません。しかしCoding Agentではかなり重要です。Agentが途中で古い情報を圧縮したり忘れたりする回数が減るため、「速いモデル」から「仕事を最後まで続けやすいモデル」へ変わる感覚があります。

    では64Kまで伸ばせばもっと良いのか。これも試しました。結果は不採用です。自分の48GB環境では長文試験中にサーバーが終了しました。

    一度ロードできたからといって、そのContext Windowを安全に使えるとは限りません。特にAgentでは、モデルロード直後より長時間処理中の方がメモリ条件は厳しくなります。

    そのため現在は、32Kでは少し狭い、64Kは自分の環境では不安定、49,152が実用上のバランス点、という判断です。あくまで自分のマシンと運用条件の中での話であり、モデルが262K〜1Mに対応していること自体とは矛盾しません。

    ⸻

    KV Cacheは4bitから8bitへ変更

    Contextを伸ばすと当然KV Cacheのメモリ消費も増えます。そのため初期設定では、KV Cache 4bitを使っていました。

    これは間違いではありません。32Kでメモリ使用量を抑えるという目的なら合理的です。

    しかし49KまでContextを伸ばして実際のCoding Agentを試した結果、最終的にはKV8bitへ変更しました。この構成でもMemory Pressureは正常範囲に収まり、試験中にSwapが増え続けるような状態にはなりませんでした。

    また興味深かったのが、KV Cacheを量子化しない設定が必ずしも速いわけではなかったことです。自分のmath系テストではKV0がKV8より約17%遅くなるケースもありました。「精度を上げれば速度も上がる」という単純な関係ではありません。

    今回の目的では、メモリ使用量、長文安定性、推論速度のバランスから、49K + KV8bitを採用しました。以前の「32K + KV4bit」という結論は、この後の長文試験によって更新されたことになります。

    ⸻

    max-draftは固定7ではなくauto

    DFlash2ではmax-draftもかなり重要です。自分の環境で比較すると、

    max-draft 実測
    auto 約27.7 tok/s
    7固定 約28.0 tok/s

    差は約1%でした。つまりM4 Proでは7固定の方がわずかに速かったものの、実用上はほぼ誤差です。

    そこで現在は、max-draft autoにしています。理由は単純で、固定値にするメリットがほとんどないからです。

    mlx-dsparkはマシンやモデル、quantごとに推論特性を測定して最適値を決められるようになっています。実際、mlx-dspark 0.17.2以降ではDFlashのデフォルトcapもマシン実測から決める仕組みに変更されています。M4 ProとM3 Maxでも最適なverify幅が必ずしも同じではないことが確認されています。

    他人のベンチマークで「7が最速だった」から7に固定するより、自分のMacで測定させる方が筋がいいという結論です。

    ⸻

    Prefix Cacheはかなり重要

    ローカルAgentを使っていて意外と効いたのがPrefix Cacheです。

    Coding Agentでは毎ターン、システムプロンプト、ツール定義、AGENTS.md、会話履歴、プロジェクト情報など、かなり大きな共通Prefixが再利用されます。毎回これを最初からprefillすると、27B Denseモデルでは待ち時間が大きくなります。

    そこで現在は、Prefix Cache 4096 × 4 slotsにしています。以前は8192 × 2も試しましたが、Agentのように複数ターン・複数セッションを扱う用途では4096 × 4の方を採用しました。

    自分の環境でもcoldでは30〜35秒程度待つ場面があったものが、cacheが効くと7.7秒級まで短縮されるケースを確認しています。

    Agent用途では「生成速度が30 tok/sか33 tok/sか」以上に、毎ターンのprefillを何秒削れるかの方が体感に効く場面があります。

    ⸻

    Thinkingは常用ではOFFにした

    Qwen3.8-27Bは公式にThinkingがデフォルトONで、reasoning_effortはxhighがデフォルトとされています。medium/lowも選択可能です。

    このxhighというデフォルトは、単純な依頼でも大量の推論トークンを消費する可能性があるという報告があります。ただし、これがどの程度深刻な問題になるかは利用しているServing stack(llama.cppやvLLMなど)や設定に依存する部分もあるようで、「xhighは長時間Agent運用と原理的に相性が悪い」と一般化して断定できるほど根拠が揃っているわけではありません。Qwen公式も、reasoning effortを下げることが必ずしもAgentタスク全体の所要時間短縮につながるとは限らないと注意しています。

    自分の場合は、普段のCoding Agent運用ではThinking OFFにしています。理由は、ローカルAgentでは「一回の回答を深く考えること」以上に、ツールを呼ぶ→結果を見る→次の行動を決める、という短いループを高速に回すことの方を優先したいからです。Thinkingを長くすると、その分だけTool Callに到達するまでの時間が延び、Context消費も増えます。難しい設計判断を一発でさせる用途と、数十回Tool Loopを回すCoding Agentでは、求められる推論スタイルが違います。

    そのため自分の常用プロファイルではThinking OFFを選んでいますが、これは「xhighが常に悪い」という話ではなく、自分のAgent運用の優先順位に合わせた選択です。

    ⸻

    「途中で止まる」はモデル性能だけの問題ではなかった

    Qwen3.8-27Bで自律Codingを試していると、途中で止まることもありました。

    当初は、「27BではAgent能力が足りないのでは」とも考えました。

    しかしログを調べると、原因はもっと実務的でした。特に多かったのがstopReason=lengthです。4096 tokensまで通常文を書き続けた結果、次のTool Callへ行く前に出力上限へ到達してしまう。巨大なexecを一度に実行しようとする。テストと再確認を必要以上に繰り返す。Toolを呼ぶより説明文を長く書いてしまう。こうした運用側の問題がかなりありました。

    Coding用のタスクでは必要に応じて出力上限を8192へ広げ、Tool-firstを明確にし、巨大な一括execを避けることで完走率は改善しました。

    つまりローカルCoding Agentでは、モデル選択だけではなく、Agent Harness側の設計が同じくらい重要です。「モデルが止まった=モデルの知能が足りない」とは限りません。

    ⸻

    ネイティブMTPとDFlash2は別物

    もう一つ整理しておきたいのが、speculative decodingの方式についてです。

    Qwen3.8-27B自体には、公式にネイティブのMTP(Multi-Token Prediction)ドラフトヘッドが組み込まれています。config上にもmtp_num_hidden_layers: 1として存在し、公式Model Cardにも複数ステップで学習されたMTPヘッドである旨が明記されています。

    一方、今回使用したDFlash2は、このネイティブMTPとは別方式・別checkpointのdrafterです。mlx-dsparkが使っているのは専用に学習されたDFlash系のspeculative decoderで、candidate path selectorとdynamic convolutionsを用いる独自方式であり、Qwen純正のMTPヘッドをそのまま使っているわけではありません。mlx-dsparkではこちらがQwen3.8-27Bに対する現在のmeasured-bestとして登録されています。

    なお、Qwen純正のMTPヘッドだけを切り出したモデルもコミュニティ側で公開されていますが、今回の検証ではmlx-dspark上のplain推論/DSpark/DFlash2の比較のみを行っており、ネイティブMTPとの直接比較は行っていません。この点は今後の検証課題です。

    ⸻

    なぜOllamaだけではなくMLX + DFlash2なのか

    Ollamaは非常に便利です。自分もFallbackとしてQwen3.6系を残しています。

    ただ、Apple SiliconでQwen3.8-27Bを常用する場合、現在はMLX + speculative decodingのメリットが大きいと感じています。特にDFlash2では、単純にモデルを4bit化するだけでは得られない推論速度を狙えます。

    Qwen3.8-27B 4bitという27B Denseモデルを、30 tok/s前後の世界で使えること自体がかなり大きい。「小さいモデルを高速に動かす」のではなく、27B Denseの能力を保ったまま、MacでAgentとして使える速度まで持っていくというのが今回の構成のポイントです。

    ⸻

    2026年9月12日時点でのアップデート

    今回の構成を固めた時点では、主にmlx-dspark 0.18.0を使って検証しています。

    ただし、その後もmlx-dsparkは更新されています。2026年9月6日の0.18.1では、DFlashの長Context利用時に特定条件で発生するクラッシュが修正され、CPU co-prefillもメモリ圧迫時には自動的に抑制されるようになりました。

    さらに9月10日には0.19.0が公開されています。0.19.0ではCPU co-prefillのCPU側計算がfp32/Accelerate BLASへ変更され、Prefix Cacheのrung継承やMemory Pressure時のCache保持も改善されています。

    そのため、この記事の数値は0.18.0前後で行った自分の実測を基本としていますが、これから同じ環境を作るなら0.19.0以降を使うのがよいと思います。バージョンによって最速設定が変わる可能性があるため、max-draft autoを使う理由もここにあります。

    ⸻

    最終的な考え方

    ここまで試して感じたのは、ローカルLLMの「最適化」は最高tok/sを出すことでも、モデルのスペック上限をフルに使い切ることでもないということです。

    仮にベンチマークで35 tok/s出ても、Contextが足りず頻繁に圧縮されるならAgentとしては使いにくい。逆にContextを128Kや262Kまで広げても、メモリ不足でSwapが増えたりサーバーが落ちたりするなら意味がありません。

    今回のM4 Pro 48GBで見えてきたのは、一貫して「できる最大値」ではなく「どこでバランスを取るか」という判断でした。

    モデル仕様上は262K Context対応 → しかし自分の48GB環境では49Kを運用上限に採用。

    48GBなら8bitも動く → しかしAgent全体の余白を優先して4bitを採用。

    Thinking/xhighも公式サポート → しかしTool Loop重視でOFFを採用。

    ネイティブMTPも存在 → しかし今回はmlx-dsparkのDFlash2構成を評価。

    このバランスの取り方が、自分の運用では一番扱いやすい形になりました。

    Qwen3.8-27BをMacで動かすだけなら、それほど難しくありません。本当に面白いのは、その先です。27B Denseモデルに数万tokensのContextを持たせ、ローカルでファイルを読み、コードを書き、buildし、testし、失敗したら修正する。そこまでできるようになると、「ローカルでチャットAIを動かしている」感覚から、「Macの中にCoding Agentを一人置いている」感覚にかなり近づきます。

    少なくとも自分のM4 Pro 48GBでは、Qwen3.8-27Bはそのラインまで来ています。

    そして2026年9月時点で、自分が常用するなら、

    Qwen3.8-27B 4bit + DFlash2 + Context 49,152 + KV8bit + Thinking OFF + Prefix Cache 4096×4 + max-draft auto

    これを選びます。

    「モデルの最大スペックを使い切る設定」ではなく、「48GB Macで長時間Agentを実際に使うためのバランス点」というのが、今回の結論です。

    ⸻

    検証環境

    Mac mini M4 Pro
    GPU 16コア
    Unified Memory 48GB
    macOS 26系
    Qwen3.8-27B 4bit MLX
    mlx-dspark / DFlash2
    OpenClaw
    モデルはSSD配置

    ※測定値はモデル、mlx / mlx-dsparkのバージョン、Prompt、Context長、Cache状態、Macの温度などで変化します。他環境でも同じtok/sや同じメモリ消費になることを保証するものではありません。

    ※Qwen3.8-27B自体はVision-Language Modelとして画像・動画理解に対応していますが、本記事ではmlx-dspark経由のテキスト・Coding・Agent用途のみを検証対象としています。Vision入力の評価は今回の対象外です。

    ⸻

    参考元
    Qwen3.8-27B 公式Model Card(Hugging Face)
    mlx-dspark GitHub
    mlx-dspark PyPI

     
     
    ゲームのプランナーをしています。日々のアウトプットの場として雑多に記事を投稿していきます。二児の父です。日々勉強📚

    あなたへのおすすめ