メインコンテンツへスキップ
見出し画像

48GBのMacで125B級AIが毎秒20トークン超――Flash-Next+strata-mlxをHermesで使えるようにするまで

    48GBのMacで、大きなローカルLLMを使いたい。とはいえ、ただ動くだけでは、普段の作業に使えるかどうかは分かりません。

    今回試したのは、Qwen3.8-Flash-NextのGSQ-RCO Q2_0版と、Apple Silicon向けの推論エンジン「strata-mlx」の組み合わせです。モデルを内蔵SSDに置いたところ、短い日本語の生成は20.33 tok/s、コードの生成は25.53 tok/sでした。

    以前使っていた4bit版+Slotstreamより速く、Hermes Agentからコード修正を最後まで終えられることも確認できました。一方で、長い会話ではメモリの割り振りを見直す必要があり、日本語に中国語の表現が混ざる問題も残っています。

    この記事は、2026年10月13〜14日に行った導入・実測・設定調整の記録です。導入と速度測定はCodex、Hermesへの接続とその後の調整はClaudeが担当し、それぞれの作業記録をもとにまとめています。

    今回分かったこと

    • 内蔵SSDに置いたFlash-Next Q2_0+strata-mlxで、日本語20.33 tok/s、コード25.53 tok/sを記録しました。

    • 同じQ2_0モデルでも、今回の外付けSSDから内蔵SSDへ置き場所を変えるだけで、生成速度は約2.5〜2.7倍になりました。

    • Hermesの補助リクエストのせいで起きていた会話の読み直しを減らすと、補助リクエスト直後の応答が41.2秒から4.5秒になりました。

    • 最終的に試用している設定は、expertキャッシュ14GB、会話キャッシュ1,536MiB、MTP ONです。

    • この最終設定で、約3.6万トークンの会話と、小規模なHermesの課題を完了できました。ただし、65Kの全域や長時間の連続運用はまだ確認していません。

    • 普段のメインは27B+DFlash2のままです。Flash-Nextは、必要なときに手動で選ぶ実験用のサブモデルにしています。

    環境と、48GBで動く仕組み

    使ったのは、Mac mini(M4 Pro、ユニファイドメモリ48GB、macOS 27)です。

    | 項目 | 構成 |
    |---|---|
    | 今回のモデル | Qwen3.8-Flash-Next GSQ-RCO Q2_0(GGUF) |
    | モデル本体の容量 | 約66.4GB(約61.9GiB)、2分割 |
    | 推論エンジン | strata-mlx |
    | モデル本体の置き場所 | 内蔵SSD |
    | 先読み生成 | MTP ON |
    | エージェント | Hermes Agent |
    | 普段のメイン | Qwen3.8-27B abliterated(MLX 4bit)+DFlash2 |
    | 以前使っていたFlash-Next | MLX 4bit+Slotstream(約105GB) |

    Flash-Nextは125B級のMoEモデルです。トークンごとに一部のexpert(専門家ネットワーク)だけを使うので、毎回すべてのパラメータを計算するモデルとは性質が違います。

    strata-mlxは、expertの重みの一部をメモリに置き、足りない分をSSDから読み込みます。モデル全体を48GBのメモリに載せているわけではありません。そのため、SSDの読み出し速度と、expertキャッシュの容量が性能を左右します。

    なお、expertキャッシュの容量は、モデル全体のメモリ使用量ではありません。共有部分の重み、MTP、KVキャッシュ、退避中の会話、計算中の一時データなどにも、別にメモリが必要です。「expertを16GBにしたから全体も16GBで済む」わけではありません。

    また、内蔵SSDに置いたのはGGUFのモデル本体だけです。MTP用のデータ、tokenizer、起動スクリプトの一部は外付けSSDに残っています。今の構成は、外付けSSDがないと起動できません。

    導入では、必要なデータだけを取得しました

    モデルはQ2_0の2ファイルだけをダウンロードし、SHA256で照合しました。ほかの量子化版やリポジトリ全体は取得していません。

    MTP用のデータも、元モデルの巨大なチェックポイントを丸ごと落とすのではなく、必要な31テンソルだけを範囲指定で取得しました。エンジンを導入した時点で、385件のテストが通ることも確認しています。

    まず外付けSSDで動作を確認し、そのあと同じモデルを内蔵SSDに置いて測り直しました。普段使いの27Bは止めずに残し、試験用のプロセスを分けて進めています。

    同じモデルでも、置き場所で約2.5〜2.7倍の差

    置き場所の比較では、条件をexpertキャッシュ16GB、コンテキスト上限65,536、MTP ON、temperature 0、seed 7に揃えました。入力は日本語が252トークン、コードが217トークンで、どちらも480トークンを生成しています。

    プロセスは「外付け→内蔵→内蔵→外付け」の順に起動し、各プロセスで日本語とコードを3周させました。下の表は、置き場所と課題ごとの6回分の中央値です。ただし、独立したプロセスは条件ごとに2つなので、6回すべてが独立した試行というわけではありません。

    | 置き場所 | 日本語の生成速度 | コードの生成速度 | 日本語の応答時間(全体) | コードの応答時間(全体) |
    |---|---:|---:|---:|---:|
    | 外付けSSD | 7.54 tok/s | 10.13 tok/s | 86.10秒 | 59.80秒 |
    | 内蔵SSD | 20.33 tok/s | 25.53 tok/s | 28.95秒 | 23.58秒 |

    日本語は2.70倍、コードは2.52倍になりました。この試験ではモデルも量子化も同じなので、置き場所を変えた効果として比べられます。ただし、これは今回つないだ外付けSSDでの結果です。どの外付けSSDでも同じだけ遅くなるとは言えません。

    内蔵SSDでの測定では、MLXのピーク使用量は約23.2GB、swapへの追加書き出しはゼロ、Memory Pressureも正常でした。いずれも短い入力での結果です。

    なお、20.33/25.53 tok/sは生成(decode)部分だけの速度で、起動時間や入力の処理時間は含みません。また、これはexpertキャッシュ16GBでの測定です。後で説明する最終設定(14GB)の速度として、そのまま使うことはできません。

    Slotstreamより速い。ただしエンジンだけの比較ではない

    以前、内蔵SSD上のSlotstreamで測ったときは、日本語6.19 tok/s、コード7.63 tok/sでした。今回の内蔵SSD+strataは、どちらも約3.3倍です。

    | 構成 | 日本語の生成速度 | コードの生成速度 |
    |---|---:|---:|
    | Flash-Next MLX 4bit+Slotstream(過去の参考値) | 6.19 tok/s | 7.63 tok/s |
    | Flash-Next Q2_0+strata-mlx(今回の短文測定) | 20.33 tok/s | 25.53 tok/s |

    ただし、量子化方式も、推論エンジンも、測った日も違います。「同じFlash-Nextを使う構成として速くなった」とは言えますが、「strataというエンジンだけで3倍速くなった」とは言えません。

    それに、速くなったことと、4bit版と同じ品質を保てていることは別の話です。

    Hermesにつなぐため、変換役を間に挟みました

    今回使ったstrataの起動方法では、トークンIDをそのままやりとりする独自の方式(native protocol)でしか通信できません。Hermesが使うOpenAI互換のAPIにつなぐため、前段に変換用のアダプタを用意しました。

    アダプタは、会話をチャットテンプレートで整えてトークンに変換し、生成結果をストリーミングで返します。モデルが出すツール呼び出しも、Hermesが扱える形式に変換します。

    さらに、モデル切り替え用のルーターを通して、27BとFlash-Nextが同時にロードされない構成にしました。Flash-Nextは指定したときだけ起動し、自動の振り分けはしていません。

    ひとつ補足すると、過去の記録に出てくる「Ollama経由の27B(コンテキスト16K)」と、今回Hermesから使っている27Bは、接続経路が違います。最新の運用記録では、HermesのメインはDFlash2側の65,536設定です。Ollamaで16Kの復旧を確認した記録は、今のHermesの設定の説明には使っていません。

    どちらの場合も、設定上のコンテキスト上限を申告できることと、その上限まで実際の入力を処理できることは、分けて考えています。

    大きな待ち時間は、生成以外のところにもありました

    Hermesにつないでみると、2ターン目以降なのに遅い場面がありました。

    調べてみると、strataが保持していた会話の状態が、タイトル生成などの補助リクエストに上書きされていました。本来の会話は約8.5Kトークンありますが、補助リクエストは約300トークンで、先頭部分も共通していません。そのため、元の会話に戻るたびに、長い入力を最初から読み直していたのです。

    そこで、別の会話が割り込んだときに元の会話を退避しておく「会話キャッシュ(conversation cache)」を有効にしました。これは、expertの重みを置いておくキャッシュとも、以前Slotstreamで試したディスク上のprefix cacheとも、役割が違います。

    実際のHermesのリクエストを「本来の会話→タイトル生成→本来の会話→続き」の順で再生して比べました。各設定とも1回ずつの比較です。

    | 設定 | 補助リクエスト直後の応答 | 再利用できた入力 |
    |---|---:|---:|
    | expert 16GB、会話キャッシュなし | 41.2秒 | 0トークン |
    | expert 16GB、会話キャッシュ1,024MiB | 4.5秒 | 8,524トークン |
    | expert 16GB、会話キャッシュ2,048MiB | 5.0秒 | 8,524トークン |

    会話の読み直しがなくなったことで、このターンの時間は約89%短くなりました。

    これは生成速度が9倍になったという意味ではありません。Hermesの作業全体がいつも9倍速くなる、という結果でもありません。省けたのは、補助リクエストのあとに起きていた入力の再処理だけです。

    新しい質問を始めた場合でも、共通のシステムプロンプトを含む入力8,431トークンのうち8,406トークンを再利用でき、4.3秒で応答した例がありました。入力を毎回最初から処理しないことが、体感の速さに大きく効いていました。

    メモリの問題は、経緯を分けて見る必要がありました

    長い会話が最初から安定していたわけではありません。

    Codexによる初期の試験では、expert 16GBで4Kトークンの入力を処理している最中に、macOSのMemory Pressureの警告が出ました。再起動してから試し直すと、コンテキスト上限16Kの設定でも65Kの設定でも、4,096トークンの入力と64トークンの生成を処理でき、swapへの追加書き出しもゼロでした。このときの入力処理中のMLXピークは約26.0GBです。

    ただし、再起動のほかにも、ほかのモデルのロード状況や測り方が変わっています。警告が消えた理由を、再起動だけによるものとは言い切れませんでした。

    続けて8Kトークンを入力したところ、swapへの追加書き出しを約1.5MiB検出し、安全のため停止しています。4Kで成功したことだけを根拠に、65Kの長い入力に対応できるとは判断していません。

    その後にClaudeが行った長い会話の試験は、初期の試験とは停止の基準が違います。初期のCodexの試験は、swapへの追加書き出しやMemory Pressureの警告が出た時点で止める方針でした。後の長入力の試験は、「swapへの追加書き出しが512MiBを超える」か「Memory Pressureがcritical(危険)になる」場合に止めています。

    そのため、後の試験での成功を、初期の試験と同じ監視条件での結果として一緒に数えることはできません。設定を決める参考にはなりますが、より厳しい基準での再確認は残っています。

    最終設定は、expert 14GB+会話キャッシュ1,536MiB

    後の試験では、ツールの実行結果を会話に足していき、会話を約2.5万トークンまで伸ばしました。

    | 設定 | 結果 |
    |---|---|
    | expert 16GB+会話キャッシュ1,024MiB | swapへの追加書き出しが約992MiBに達し、中断 |
    | expert 14GB+会話キャッシュ1,024MiB | 追加書き出しはゼロ。ただし会話が退避の上限に入りきらず、次の応答は133.2秒 |
    | expert 14GB+会話キャッシュ1,536MiB | 追加書き出しはゼロ。次の応答は5.8秒 |

    約2.5万トークンの会話を退避するには、約1,146MiBが必要でした。1,024MiBでは足りず、1,536MiBに増やすことで読み直しを避けられました。その分、expert側を14GBに減らして、メモリの余裕を確保しています。

    別の試験(expert 16GB+会話キャッシュ1,536MiB)でも、約2.74万トークンの時点で約652MiBの追加書き出しが起きました。ただし、先ほどの16GBでの失敗例とは会話キャッシュの容量が違うので、同じ条件を2回繰り返した結果としては扱っていません。

    最終設定(14GB)では、次の会話の長さをそれぞれ確認しました。

    | 実際の会話の長さ | 新しい入力を処理した応答 | 補助リクエスト後の応答 | swapへの追加書き出し |
    |---|---:|---:|---:|
    | 24,628トークン | 98.8秒 | 5.8秒 | 0 |
    | 27,523トークン | 118.7秒 | 6.6秒 | 0 |
    | 35,820トークン | 181.0秒 | 6.4秒 | 0 |

    いずれもMemory Pressureは正常でした。ただし、それぞれの長さで試したのは1回ずつです。65,536トークンまでの全域や、一晩かかる連続作業が問題なく動くことを保証するものではありません。

    また、会話の状態を復元するだけなら0.6ミリ秒で済んだ例でも、応答全体には5.8秒かかっています。復元にかかる時間と、入力の処理や生成を含めた応答時間は、別の数字です。

    会話キャッシュに入りきらない長さになると、また読み直しが必要になります。今回の会話では、その境目は約3.7万トークンのあたりでした。ただ、入力の内容や状態の大きさで変わるので、決まった安全上限とは考えていません。

    小さなHermesの課題は完了できました

    最終設定で、本番とは切り離したHermesの環境から、コード修正の課題を実行しました。

    | 課題 | かかった時間 | 結果 |
    |---|---:|---|
    | 在庫処理のoff-by-oneバグの修正 | 96秒 | テストは全部通過、評価用のテストは改変なし |
    | ダメージ計算の修正 | 94秒 | テストは全部通過、評価用のテストは改変なし |

    どちらもswapへの追加書き出しはゼロで、Memory Pressureも正常でした。以前の設定(16GB+会話キャッシュ1,024MiB)で在庫の修正を105秒で終えた記録もありますが、設定が違うので、同じ条件の結果としては混ぜていません。

    これで、「短い文章を生成できる」段階から、「Hermesがツールを使ってコードを直し、テストを通せる」段階まで確認できました。

    一方で、当初予定していた「Flash-Next対27B、4課題×各3回の計24回」の比較は、まだ保留しています。この2つの課題だけでは、27Bより正確だとも、作業が速いとも判断できません。

    Q2_0の品質には、まだ課題があります

    日本語の生成では、「编码」「空字符串」のような中国語の表現が混ざる出力を確認しています。モデルを内蔵SSDに移したことで、この問題が解決したわけではありません。

    Q2_0は4bit版とは量子化の条件が違うので品質の差が気になりますが、言語の混ざりを量子化だけのせいだと決めつけることもできません。エンジン、テンプレート、生成の設定などを一つずつ切り分けて、直接比べる必要があります。

    別の小さなBFSのコード課題では、14件のテストに通っています。ただし、480トークンで打ち切る速度測定は、完成したコードの品質を見る試験ではありません。速度の試験とコードの合否は、分けて考えています。

    コード修正に使えそうな手応えはつかめました。日本語の文章の品質、複雑な仕様の理解、長いゲーム開発を最後までやりきれるかどうかは、これから実際に使いながら見ていきます。

    普段は27B、Flash-Nextは手動で試します

    いまは、起動したときの既定を27Bにして、必要なときだけFlash-Nextを選ぶ使い方にしています。

    /model qwen3.8-flash-next:q2

    27Bに戻すときは、次のように指定します。

    /model Qwen3.8-27B-abliterated

    1ターンだけFlash-Nextを使うこともできます。

    /model qwen3.8-flash-next:q2 --once

    ただし、Hermes上でモデルの選択を戻しても、推論サーバーがすぐに止まってメモリが空くとは限りません。使い終わったあとに何が常駐しているかは、切り替えの処理で確認する必要があります。

    また、最初の起動には約75秒の読み込み待ちがありました。数秒で終わる質問を1回だけ試す場合は、この起動時間も含めて考える必要があります。

    以前のSlotstream版は、いまはモデルの選択肢から外し、Q2_0版とは名前で区別しています。モデルファイルを削除したわけではありません。

    現時点での判断

    Flash-Next Q2_0+strata-mlxは、48GBのMacで試せる実験用のサブモデルとして、十分な手応えがあります。短文の生成速度は以前のSlotstreamの構成を上回り、小さなHermesの課題も完了しました。

    今回効いたのは、モデル本体を内蔵SSDに置くこと、expertと会話キャッシュへのメモリの割り振りを調整すること、補助リクエストによる入力の読み直しを減らすことの3つです。それぞれ、SSDの読み出し、メモリの余裕、入力処理の重複という、別々の問題への対策でした。

    残っている課題は、27Bとの同じ条件での実務比較、日本語の品質、より厳しいメモリ監視での再確認、そして65Kの全域と長時間の安定性です。

    普段使いのメインは27Bのままです。Flash-Nextには実際のコード修正やゲーム開発を任せてみて、できあがった成果物と作業時間を見ながら、サブモデルとしての価値を判断していきます。


    この記事は、個人のMac 1台で行った小規模な実測の記録です。短文での置き場所の比較は各6回、会話キャッシュの最初の比較は各1回、最終設定でのHermesの課題は2件です。試験ごとに条件や安全のための停止基準が違うため、統計的な優劣や、あらゆる用途での安定性を示すベンチマークではありません。

     
     
    ゲームのプランナーをしています。日々のアウトプットの場として雑多に記事を投稿していきます。二児の父です。日々勉強📚

    あなたへのおすすめ