メインコンテンツへスキップ
見出し画像

48GBのMacで、Qwen3.8 Flash-Nextを高速化。Splash+DFlash2で最初の返答が34→10秒に

    前回は、48GBのMacでQwen3.8‑Flash‑Next(以下、FN)を動かし、Hermesから使えるようにするまでを書きました。今回は、同じモデルを使ったまま推論エンジンを切り替え、返答の待ち時間がどれくらい変わるかを測りました。

    今回の結果まとめ
    ・約3,700トークンの初見入力:最初の本文まで 34.17秒 → 10.23秒
    ・約8,700トークンの初見入力:回答完了まで 59.25秒 → 27.59秒

    同じモデルをStrata‑MLXとSplashで比較

    検証にはMac mini M4 Pro(ユニファイドメモリ48GB)を使いました。モデルは内蔵SSDに置いた Qwen3.8‑Flash‑Next GSQ‑RCO Q2_0 の2分割GGUFで、合計約66.4GBです。

    今回は、従来の Strata‑MLX+MTP と、新しく導入した Splash 1.6.1+DFlash2 を比較しました。モデル本体のファイルはそのまま使い、DFlash2用のドラフトを追加しています。

    計測条件
    ・推論エンジンを片方ずつ起動し、同じ入力を使用
    ・temperature 0、thinkingオフで計測
    ・長文テストの出力上限は96トークンに固定
    ・「最初の本文」はHTTPストリームで最初に本文が届くまでの時間(モデルの起動時間は除外)

    初見の長文で、最初の本文まで54〜70%短縮

    初見の長文3件で計測した結果は、以下の通りです。

    • 初見3,744トークン :最初の本文まで 34.17秒 → 10.23秒 / 回答完了まで 40.76秒 → 13.91秒

    • 別の初見3,743トークン :最初の本文まで 29.69秒 → 10.21秒 / 回答完了まで 35.53秒 → 12.99秒

    • 初見8,696トークン :最初の本文まで 53.15秒 → 24.57秒 / 回答完了まで 59.25秒 → 27.59秒

    長文3件では、最初の本文まで 54〜70%短縮 し、回答完了まで 53〜66%短縮 しました。本文が出始めてからの生成速度も、 約13〜14 tok/s → 約26〜34 tok/s に上がりました。

    Splashの生成速度はストリームの表示間隔から推定した値ですが、サーバーログでも同程度でした。

    前回記事の 日本語20.33 tok/s、コード25.53 tok/s は短い入力で測った値です。今回の速度差は、同じ長文を両方の構成に送って測り直した結果です。

    短文を再送したときは、最初の本文まで Strata 0.27秒、Splash 0.41秒 でした。回答完了は Strata 4.73秒、Splash 3.46秒 でした。

    HermesからSplash版を選べるようにした

    Hermesからは、以下のコマンドで各構成を選べます。

    # Splash版
    /model qwen3.8-flash-next:q2--splash-dflash2
    
    # 従来のStrata版
    /model qwen3.8-flash-next:q2--strata-mlx

    Hermesから日本語の応答、ツール呼び出し、その実行結果を受けた返信まで確認しました。切り替え時は、先に使っていたモデルを解放してから次のモデルを起動します。

    今回の検証範囲

    • 速度テストは各条件1回で、実行順はStrata‑MLX、Splashでした。起動時のコンパイルやファイルキャッシュの状態はそろえていません。なお、Splashの単独試験中、スワップ(メモリ不足時にSSDへデータを退避する処理)への追加書き出しは観測されませんでした。

    • 長文の速度を確認したのは約8,700トークンまでです。Hermesの設定上限である65,536トークンや、長時間の連続運用は未検証です。

    • 短い日本語の応答でも、Splashが「三浦半岛」と中国語の簡体字(中国本土で使われる簡略化された漢字)を出力する例がありました。ステアリング修正は速度比較とは別に行った実作業1件であり、エンジンによる修正品質や作業時間の差は計測していません。


    【追記】Flash‑Next Q2_0 の持続生成ベンチマーク

    2026年11月16日(JST)に、持続的なテキスト生成速度のベンチマーク(性能測定試験)を追加で実施しました。検証環境は本編と同じく、Mac mini M4 Pro(ユニファイドメモリ48GB、macOS 27.2.1)です。

    【結論要約】持続生成ベンチマークの要点
    48GBのMac mini(M4 Pro)において、Splash 1.6.1+DFlash2 は従来の Strata‑MLX+MTP と比較して、出力上限768トークンの持続生成でも 約2.0〜2.3倍の生成速度 を記録しました。
    ・ Pythonコード生成 :ログ速度中央値 20.30 → 46.20 tok/s (完了 41.57 → 19.55秒)/30 tok/s基準 5/5回達成
    ・ 約4,000トークンの資料要約 :ログ速度中央値 16.16 → 34.50 tok/s (完了 67.09 → 33.05秒)/30 tok/s基準 5/5回達成
    ・ 日本語の長文 :ログ速度中央値 14.62 → 29.80 tok/s (完了 55.45 → 25.40秒)/30 tok/s基準 2/5回達成 (中央値は基準にわずかに届かず)
    ・ 公開の短文試験(100トークン上限・計9回) :ログ速度中央値 32.30 tok/s を記録し、公開報告のStrata Metal(中央値 26.0 tok/s)を上回る水準を確認
    ・ 安定性 :全39リクエストでエラー0件、追加スワップ書き出し 0.00 MiB、メモリ圧レベル 1 で動作

    出力上限768トークンの比較

    長文の日本語作成、Pythonコード生成、約4,000トークンの資料要約の3課題について、出力上限を768トークンに設定して各5回ずつ計測しました。

    判定には、サーバーログの生成速度と実際の出力トークン数を使用しました。Splashで「480トークン以上出力、かつ30 tok/s以上」を5回中4回以上記録した場合に、その課題で基準を満たしたと判定しています。

    1. 日本語の長文

    • Strata(5回) :実出力の中央値 768 / ログ速度の中央値 14.62 tok/s (範囲 12.00〜15.30)/ HTTP速度の中央値 15.11 tok/s / 最初の本文 4.69秒 / 回答完了 55.45秒 / 基準達成 0/5回

    • Splash(5回) :実出力の中央値 768 / ログ速度の中央値 29.80 tok/s (範囲 24.70〜36.40)/ HTTP速度の中央値 29.83 tok/s / 最初の本文 2.54秒 / 回答完了 25.40秒 / 基準達成 2/5回

    2. Pythonコード生成

    • Strata(5回) :実出力の中央値 768 / ログ速度の中央値 20.30 tok/s (範囲 18.79〜20.76)/ HTTP速度の中央値 20.56 tok/s / 最初の本文 4.18秒 / 回答完了 41.57秒 / 基準達成 0/5回

    • Splash(5回) :実出力の中央値 768 / ログ速度の中央値 46.20 tok/s (範囲 44.60〜47.80)/ HTTP速度の中央値 46.19 tok/s / 最初の本文 3.01秒 / 回答完了 19.55秒 / 基準達成 5/5回

    3. 約4,000トークンの資料を要約

    • Strata(5回) :実出力の中央値 768 / ログ速度の中央値 16.16 tok/s (範囲 14.68〜17.40)/ HTTP速度の中央値 16.68 tok/s / 最初の本文 21.12秒 / 回答完了 67.09秒 / 基準達成 0/5回

    • Splash(5回) :実出力の中央値 768 / ログ速度の中央値 34.50 tok/s (範囲 31.80〜36.70)/ HTTP速度の中央値 34.48 tok/s / 最初の本文 10.81秒 / 回答完了 33.05秒 / 基準達成 5/5回

    なお、上記の中央値と範囲には、正常に完了して速度を取得できた短い出力回も含んでいます。ただし、480トークン未満で終了した回は基準達成回数に含めていません。

    公開の短文試験を再現

    同じM4 Pro(48GB)・Q2_0構成で公開されているベンチマーク試験に沿い、公開スクリプトの短文3問を出力上限100トークンで計測しました。

    https://github.com/Niko1221/Strata/pull/3012/files

    • このMacのSplash+DFlash2(計9回) :入力の中央値 41 / 出力の中央値 100 / ログ速度の中央値 32.30 tok/s (範囲 30.40〜42.50)/ 最初の本文の中央値 1.70秒

    • 公開報告のStrata Metal(計9回) :入力の中央値 46 / 出力の中央値 100 / ログ速度の中央値 26.0 tok/s (範囲 23.0〜26.8)/ 最初の本文の中央値 1.35秒

    公開側の計測環境は「Strata Metal 0.1.45・262,144コンテキスト」です。入力トークン数や設定が異なるため、同クラスの参考値として比較しました。

    測定条件と範囲

    今回のベンチマークにおける測定条件と前提は、以下の通りです。

    • モデルと設定 :内蔵SSD上の同じ ISTA‑DASLab GSQ‑RCO Q2_0 を使い、既存のHermesルーター経由で順番に実行しました。Splash 1.6.1+DFlash2 は expert 14 GiB、Metal上限 27 GiB に設定しました。Strata‑MLX+MTP は expert 14 GB、会話キャッシュ 1,024 MiB に設定しました。

    • 実行順序とウォームアップ :パラメータは thinkingオフ、temperature 0、単一リクエストに統一しました。各セットに同じ内容のペアを使い、先頭に試行固有のタグを付けています。セット順は「Splashの1〜2回目 → Strataの1〜5回目 → Splashの3〜5回目」とし、そのあとSplashで短文3問を各3回計測しました。各エンジンの切り替え後にはウォームアップ(事前慣らし運転)を入れています。

    • 速度の算出方法 :回答時間にモデルの起動時間は含みません。HTTPの生成速度は、初回本文から最終本文までの経過時間を使い、生成トークン数から1を引いて算出しました。なお、サーバーログ側の計測区間はエンジンにより細部が異なります。

    • エラーとメモリ負荷 :測定したリクエスト39件のうち、エラーは0件でした。正常完了のうちログ速度が未取得だったものも0件です。測定リクエスト前後の追加スワップ(メモリ不足時にSSDへデータを退避する処理)書き出しは合計 0.00 MiB で、測定直後のメモリ圧レベルは 1 でした。

    • 検証の限界 :本試験は単一のMacにおける生成速度の計測です。モデルの回答品質や、Hermesを使った実務全体の完了率は測っていません。

    全測定値(計39回)

    全39回の生データは以下の通りです。記載順は「構成|課題(回数):入力 / 再利用 / 出力|ログ速度 / HTTP速度|最初の本文 / 回答完了(終了理由)」となっています。

    Splash(出力上限768トークン・計15回)

    • Splash|日本語の長文(1回目):入力 101 / 再利用 0 / 出力 768|ログ 29.80 tok/s / HTTP 29.83 tok/s|最初 2.20秒 / 完了 27.91秒(length)

    • Splash|日本語の長文(2回目):入力 101 / 再利用 0 / 出力 655|ログ 36.40 tok/s / HTTP 36.38 tok/s|最初 2.54秒 / 完了 20.52秒(stop)

    • Splash|日本語の長文(3回目):入力 101 / 再利用 0 / 出力 768|ログ 24.70 tok/s / HTTP 24.75 tok/s|最初 2.27秒 / 完了 33.27秒(length)

    • Splash|日本語の長文(4回目):入力 101 / 再利用 0 / 出力 768|ログ 34.10 tok/s / HTTP 34.10 tok/s|最初 2.69秒 / 完了 25.18秒(length)

    • Splash|日本語の長文(5回目):入力 101 / 再利用 0 / 出力 661|ログ 29.10 tok/s / HTTP 29.11 tok/s|最初 2.73秒 / 完了 25.40秒(stop)

    • Splash|Pythonコード生成(1回目):入力 80 / 再利用 0 / 出力 768|ログ 46.40 tok/s / HTTP 46.39 tok/s|最初 3.01秒 / 完了 19.55秒(length)

    • Splash|Pythonコード生成(2回目):入力 80 / 再利用 0 / 出力 768|ログ 44.70 tok/s / HTTP 44.69 tok/s|最初 3.20秒 / 完了 20.36秒(length)

    • Splash|Pythonコード生成(3回目):入力 80 / 再利用 0 / 出力 768|ログ 44.60 tok/s / HTTP 44.64 tok/s|最初 2.53秒 / 完了 19.71秒(length)

    • Splash|Pythonコード生成(4回目):入力 80 / 再利用 0 / 出力 768|ログ 47.80 tok/s / HTTP 47.75 tok/s|最初 3.25秒 / 完了 19.31秒(length)

    • Splash|Pythonコード生成(5回目):入力 80 / 再利用 0 / 出力 768|ログ 46.20 tok/s / HTTP 46.19 tok/s|最初 2.61秒 / 完了 19.22秒(length)

    • Splash|約4,000トークンの資料を要約(1回目):入力 3,995 / 再利用 0 / 出力 768|ログ 35.10 tok/s / HTTP 35.12 tok/s|最初 10.78秒 / 完了 32.62秒(length)

    • Splash|約4,000トークンの資料を要約(2回目):入力 3,995 / 再利用 0 / 出力 768|ログ 34.00 tok/s / HTTP 33.95 tok/s|最初 10.81秒 / 完了 33.40秒(length)

    • Splash|約4,000トークンの資料を要約(3回目):入力 3,995 / 再利用 0 / 出力 768|ログ 31.80 tok/s / HTTP 31.83 tok/s|最初 10.90秒 / 完了 35.00秒(length)

    • Splash|約4,000トークンの資料を要約(4回目):入力 3,995 / 再利用 0 / 出力 768|ログ 36.70 tok/s / HTTP 36.69 tok/s|最初 10.86秒 / 完了 31.76秒(length)

    • Splash|約4,000トークンの資料を要約(5回目):入力 3,995 / 再利用 0 / 出力 768|ログ 34.50 tok/s / HTTP 34.48 tok/s|最初 10.80秒 / 完了 33.05秒(length)

    Strata(出力上限768トークン・計15回)

    • Strata|日本語の長文(1回目):入力 101 / 再利用 0 / 出力 460|ログ 14.62 tok/s / HTTP 15.23 tok/s|最初 4.37秒 / 完了 34.50秒(stop)

    • Strata|日本語の長文(2回目):入力 101 / 再利用 0 / 出力 768|ログ 12.00 tok/s / HTTP 12.21 tok/s|最初 4.97秒 / 完了 67.77秒(length)

    • Strata|日本語の長文(3回目):入力 101 / 再利用 0 / 出力 768|ログ 14.46 tok/s / HTTP 14.69 tok/s|最初 4.45秒 / 完了 56.66秒(length)

    • Strata|日本語の長文(4回目):入力 101 / 再利用 0 / 出力 768|ログ 14.81 tok/s / HTTP 15.11 tok/s|最初 4.69秒 / 完了 55.45秒(length)

    • Strata|日本語の長文(5回目):入力 101 / 再利用 0 / 出力 768|ログ 15.30 tok/s / HTTP 15.65 tok/s|最初 4.80秒 / 完了 53.79秒(length)

    • Strata|Pythonコード生成(1回目):入力 80 / 再利用 0 / 出力 768|ログ 20.20 tok/s / HTTP 20.41 tok/s|最初 4.00秒 / 完了 41.58秒(length)

    • Strata|Pythonコード生成(2回目):入力 80 / 再利用 0 / 出力 768|ログ 20.30 tok/s / HTTP 20.56 tok/s|最初 4.26秒 / 完了 41.57秒(length)

    • Strata|Pythonコード生成(3回目):入力 80 / 再利用 0 / 出力 768|ログ 18.79 tok/s / HTTP 18.97 tok/s|最初 4.18秒 / 完了 44.62秒(length)

    • Strata|Pythonコード生成(4回目):入力 80 / 再利用 0 / 出力 768|ログ 20.68 tok/s / HTTP 20.90 tok/s|最初 4.21秒 / 完了 40.91秒(length)

    • Strata|Pythonコード生成(5回目):入力 80 / 再利用 0 / 出力 768|ログ 20.76 tok/s / HTTP 20.96 tok/s|最初 4.15秒 / 完了 40.74秒(length)

    • Strata|約4,000トークンの資料を要約(1回目):入力 3,995 / 再利用 0 / 出力 768|ログ 15.55 tok/s / HTTP 15.93 tok/s|最初 20.98秒 / 完了 69.13秒(length)

    • Strata|約4,000トークンの資料を要約(2回目):入力 3,995 / 再利用 0 / 出力 768|ログ 16.16 tok/s / HTTP 16.68 tok/s|最初 21.12秒 / 完了 67.09秒(length)

    • Strata|約4,000トークンの資料を要約(3回目):入力 3,995 / 再利用 0 / 出力 768|ログ 14.68 tok/s / HTTP 15.07 tok/s|最初 21.11秒 / 完了 71.99秒(length)

    • Strata|約4,000トークンの資料を要約(4回目):入力 3,995 / 再利用 0 / 出力 768|ログ 17.40 tok/s / HTTP 17.94 tok/s|最初 21.17秒 / 完了 63.92秒(length)

    • Strata|約4,000トークンの資料を要約(5回目):入力 3,995 / 再利用 0 / 出力 768|ログ 16.68 tok/s / HTTP 17.21 tok/s|最初 22.23秒 / 完了 66.80秒(length)

    Splash(公開短文試験・出力上限100トークン・計9回)

    • Splash|公開短文 q1(1回目):入力 46 / 再利用 0 / 出力 100|ログ 40.50 tok/s / HTTP 40.45 tok/s|最初 2.25秒 / 完了 4.69秒(length)

    • Splash|公開短文 q1(2回目):入力 46 / 再利用 0 / 出力 100|ログ 42.50 tok/s / HTTP 42.47 tok/s|最初 2.02秒 / 完了 4.36秒(length)

    • Splash|公開短文 q1(3回目):入力 46 / 再利用 0 / 出力 100|ログ 41.30 tok/s / HTTP 41.32 tok/s|最初 2.33秒 / 完了 4.73秒(length)

    • Splash|公開短文 q2(1回目):入力 38 / 再利用 0 / 出力 100|ログ 31.50 tok/s / HTTP 31.47 tok/s|最初 1.54秒 / 完了 4.69秒(length)

    • Splash|公開短文 q2(2回目):入力 38 / 再利用 0 / 出力 100|ログ 30.90 tok/s / HTTP 30.89 tok/s|最初 1.70秒 / 完了 4.91秒(length)

    • Splash|公開短文 q2(3回目):入力 38 / 再利用 0 / 出力 100|ログ 30.50 tok/s / HTTP 30.51 tok/s|最初 1.87秒 / 完了 5.11秒(length)

    • Splash|公開短文 q3(1回目):入力 41 / 再利用 0 / 出力 100|ログ 33.10 tok/s / HTTP 33.09 tok/s|最初 0.90秒 / 完了 3.89秒(length)

    • Splash|公開短文 q3(2回目):入力 41 / 再利用 0 / 出力 100|ログ 32.30 tok/s / HTTP 32.29 tok/s|最初 1.30秒 / 完了 4.36秒(length)

    • Splash|公開短文 q3(3回目):入力 41 / 再利用 0 / 出力 100|ログ 30.40 tok/s / HTTP 30.36 tok/s|最初 1.31秒 / 完了 4.57秒(length)

     
     
    ゲームのプランナーをしています。日々のアウトプットの場として雑多に記事を投稿していきます。二児の父です。日々勉強📚

    あなたへのおすすめ