メインコンテンツへスキップ
見出し画像

M5 UltraでQwen3.8 27Bが50 tok/sという数字が回っています。出どころを自分で叩いたら、APIは503で絞り込みは「該当なし」でした

    r/LocalLLaMA に「First M5 Ultra benchmarks」というスレッドが立っています。omlx.ai のベンチマーク一覧に M5 Ultra の数字が載った、という話です。

    出回っている数字はこれです。

    • モデル: Qwen 3.8 27B の4bit量子化

    • コンテキスト: 8k

    • MTP(マルチトークン予測): なし

    • 生成速度: 約50 tok/s

    • プロンプト処理: 約1,800 tok/s

    M3 Ultra 512GB の8bitで20〜25 tok/s という報告と並べると、生成は2倍、プロンプト処理は桁で速いように見えます。買い替えの判断材料にしたくなる数字です。

    ただ、スレッドのコメントで「同じハードの同じモデルなのに、結果が10 tok/s 以上ばらついている」という指摘が出ていました。気になったので、数字そのものではなく数字の出どころを確認しにいきました。

    この記事でわかることは3つです。

    • その50 tok/s がどこから来た数字なのか、いま自分で確認できるのか

    • 同じモデルで公開されている他の実測値と、なぜ食い違うのか

    • 買うかどうかの判断に、この数字を使っていいのか

    出どころを叩いてみた

    まず、スレッドで共有されていたフィルタ付きURLをそのまま開きました。M5 Ultra で絞り込んだ一覧です。

    返ってきたのは「No matching results」でした。全体では456,620件あると表示されているのに、この絞り込みでは0件です。

    次に、裏側のAPIを直接叩きました。

    curl -sL "https://omlx.ai/api/benchmarks?device=M5%20Ultra&limit=50"

    返ってきたのはこれです。

    {"error":"This benchmark endpoint is temporarily unavailable",
     "message":"Benchmark browsing and uploads are available. This tool remains under maintenance."}

    HTTPステータスは503でした。2026年9月18日時点で、このデータベースを外から照会して50 tok/s を確認する手段はありません。トップページ自体は200で返ってきて、M5 Ultra という文字列も含まれているので、サイトが落ちているわけではありません。照会の口だけが閉じている状態です。

    つまりいま出回っている数字は、誰かが一覧で見た内容の転記です。誰の個体で、どのランタイムのどのバージョンで、何回測った中央値なのかは、外からたどれません。ばらつきの指摘が出るのは自然です。

    ここで言えるのは「50 tok/s は嘘だ」ではありません。正しいかどうかを今は誰も確認できない、です。

    公開されている他の数字と並べる

    同じ Qwen 3.8 27B で、条件が書かれている実測値はいくつか公開されています。

    Hugging Face の MTPLX 最適化版モデルカードには、MacBook Pro M5 Max(ファンを最大に固定)での測定値が条件付きで載っています。MTPLX 2.11.3、4bit動的量子化、2026年9月16日測定です。

    • 直前に書いたファイルを書き直す作業: 87.6 tok/s

    • 3,000トークンのチャット応答: 64.3 tok/s

    • `mtplx serve` 経由のコーディング作業: 58.7 tok/s

    • Macアプリ内の同じ作業: 55.5 tok/s

    • 長い推論タスク: 35.1〜37.3 tok/s

    同じマシン、同じモデル、同じ量子化でも、作業の種類とランタイムの違いだけで35から87まで動きます。一方、Mac Studio M3 Ultra に Ollama で Q4_K_M(17GB)を入れた場合は約14 tok/s という報告もあります。

    こうして並べると、M5 Ultra の50 tok/s が「Maxより遅いじゃないか」と見えるかもしれません。でも上の87.6はMTP有効の最適化量子化で、話題の50はMTPなしです。比べているものが違います。ばらつきの正体の大半はこれです。

    生成速度を左右する条件は、少なくともこれだけあります。

    • MTP(マルチトークン予測)の有無

    • 量子化の種類(同じ4bitでも動的量子化とQ4_K_Mは別物)

    • ランタイムとそのバージョン(MLX系、MTPLX、llama.cpp、Ollama)

    • コンテキスト長(8kと128kでは生成中の速度が落ちる度合いが違う)

    • 冷却(ファン固定と通常運用で差が出ます)

    チップ名とモデル名だけ揃えて比較すると、この5つが全部ずれたまま並びます。

    自分の環境では確かめられなかった

    うちは Mac mini M4 16GB です。Qwen 3.8 27B は4bitでも17GB前後なので、そもそも載りません。「自分で測って確かめる」はできませんでした。

    なので、この記事で自分の手で確認したのは1点だけです。出どころのAPIが503を返すこと、フィルタが0件を返すこと。 上のcurlをそのまま実行すれば、誰でも同じ結果を再現できます。

    買う判断に使っていいか

    M5 Ultra の256GB構成は、GB単価では確かに安く見えます。48GBの RTX 5090 が約4,900ドルなのに対して、256GBで約11,000ドルという比較がスレッドでも出ていました。容量あたりでは5倍前後の開きがあります。

    ただ、容量が載ることと速く動くことは別です。そして速度のほうは、いま出ている数字では判断できません。

    判断に使える条件はこうだと思っています。

    • 大きいモデルをとにかく載せたいなら、容量の話なので数字の不確かさは関係ありません

    • 27Bクラスを速く回したいなら、MTP有無まで書かれた測定値が出てから決めて問題ありません

    自分は前者でもないので、数字が固まるまで待ちます。

    まとめ

    • M5 Ultra の50 tok/s は、いま出どころのAPIが503で照会できません

    • 同じモデルでも、MTP・量子化・ランタイム・冷却で35から87まで動きます

    • チップ名とモデル名だけ揃えた比較は、条件がずれたまま並びます

    • 容量で買うなら関係なく、速度で買うなら条件付きの測定値を待てば済みます

    同じベンチを見かけたら、まず上のcurlを1回叩いてみてください。数字が確認できる状態に戻っているかどうかが、そのまま信頼度の目安になります。

    参考: https://www.reddit.com/r/LocalLLaMA/comments/1wisr6h/first_m5_ultra_benchmarks/
    参考: https://huggingface.co/Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed


    容量の話でいうと、実際に大きいモデルを載せようとすると要求はこの比ではありません。GLM-5.2をローカルで動かすのに最低223GB必要だった件をまとめてあります。


     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ