メインコンテンツへスキップ
見出し画像

量子化フォーマットの選び方2026。GGUF・MLX・EXL・AWQ対応表

    同じモデルでもGGUF・MLX・AWQと配布形式が複数あります。どれを落とすかは「何で動かすか」で決まります。対応表1枚で選択を終わらせます。

    フォーマットが分かれている理由

    量子化フォーマットが複数あるのは、ランタイム(実行ソフト)ごとに最適化の方向が違うからです。

    • 可搬性重視 → GGUF(どこでも動く)

    • Apple最適 → MLX(Macで最速)

    • NVIDIA単体GPU最速 → EXL2/EXL3

    • 本番サービング向け → AWQ/GPTQ

    つまり「フォーマット選び=ランタイム選び」です。まず「何で動かすか」を決めれば、フォーマットは自動的に決まります。量子化そのものの基礎(Q4_K_M等)は『量子化とは何か』で扱っています。

    対応表: フォーマット × ランタイム × ハード

    2026年時点の主要フォーマットの対応です(各ランタイムの公式ドキュメントで確認)。


    画像
    表1: フォーマット / ランタイム / 動くハード / 用途


    注意点として、vLLMのGGUFサポートは現在も「実験的・最適化不十分」とされ、本番でGGUFを使うのは推奨されません。vLLMで本番配信するならAWQ/GPTQ、個人でGGUFを使うならllama.cpp/Ollama、と住み分けます。

    迷わない選択フロー

    「何で動かすか」から一直線に決まります。

    • Ollama/LM Studioで使う → GGUF

    • Macで速く動かしたい → MLX

    • NVIDIA単体GPUで速く → EXL3(またはEXL2)

    • vLLMで本番サービング → AWQ / GPTQ

    • ファインチューニングする → bitsandbytes(QLoRA)

    配布元は、GGUFならbartowski・unsloth・mradermacher、といった信頼できる量子化配布者を選びます(見分け方は『量子化とは何か』参照)。

    品質の観点: 同じ4bitでも差がある

    同じ「4bit」でも、量子化方式で品質が変わります。

    • K-quant(Q4_K_M等): 通常はこれで十分。バランスが良い

    • I-quant(IQ系): サイズあたりの性能が良いが、少し遅い。低ビット帯で有利

    • Dynamic量子化(Unsloth 2.0等): 層ごとに最適化して低ビットの品質を上げる新方式

    ベンチマーク上の細かい差はありますが、実用上は「配布者が推奨するデフォルト(Q4_K_M級)を選び、不満があれば上げる」で足ります。

    変換はできるが、基本は「配布済みを使う」

    自分でモデルを量子化・フォーマット変換することも可能です(llama.cppのconvertスクリプト等)。ただし、独自ファインチューニングしたモデルを配布する、まだ誰も量子化していない新モデルを使う、といった特殊ケースを除けば、信頼できる配布者の量子化済みファイルをダウンロードするのが基本です。変換の深掘りはZenn/Qiitaの実装記事に譲ります。

    まとめ

    • フォーマット選び=ランタイム選び。「何で動かすか」を先に決める

    • 対応表: GGUF(可搬・個人)/MLX(Mac)/EXL3(NVIDIA単体)/AWQ・GPTQ(vLLM本番)/bitsandbytes(学習)

    • vLLMのGGUFは実験的。本番配信はAWQ/GPTQ、個人GGUFはllama.cpp/Ollama

    • 同じ4bitでもK-quant/I-quant/Dynamicで差。実用は配布者の推奨デフォルトでよい

    主な参考資料: llama.cpp (GitHub)、vLLM 量子化ドキュメント、ExLlamaV3 (GitHub)、MLX (GitHub)

    TodoONadaでは、ローカルLLMの本番構成の設計を支援しています。お問い合わせはこちら。

     
     
    Claude/Cursor/Codexを使ってシステム開発xマーケx営業を並列開発する経営者。 元日本オラクルでシステムの受託会社であるTodoONadaをやっています。 http://defform.comも自社サとして運営中。

    あなたへのおすすめ