
Q8は約1.8倍重い。Qwen3.6のQ4とQ8をM5 Maxで比べてみた
前回は、BaseRTへQwen3.6-35B-A3BのQ4を入れ、MacBook Proで日本語を返せるところまで試しました。
Q4は軽くて速そうです。
では、容量の大きいQ8へ変えると、文章も分かりやすくなるのでしょうか。
今回は同じQwen3.6-35B-A3BのQ4とQ8へ、同じ日本語課題を3回ずつ渡しました。
速度だけでなく、返ってきた文章をそのまま並べて見てみます。
🔰 先にざっくり用語メモ
📝 Q4
モデルの数値を主に4bit相当で小さくした形式です。
容量を抑えやすく、一般にQ8より軽く動かせます。
📝 Q8
モデルの数値を主に8bit相当で保持する形式です。
Q4より容量は増えますが、元のモデルに近い情報を残しやすくなります。
📝 Prefill
質問や資料を最初に読み込む処理です。
長い文章を渡すほど、この速さが待ち時間へ効きます。
📝 Decode
読み込み後に、回答を1トークンずつ生成する処理です。
数値が高いほど、文章が速く続いて表示されます。
📝 TTFT
質問を送ってから、回答の最初の文字が出るまでの時間です。
チャットで感じる反応の速さに近い数字です。
1. Q8を試した理由
今回使ったMacは、MacBook Pro 16インチのM5 Max、ユニファイドメモリ128GBです。
Q4だけを使うなら、128GBはかなり余裕があります。
一方、Q8はQ4より大きく、BaseRTの実測表示では次の容量でした。
Q4:20,193MiB
Q8:36,144MiB
Q8はQ4の約1.79倍です。
128GBの意味は、Q8が自動的に速くなることではありません。
容量の大きいQ8も、メモリ不足を心配せず同じMacで比較できることにあります。
2. 比較条件
比較した環境は次です。
MacBook Pro 16インチ
M5 Max
ユニファイドメモリ128GB
BaseRT 0.2.0
Qwen3.6-35B-A3B
Q4とQ8
Thinkingは無効
ウォームアップ1回
本計測3回
実際の日本語課題は2種類です。
1つ目は、MacでローカルLLMを使う利点を3行で答える短文課題です。
2つ目は、ローカルAIの検証メモを180文字以上260文字以内にまとめる要約課題です。
さらに、BaseRT内蔵ベンチで128トークンの読み込みと128トークンの生成も比べました。
同じ質問を連続して実行しているため、2回目以降はキャッシュの影響を完全には除けません。
そのため、内蔵ベンチを速度差の中心に置き、実際の回答時間は普段使いに近い補助結果として見ます。
3. 速度差
BaseRT内蔵ベンチでは、Q4が明確に速くなりました。
Q4
Prefill:1,953.42 tokens/s
Decode:163.94 tokens/s
Q8
Prefill:1,005.27 tokens/s
Decode:122.76 tokens/s
Q4のPrefillはQ8の約1.94倍です。
DecodeもQ4が約34%速くなりました。
長い資料を読む処理では、容量の小さいQ4の差がかなり大きく出ています。
実際の日本語回答でも、同じ傾向でした。
短文課題のDecode中央値は、Q4が64.08 tokens/s、Q8が47.32 tokens/sです。
要約課題では、Q4が80.05 tokens/s、Q8が61.77 tokens/sでした。
回答全体にかかった時間の中央値は、短文がQ4で約0.89秒、Q8で約1.16秒です。
要約はQ4で約1.76秒、Q8で約2.29秒でした。
どちらも待たされるほど遅くはありません。
ただ、今回の条件では、Q8へ変えて速くなる項目は見つかりませんでした。
TTFT中央値は短文でQ4が0.034秒、Q8が0.039秒でした。
差は約0.005秒なので、ここは体感で区別するのが難しい範囲です。
4. 3行の回答
最初の質問はこちらです。
MacでローカルLLMを使う一般的な利点を3つ挙げてください。
番号付き3行だけで、各行は45文字以内にしてください。
3回とも指定された3行で終了しました。
Q4の回答
1回目
1. Apple Siliconのユニファイドメモリで高効率に大規模モデルを実行可能
2. インターネット接続不要でプライバシー保護とオフライン利用が実現
3. 初期投資が低く、MacBookやiMacなど既存デバイスで運用できる
2回目
1. Apple Silicon搭載でGPUアクセラレーションにより高速推論が可能
2. ネットワーク接続不要でオフライン環境でもプライバシー保護される
3. 専用ハードウェア不要で既存Macで低コストにモデル実行できる
3回目
1. Apple Silicon搭載でGPUアクセラレーションにより高速推論が可能
2. 高性能なメモリ帯域幅により、大規模モデルの効率的な実行を実現
3. 専用チップによる低消費電力で、長時間のローカル運用が可能
Q4は、Apple Silicon、GPU、メモリ帯域幅など、Macのハードウェアへ話を寄せる傾向がありました。
文章の長さは107文字から115文字で安定しています。
ただし、「初期投資が低い」はMacをすでに持っている場合に限る話です。
M5 MaxのMacBook Pro自体を安い初期投資とは呼びにくいため、条件を省いた言い方になっています。
3回目は性能に関する内容が3行続き、オフライン利用やデータを外へ出さない利点が消えました。
形式はきれいですが、回答の切り口は少し偏っています。
Q8の回答
1回目
1.インターネット接続不要でオフラインでも利用可能
2.データが外部に送信されずプライバシーが保護
3.サブスク費用不要で長期的にコストを抑えられる
2回目
1.オフラインでも動作し、データ漏洩リスクを回避できる。
2.Siliconチップの高速処理で、低コストで推論可能。
3.プライバシー保護が徹底され、機密情報を安全に扱える。
3回目
1.オフラインでも動作し、プライバシー保護とデータ漏洩リスクを回避できる。
2.Siliconチップの高速処理により、低消費電力で効率的に推論を実行可能。
3.高価なクラウドAPI費用や通信料を節約でき、長期的な運用コストが抑えられる。
Q8は、オフライン、プライバシー、利用料金といった日常的な利点を先に出しました。
特に1回目は短く、初めて読む人にも分かりやすい内容です。
一方、2回目と3回目の「Siliconチップ」は、一般的な日本語として少し不自然でした。
2回目は1行目と3行目がどちらもプライバシーの話で、3つの利点としては重複しています。
一番まとまりがよかったのはQ8の3回目です。
ただし、Q8なら毎回よくなるわけではありませんでした。
Q4は文章量が揃い、Q8は74文字から118文字まで変動しています。
短い質問では、Q8の方が明確に賢いとは判断できません。
5. 要約の回答
次は、約200文字の個人メモを180文字以上260文字以内へまとめる課題です。
元のメモには、比較する項目、Q4とQ8の違い、記事で重視する内容を書きました。
Q4とQ8は3回とも指定文字数に収まり、内容も最後まで生成できています。
Q4の代表例
週末にMacでローカルAIを試すため、まずモデルを準備し、その後同じ質問を複数回投げて結果を比較する。比較項目は、最初の文字が表示されるまでの時間、文章生成の速さ、回答の読みやすさである。Q4とQ8は同じモデルでもファイル容量や処理速度が異なるため、数値だけで結論を出さず、回答全文を残して違いを確認する。テストは短い質問、文章要約、書き換えの三種類で行い、条件はできるだけ揃える。記事では難しい設定方法よりも、実際に何を試し、どんな返答になったかを中心に紹介する。
233文字でした。
元の情報を落とさず、言葉も自然です。
ただ、元の文章を順番どおりに圧縮しており、構成を大きく整理し直した要約ではありません。
Q8の代表例
週末、Mac環境でローカルAIを試すため、まずモデルを準備し、その後同じ質問を複数回投げて結果を比較する。評価項目は、最初の文字が表示されるまでの時間、文章生成速度、回答の読みやすさとする。Q4とQ8は同一モデルでもファイル容量や処理速度に差があるため、数値のみで結論付けず、回答全文を残して違いを視覚的に確認する。テストは短い質問、文章要約、書き換えの三種類で行い、条件は極力統一する。記事では複雑な設定手順よりも、実際にどのような実験を行い、どのような回答が得られたかに焦点を当てて紹介する。
248文字でした。
Q8は「比較項目」を「評価項目」へ変え、「条件はできるだけそろえる」を「条件は極力統一する」と少し硬めに整えています。
一方、「違いを視覚的に確認する」は元のメモにない表現です。
回答全文を残して読むことを「視覚的」と言い換える必要はなく、ここはQ4の方が素直でした。
残りの回答も、Q4は230文字から239文字、Q8は237文字から249文字でした。
どちらも内容の欠落は目立たず、要約として使える水準です。
この程度の文章では、Q8の容量差に見合う品質向上は確認できませんでした。
6. 普段使いの候補
今回の2課題だけで選ぶなら、普段使いはQ4です。
理由は単純です。
モデル容量が小さい
Prefillが約1.94倍速い
Decodeも約34%速い
短文と要約はQ8とほぼ同じ水準
3回とも指定形式で最後まで回答できた
Q8の価値がないという意味ではありません。
今回試したのは、短い説明と短い要約です。
量子化の差が出やすい複雑な推論、長い文章、コード修正では結果が変わる可能性があります。
もしQ8が常に優れているなら、今回の簡単な課題でも文章の正確さや安定性に差が出るはずです。
実際には、Q8にも重複や不自然な言葉がありました。
そのため、現時点では「容量が大きいQ8を選べば安心」とは言えません。
128GBのM5 Maxは、Q8を無理なく試せる環境を作ってくれました。
しかし、余裕のあるメモリを毎回使い切る必要はありません。
軽い課題はQ4で速く処理し、Q8は差が出そうな課題だけに使う方法が合いそうです。
7. 今日のメモ
Q8を入れれば、文章が目に見えて良くなると思っていました。
今回の結果は、そこまで単純ではありません。
Q4は速く、短い日本語なら十分に読みやすい回答を返しました。
Q8は一部で言い換えが丁寧でしたが、約1.8倍の容量を使う決定的な差は見つかりませんでした。
次はBaseRTのQ4とOllamaのQwen3.6を比べます。
同じモデル系列でも、動かす環境が変わると速さや返答がどう変わるのか。
ここはもう少し面白い差が出るかもしれません。
参考にした公式情報
BaseRT公式リポジトリ
https://github.com/basecompute/baseRTQwen3.6-35B-A3B BaseRTモデル
https://huggingface.co/basecompute/Qwen3.6-35B-A3B
Tami
#BaseRT #Qwen3_6 #ローカルLLM #MacBookPro #AppleSilicon #生成AI #M5Max