
ローカルLLM完全比較ガイド2026|Gemma 3/4・Qwen 3をMac/Windowsで動かす
目次
この記事の目的
「AIは便利だけど、API代が月数万円かかる」「機密データをクラウドに送りたくない」——そんな悩みを持つ人に向けて、自分のPCで動くAI(ローカルLLM) の最新事情を完全比較します。
2026年4月時点の主要モデルを、必要スペック・賢さ・日本語力・実用タスクまで網羅。Mac(Apple Silicon)とWindows両方の目安も出します。
ローカルLLMとは?
ChatGPTやClaudeのようなクラウドAIと違い、自分のPC上で直接動かすAIモデルのこと。
メリット
API料金ゼロ(電気代のみ)
- データが外部に出ない(セキュリティ◎)
- ネット不要で動く
- 定型タスクの自動化に最適
デメリット
クラウドモデルほど賢くない
- 高スペックPC(特にメモリ)が必要
- セットアップにやや知識が必要
主要モデル完全比較
Gemma 3(Google・2025年3月)
前世代のローカルLLM。軽量で安定しており、今でも十分実用的。
Gemma 3 1B
- パラメータ: 1B
- Q4量子化RAM: 約1GB
- 日本語: OK
- 用途: IoT・モバイル・超軽量タスク
Gemma 3 4B
- パラメータ: 4B
- Q4量子化RAM: 約3GB
- MMLU: 約62%
- 日本語: OK
- 用途: 日報まとめ・簡単な要約。16GBのMacで快適動作
Gemma 3 12B
- パラメータ: 12B
- Q4量子化RAM: 約8GB
- MMLU: 約74%
- 日本語: OK
- コンテキスト: 128K
- 用途: ニュースフィルタ・SNS文生成。16GBのMacで動く最大実用サイズ
Gemma 3 27B
- パラメータ: 27B
- Q4量子化RAM: 約16GB
- MMLU: 約78%
- 日本語: OK
- コンテキスト: 128K
- 用途: 長文要約・分析。24GB以上推奨
Gemma 4(Google・2025年12月)— Gemma 3から大幅進化
重要:Gemma 4のサイズ名はGemma 3と異なります。「1B/4B/12B/27B」はGemma 3の体系です。
Gemma 4 E2B
- パラメータ: 2.3B(密度型)
- Q4量子化RAM: 約2GB
- MMLU Pro: 60%
- 日本語: OK
- コンテキスト: 128K
- 用途: 超軽量タスク。Gemma 3 4Bとほぼ同等の賢さ
Gemma 4 E4B
- パラメータ: 4.5B(密度型)
- Q4量子化RAM: 約3GB
- MMLU Pro: 69.4%
- 日本語: OK
- コンテキスト: 128K
- 用途: Gemma 3 4Bの上位互換。16GBマシンのおすすめ
Gemma 4 26B-A4B(MoE)
- パラメータ: 合計25.2B / 実効3.8B
- Q4量子化RAM: 約16〜18GB
- MMLU Pro: 82.6%
- 数学(AIME): 88.3%
- コード(LiveCodeBench): 77.1%
- 日本語: OK
- コンテキスト: 256K
- 用途: 数学・コードに強い。24GB以上のマシンで使える高性能MoE
Gemma 4 31B
- パラメータ: 30.7B(密度型)
- Q4量子化RAM: 約20〜22GB
- MMLU Pro: 85.2%
- 数学(AIME): 89.2%
- コード(LiveCodeBench): 80%
- 日本語: Good
- コンテキスト: 256K
- 用途: 30B級ローカル最強クラス。24GBマシンでギリギリ動く
Gemma 3 → 4 の進化
MMLU: 78% → 85%(+7pt)
- 数学: 65% → 89%(+24pt)
- コード: 62% → 80%(+18pt)
- コンテキスト: 128K → 256K(2倍)
Qwen 3(Alibaba)
中国Alibaba発のモデル。日本語がとにかく強い。
Qwen 3 8B
- パラメータ: 8B
- Q4量子化RAM: 約5〜6GB
- MMLU: 76.9%
- コード: 67.7%
- 日本語: Good(Shisa評価: 8.08/10)
- コンテキスト: 128K
- 用途: 日本語×低メモリのベストバイ。16GBマシンで快適
Qwen 3 30B-A3B(MoE)
- パラメータ: 合計30.5B / 実効3.3B
- Q4量子化RAM: 約18〜20GB
- MMLU: 81.4%
- コード: 71.5%
- 日本語: Good(Shisa評価: 8.36/10)
- コンテキスト: 128K
- 用途: Apple Siliconで超高速(60〜80 tok/s)。日本語MoEの最適解
Qwen 3 32B
- パラメータ: 32.8B
- Q4量子化RAM: 約20〜22GB
- MMLU: 83.6%
- コード: 72.1%
- Arena Hard: 93.8%
- 日本語: Good
- コンテキスト: 128K
- 用途: 日本語で使う30B密度型のベスト
その他の注目モデル
Llama 3.3 70B(Meta)
- 70B / Q4 RAM: 約40〜45GB / MMLU: 82〜86% / コード(HE): 88.4% / 日本語: OK / 128K
- 48GB以上必要。ローカル最高峰の汎用性
Llama 4 Scout(Meta・MoE)
- 109B合計/17B実効 / Q4 RAM: 約60GB / コンテキスト: 1000万トークン
- 超長コンテキストが売り。64GB以上のマシン向け
Phi-4 14B(Microsoft)
- 14B / Q4 RAM: 約9〜10GB / MMLU: 84.8% / コード(HE): 82.6% / 数学: 80.4%
- 日本語はWeak(非推奨)。英語用途のコスパモンスター。コンテキスト16Kと短い
Mistral Small 3.2(Mistral)
- 24B / Q4 RAM: 約14〜16GB / コード(HE+): 92.9% / 日本語: OK / 128K
- コーディング特化最強。ツール連携が得意
MoE(Mixture of Experts)とは?
「専門家チーム型」のアーキテクチャ。全パラメータのうち毎回一部だけ使う。
メモリ: 全パラメータ分を読み込む(26Bなら26B分)
- 計算: 実効パラメータ分だけ(3.8Bなら3.8B分の軽さ)
- 結果: メモリは食うけど推論は速い。そして賢さは全パラメータ級。
Gemma 4 26B-A4B vs Qwen 3 30B-A3B がMoE同士の直接対決。
- コード・数学: Gemma 4が上
- 日本語・Apple Silicon速度: Qwen 3が上
Mac(Apple Silicon)での目安
Apple SiliconのUnified Memoryは、CPU・GPUがメモリを共有するため、NVIDIAのようなVRAM制限がない。ローカルLLMに最も向いたプラットフォーム。
Mac mini M4(16GB)で動くモデル
Gemma 3 4B(3GB)— 日報まとめに十分。今すぐ使える
- Gemma 4 E4B(3GB)— Gemma 3 4Bの上位互換
- Qwen 3 8B(5〜6GB)— 日本語がGood。おすすめ
- Gemma 3 12B(8GB)— 16GBマシンの実用最大サイズ
- Phi-4 14B(9〜10GB)— 英語専用なら最強コスパ
16GBだとGemma 4の大型モデル(26B-A4B、31B)は動きません。Qwen 3 8BかGemma 3 12Bが現実的な上限。
MacBook Pro M5 Pro(24GB)で動くモデル
上記すべてに加えて:
- Gemma 4 26B-A4B MoE(16〜18GB)— 数学・コードが超強い
- Gemma 4 31B Q4(20〜22GB)— ギリギリだが動く
- Qwen 3 32B Q4(20〜22GB)— 日本語30B最強
- Mistral Small 3.2(14〜16GB)— コーディング特化
48GB以上(M4 Max等)で動くモデル
Llama 3.3 70B Q4(40〜45GB)
- 全30B級をFP16(高精度)で
チップ別メモリ帯域幅
M4 Pro: 約273 GB/s — 中型モデルまでコスパ最強
- M4 Max: 約546 GB/s — 帯域2倍で推論速度も約2倍
- M4 Ultra: 約819 GB/s — 100B超をFP16で。研究開発用
Windows(NVIDIA GPU)での目安
GPU別
RTX 4060 Ti(16GB VRAM)— 12B級まで / 約8万円
- RTX 4080(16GB VRAM)— 27B Q4まで / 約15万円
- RTX 4090(24GB VRAM)— 31B FP16、70B Q4(一部CPU)/ 約25万円
- RTX 5090(32GB VRAM)— 70B Q4 / 約35万円
注意:WindowsではVRAMに収まらない部分をシステムRAMに逃がす「CPUオフロード」が可能だが、速度は大幅に低下する。Apple Siliconにはこの問題がない。
クラウドAIとの賢さ比較
Claude Sonnetを100とすると、ローカル最強クラスのGemma 4 31Bは65〜70くらいの体感。
数字(ベンチマーク)は近づいているが、実用での差はまだ大きい。特に:
- 複雑な指示の理解力
- 文脈を長く保持する力
- 日本語のニュアンス
- 「空気を読む」力
ローカルLLMの正しい使い方は「クラウドAIの代替」ではなく、「APIを呼ばなくていい定型作業の自動化」。
実際にローカルLLMで回せるタスク事例
筆者が実際にAIエージェントチームを運用する中で、ローカルLLMに置き換えて問題なかったタスクを紹介します。
1. 画面キャプチャの日報まとめ
10分ごとにスクリーンショットをOCRで文字起こし → 1日分をまとめて日報生成。
- 使用モデル: Gemma 3 4B(3GBで動く)
- なぜローカルで十分か: 定型フォーマットへの要約。創造性は不要
2. ニュースフィルタリング+要約
複数のRSSフィードを収集 → AI関連ニュースをフィルタ → 要約して配信。
- 推奨モデル: Qwen 3 8B
- なぜローカルで十分か: 分類タスク+短文要約は小型モデルの得意分野
3. 朝の挨拶メッセージ生成
天気API+カレンダー+運勢を組み合わせて朝メッセージを生成。
- 推奨モデル: Gemma 4 E4B(超軽量で十分)
- なぜローカルで十分か: テンプレート型の組み立て。データの取得はAPI、文章の組み立てだけLLM
4. サーバーリソース監視レポート
df -h / top / free の結果を読み取り、異常があれば通知。
- 推奨モデル: Gemma 4 E2B(最小モデルでOK)
- なぜローカルで十分か: ルールベースに近い判断。数値の大小比較
5. SNS投稿文のリライト
ブログ記事の要約からSNS向け投稿文を生成。
- 推奨モデル: Qwen 3 8B(日本語力が重要)
- なぜローカルで十分か: 短文生成は小型モデルの得意分野
6. タスクステータスの定期チェック+通知
データベースのステータスを確認し、未着手タスクがあれば通知。
- 推奨モデル: Gemma 4 E2B+Bashスクリプト
- なぜローカルで十分か: ほぼBashで完結。LLMは通知文の生成だけ
APIに残すべきタスク
長文記事の執筆(品質がそのまま公開物の評価になる)
- セキュリティチェック(見落としが致命傷になる)
- 要件定義・設計書(技術的な正確性が重要)
- 戦略会議のシミュレーション(多角的な推論、役割の演じ分け)
コスト試算
1日3回のAPIコールをローカルに置き換えると:
- 月90回分のAPIコール削減
- Claude API換算で月5,000〜10,000円の節約
- 電気代の増加は月数百円程度
「使えるところはローカル、品質が必要な場面はクラウド」のハイブリッド運用が2026年の最適解。
まとめ:どのモデルを選ぶべきか
16GBマシン(Mac mini M4等)のおすすめ
日本語重視: Qwen 3 8B
- 軽さ重視: Gemma 4 E4B
- 最大性能: Gemma 3 12B
24GBマシン(MacBook Pro等)のおすすめ
日本語 × コスパ × 速度: Qwen 3 30B-A3B(MoE)
- 数学・コーディング特化: Gemma 4 31B
- コーディングツール連携: Mistral Small 3.2
始め方
Macなら5分で始められます。
1. Ollamaをインストール: brew install ollama
2. モデルをダウンロード: ollama pull qwen3:8b
3. 使う: ollama run qwen3:8b
これだけ。APIキーもクラウドアカウントも不要です。
この記事が参考になったら、ぜひ「スキ」で応援してください。ローカルLLMの実践ノウハウは今後も発信していきます。