
GPUなしPCにAIを住まわせたら、4Bモデルは起動すらしなかった。Ollamaで5モデル実測
GPUのないマシンに、無料のAI(Ollama)を入れて5つのモデルを測った。
一番小さいモデルでも平均6トークン/秒前後。海外の実測記事で「定番」と推されていた4Bモデルは、起動直後に強制終了して、そもそも測れなかった。
「GPUなしでも実用速度」という主張は、半分本当で、半分は環境次第だった。
この記事は、その実測記録です。どのモデルなら何に使えるのかを、速度と回答の質の両方で判定します。この記事で分かるのは3つです。
・モデル別の生成速度(トークン/秒)と、起動にかかる時間・メモリ使用量
・同じ5つの実用タスク(要約・言い換え・短文作成・分類・ToDo抽出)での回答の質の差
・「クラウドに送りたくない文章の下処理」にローカルAIが使えるかどうかの線引き
まず結論:使えるのは「1.7Bまで」、そして速さより先にメモリの壁がある
5モデルを測って残った結論は、こうです。
この環境で実用になったのはQwen3の1.7Bまで。ただし速いからではなく、「5問ともまともに答えたから」です。
速度だけ見れば一番速いのはLlama 3.2の1B(平均7.7トークン/秒)でした。でも日本語の回答が荒く、お礼メッセージの作成では文章が崩れました。
逆にQwen3の1.7Bは平均2.7トークン/秒と遅いのに、要約・言い換え・分類・抽出の全部で実用圏の答えを返しました。
そして4Bモデルは、速度以前の問題でした。メモリの壁です。

主張の紹介:海外の実測では「0.6Bで34〜36トークン/秒」
今回確かめたかったのは、英語圏で繰り返し紹介されているこの主張です。
「GPUのない普通のPCでも、ローカルLLMは無料で実用速度で動く」
根拠としてよく引かれるのが、itsfossが普通のIntel i5ノート(メモリ12GB)で8モデルを測った実測です。
まとめ記事(LocalAI Master)経由で確認できた数字は、Qwen3 0.6Bで約34〜36トークン/秒、3〜4B級で7〜10トークン/秒、7〜8Bで3〜4トークン/秒。「2B以下なら快適、4Bまでは実用」というのが海外側の結論でした。
本当にそうか。自分の環境で測り直します。
検証環境:GPUなしの仮想サーバー。先に弱点を書いておく
検証に使ったのは、手元にあったLinuxの仮想サーバーです。
・CPU:AMD EPYC 9D25(4 vCPU)
・メモリ:約7.7GB
・GPU:なし(Ollamaの表示でも「100% CPU」を確認)
・ソフト:Ollama 0.40.16
先に正直に書いておくと、この環境は一般の家庭用ノートPCより「遅く出やすい」条件です。共有CPUの仮想サーバーで、同じ測定でも速度が大きく揺れました。
一番小さいモデルで、同じ質問への速度が1.5〜13.4トークン/秒まで振れています。
だからこの記事の絶対値を、あなたのPCの予想値として読まないでください。読んでほしいのは、モデル同士の差と、用途ごとの向き不向き、そして「どこに壁があるか」です。
測定方法も揃えました。全モデルに同じ5問(要約、丁寧な言い換え、お礼の短文作成、問い合わせの分類、メモからのToDo抽出)を投げ、速度はOllamaの公式APIが返す実測値(eval rate)で記録しました。
Qwen3は「考えるモード」を切って測っています(要約や分類に長い思考は不要なため)。