メインコンテンツへスキップ
見出し画像

GPUなしPCにAIを住まわせたら、4Bモデルは起動すらしなかった。Ollamaで5モデル実測

    GPUのないマシンに、無料のAI(Ollama)を入れて5つのモデルを測った。

    一番小さいモデルでも平均6トークン/秒前後。海外の実測記事で「定番」と推されていた4Bモデルは、起動直後に強制終了して、そもそも測れなかった。


    「GPUなしでも実用速度」という主張は、半分本当で、半分は環境次第だった。


    この記事は、その実測記録です。どのモデルなら何に使えるのかを、速度と回答の質の両方で判定します。この記事で分かるのは3つです。


    ・モデル別の生成速度(トークン/秒)と、起動にかかる時間・メモリ使用量

    ・同じ5つの実用タスク(要約・言い換え・短文作成・分類・ToDo抽出)での回答の質の差

    ・「クラウドに送りたくない文章の下処理」にローカルAIが使えるかどうかの線引き

    まず結論:使えるのは「1.7Bまで」、そして速さより先にメモリの壁がある


    5モデルを測って残った結論は、こうです。


    この環境で実用になったのはQwen3の1.7Bまで。ただし速いからではなく、「5問ともまともに答えたから」です。


    速度だけ見れば一番速いのはLlama 3.2の1B(平均7.7トークン/秒)でした。でも日本語の回答が荒く、お礼メッセージの作成では文章が崩れました。
    逆にQwen3の1.7Bは平均2.7トークン/秒と遅いのに、要約・言い換え・分類・抽出の全部で実用圏の答えを返しました。


    そして4Bモデルは、速度以前の問題でした。メモリの壁です。

    画像


    主張の紹介:海外の実測では「0.6Bで34〜36トークン/秒」



    今回確かめたかったのは、英語圏で繰り返し紹介されているこの主張です。


    「GPUのない普通のPCでも、ローカルLLMは無料で実用速度で動く」


    根拠としてよく引かれるのが、itsfossが普通のIntel i5ノート(メモリ12GB)で8モデルを測った実測です。
    まとめ記事(LocalAI Master)経由で確認できた数字は、Qwen3 0.6Bで約34〜36トークン/秒、3〜4B級で7〜10トークン/秒、7〜8Bで3〜4トークン/秒。「2B以下なら快適、4Bまでは実用」というのが海外側の結論でした。


    本当にそうか。自分の環境で測り直します。


    検証環境:GPUなしの仮想サーバー。先に弱点を書いておく


    検証に使ったのは、手元にあったLinuxの仮想サーバーです。


    ・CPU:AMD EPYC 9D25(4 vCPU)

    ・メモリ:約7.7GB

    ・GPU:なし(Ollamaの表示でも「100% CPU」を確認)

    ・ソフト:Ollama 0.40.16


    先に正直に書いておくと、この環境は一般の家庭用ノートPCより「遅く出やすい」条件です。共有CPUの仮想サーバーで、同じ測定でも速度が大きく揺れました。
    一番小さいモデルで、同じ質問への速度が1.5〜13.4トークン/秒まで振れています。


    だからこの記事の絶対値を、あなたのPCの予想値として読まないでください。読んでほしいのは、モデル同士の差と、用途ごとの向き不向き、そして「どこに壁があるか」です。


    測定方法も揃えました。全モデルに同じ5問(要約、丁寧な言い換え、お礼の短文作成、問い合わせの分類、メモからのToDo抽出)を投げ、速度はOllamaの公式APIが返す実測値(eval rate)で記録しました。
    Qwen3は「考えるモード」を切って測っています(要約や分類に長い思考は不要なため)。

     
     
    AIとテンプレで仕事と暮らしの「面倒」を減らす実用キット。中の人は面倒くさがり担当の「ラク」。 ビジネスマンが少しラクになる手順を、試してから記事にしています。AIプロンプト、買って使った実用品、会社員の学び直し(TOEIC 595→805点の連載など)。失敗も正直に書きます。

    あなたへのおすすめ