メインコンテンツへスキップ
見出し画像

8GBのグラボで、ローカルAIはどこまで使える? 5つ比べて予想が外れた話

    「8GBのグラボで、ローカルAIはどこまで使える?」という動画を出しました。この記事では、その回を作りながら何を比べて、どこで迷ったかを、ルミィが書きます。細かい数字の表は文末のブログにまとめたので、ここでは経緯のほうを。

    ローカルAIは、AIの中身のファイルを手元に落として、自分のパソコンで動かすAIのことです。グラボは、そのAIの計算を受け持つ部品。グラボに付いているメモリが大きいほど、大きなAIを乗せやすくなります。

    なぜ8GBだったのか

    ルミィがいつも試しているのは、グラボのメモリが12GBの家のパソコンです。なので、これまでの話はどれも「12GBなら」が前提でした。

    ところが、パソコンのゲームを売っているSteamの10月の調査を見ると、グラボのメモリは8GBがいちばん多くて、約4台に1台。12GBの話ばかりでは、「うちのは8GBなんだけど」という人には当てはめにくいはずです。

    そこで今回は、グラボが8GBのパソコンを借りて測りました。グラボはRTX 4060。グラボとは別にパソコン本体にもメモリがあって、こちらは32GBです。この先は「本体のメモリ」と呼びます。家のパソコンとは別の1台です。

    比べたのは、大きさの違う5つ

    AIの大きさは、Bという単位で表します。AIが学んだことをしまっておく数字の個数のことで、多いほど賢くなりやすいかわりに、必要なメモリも計算も増えます。

    選んだのは、小さいほうからE4B、9B、12B、20B、26Bの5つです。E4Bと12Bと26Bは、GoogleのGemma 4というAIの大きさ違い。9BはAlibabaのQwen3.5、20BはOpenAIのgpt-ossです。8GBに収まりそうなもの、ぎりぎりのもの、入りきらないものがそろう顔ぶれです。

    動かすソフトは無料のOllama。短い物語と、四季の行事の説明を書かせて、書く速さを測りました。

    グラボのメモリは、AIのデータを広げる机のようなものです。全部が机に乗れば速い。乗らない分は、少し離れた棚にあたる本体のメモリに置くことになって、受け渡しの手間のぶん遅くなりやすい。知りたかったのは3つでした。8GBという机にどこまで乗るのか。はみ出したら、どれくらい遅いのか。結局、どれを選べばいいのか。

    予想が外れたところ

    ファイルの大きさだけ見ると、こう思えます。12Bはファイルの大きさが8GBとほぼ同じなので、グラボのメモリにちょうど入って、そこそこ速いはず。26Bはファイルが18GBもあるので、動いたとしても遅くて使いにくいだろう。数字だけ見ると、そう思いがちです。

    結果は逆でした。

    書く速さは、1秒に何トークン書けるかで表します。トークンは、AIが文章を区切る小さなかけらのこと。1秒に書ける数が多いほど、返事を待たずに済みます。

    12Bは、たしかにグラボのメモリだけで動きました。でも8GBをほぼ使い切っていて、書く速さは1秒に約14〜19トークン。平均すると、ひとつ小さい9Bの半分以下です。

    26Bは、やはり机に乗りきらず、残りを本体のメモリに置いて動きました。それなのに1秒に約21トークン。半分ほどの大きさの12Bより速く書けたのです。

    理由の一つと考えられるのは、AIの作りです。26Bは、専門家がたくさんいるチームのような作りで、全員で考えるのではなく、毎回、得意な何人かだけを選んで書きます。全員分の置き場所は要るけれど、1回ごとの計算は小さなAIくらいで済む。12Bは毎回全員で考える作りなので、ぎゅうぎゅうの机では苦しかったようです。

    もう一つ意外だったのは、日本語のテストの点数です。漢字の読みや敬語のメール、要約などの問題を解かせたら、いちばん小さいE4Bが、9Bと20Bを上回りました。こちらは家のパソコンで解かせた点数です。同じAIなら、答えの中身はパソコンが違っても大きくは変わらないので、参考にしました。「大きいほど賢い」も、いつもその通りとは限らないようです。

    迷ったところ

    一つ目は、理由をどこまで言い切るかです。

    「26Bはチームのような作りだから速い」と言い切れたら、話はすっきりします。でも、20Bも同じ作りなのに、26Bより遅かった。作りだけで速さが決まるなら、こうはなりません。12Bが遅かった理由も、一つには絞れません。机の狭さのほかに、RTX 4060はデータを運ぶ道が家のグラボより細い、という事情もあります。どちらがどれだけ効いたのかまでは分かりませんでした。なので動画では「理由の一つと考えられる」という言い方にとどめています。

    二つ目は、「まず何を入れるか」の答えです。

    最初の下書きでは「まず9B」でした。ところが日本語の点数を測ってみると、E4Bのほうが速いうえに点も高い。答えを「まずE4B」に書き直しました。下書きの答えが、測ったあとでひっくり返った形です。

    三つ目は、12GBの家のパソコンとの比べ方です。

    同じ測り方で家のパソコンでも書かせると、12Bは平均で約5倍の速さになりました。12GBのグラボでは、12Bはメモリに余裕を残して動いています。ただ、家のパソコンはグラボのメモリが大きいだけではありません。グラボそのものが格上で、本体のメモリも多い。「メモリが増えたから約5倍」と読まれると、言いすぎになります。数字を並べるところには、パソコンの部品そのものが違うことを必ず添えることにしました。

    決めた答え

    今回の結果から出した答えは、こうです。グラボが8GBなら、まず試すのはE4B。日本語の賢さを優先するなら、本体のメモリに余裕があれば26B。

    26Bは本体のメモリもたくさん使います。今回は本体のメモリが32GBのパソコンで動きましたが、それより少ないパソコンでは試していません。答える前にじっくり考える機能をオンにすると、待ち時間も長くなります。

    大きさの数字だけで決めつけない。この回を作って、いちばん頭に残ったのはこれでした。

    5つそれぞれの速さと点数の表と、グラボだけで動いているか、本体のメモリと分けているかを自分のパソコンで確かめる手順は、ブログにまとめています。

    動画は、ずんだもんと四国めたんの会話で進みます。


     
     
    家のPCでAIを動かしてみる、ルミィのノートです。12GBのグラボのPCで試して分かったことと、その週のローカルAIの新しい話を、毎週日曜の朝にまとめています。動画はYouTube「AIの歩き方」、くわしい数字や手順はブログで。

    あなたへのおすすめ