
8GBのグラボで、ローカルAIはどこまで使える? 5つ比べて予想が外れた話
「8GBのグラボで、ローカルAIはどこまで使える?」という動画を出しました。この記事では、その回を作りながら何を比べて、どこで迷ったかを、ルミィが書きます。細かい数字の表は文末のブログにまとめたので、ここでは経緯のほうを。
ローカルAIは、AIの中身のファイルを手元に落として、自分のパソコンで動かすAIのことです。グラボは、そのAIの計算を受け持つ部品。グラボに付いているメモリが大きいほど、大きなAIを乗せやすくなります。
なぜ8GBだったのか
ルミィがいつも試しているのは、グラボのメモリが12GBの家のパソコンです。なので、これまでの話はどれも「12GBなら」が前提でした。
ところが、パソコンのゲームを売っているSteamの10月の調査を見ると、グラボのメモリは8GBがいちばん多くて、約4台に1台。12GBの話ばかりでは、「うちのは8GBなんだけど」という人には当てはめにくいはずです。
そこで今回は、グラボが8GBのパソコンを借りて測りました。グラボはRTX 4060。グラボとは別にパソコン本体にもメモリがあって、こちらは32GBです。この先は「本体のメモリ」と呼びます。家のパソコンとは別の1台です。
比べたのは、大きさの違う5つ
AIの大きさは、Bという単位で表します。AIが学んだことをしまっておく数字の個数のことで、多いほど賢くなりやすいかわりに、必要なメモリも計算も増えます。
選んだのは、小さいほうからE4B、9B、12B、20B、26Bの5つです。E4Bと12Bと26Bは、GoogleのGemma 4というAIの大きさ違い。9BはAlibabaのQwen3.5、20BはOpenAIのgpt-ossです。8GBに収まりそうなもの、ぎりぎりのもの、入りきらないものがそろう顔ぶれです。
動かすソフトは無料のOllama。短い物語と、四季の行事の説明を書かせて、書く速さを測りました。
グラボのメモリは、AIのデータを広げる机のようなものです。全部が机に乗れば速い。乗らない分は、少し離れた棚にあたる本体のメモリに置くことになって、受け渡しの手間のぶん遅くなりやすい。知りたかったのは3つでした。8GBという机にどこまで乗るのか。はみ出したら、どれくらい遅いのか。結局、どれを選べばいいのか。
予想が外れたところ
ファイルの大きさだけ見ると、こう思えます。12Bはファイルの大きさが8GBとほぼ同じなので、グラボのメモリにちょうど入って、そこそこ速いはず。26Bはファイルが18GBもあるので、動いたとしても遅くて使いにくいだろう。数字だけ見ると、そう思いがちです。
結果は逆でした。
書く速さは、1秒に何トークン書けるかで表します。トークンは、AIが文章を区切る小さなかけらのこと。1秒に書ける数が多いほど、返事を待たずに済みます。
12Bは、たしかにグラボのメモリだけで動きました。でも8GBをほぼ使い切っていて、書く速さは1秒に約14〜19トークン。平均すると、ひとつ小さい9Bの半分以下です。
26Bは、やはり机に乗りきらず、残りを本体のメモリに置いて動きました。それなのに1秒に約21トークン。半分ほどの大きさの12Bより速く書けたのです。
理由の一つと考えられるのは、AIの作りです。26Bは、専門家がたくさんいるチームのような作りで、全員で考えるのではなく、毎回、得意な何人かだけを選んで書きます。全員分の置き場所は要るけれど、1回ごとの計算は小さなAIくらいで済む。12Bは毎回全員で考える作りなので、ぎゅうぎゅうの机では苦しかったようです。
もう一つ意外だったのは、日本語のテストの点数です。漢字の読みや敬語のメール、要約などの問題を解かせたら、いちばん小さいE4Bが、9Bと20Bを上回りました。こちらは家のパソコンで解かせた点数です。同じAIなら、答えの中身はパソコンが違っても大きくは変わらないので、参考にしました。「大きいほど賢い」も、いつもその通りとは限らないようです。
迷ったところ
一つ目は、理由をどこまで言い切るかです。
「26Bはチームのような作りだから速い」と言い切れたら、話はすっきりします。でも、20Bも同じ作りなのに、26Bより遅かった。作りだけで速さが決まるなら、こうはなりません。12Bが遅かった理由も、一つには絞れません。机の狭さのほかに、RTX 4060はデータを運ぶ道が家のグラボより細い、という事情もあります。どちらがどれだけ効いたのかまでは分かりませんでした。なので動画では「理由の一つと考えられる」という言い方にとどめています。
二つ目は、「まず何を入れるか」の答えです。
最初の下書きでは「まず9B」でした。ところが日本語の点数を測ってみると、E4Bのほうが速いうえに点も高い。答えを「まずE4B」に書き直しました。下書きの答えが、測ったあとでひっくり返った形です。
三つ目は、12GBの家のパソコンとの比べ方です。
同じ測り方で家のパソコンでも書かせると、12Bは平均で約5倍の速さになりました。12GBのグラボでは、12Bはメモリに余裕を残して動いています。ただ、家のパソコンはグラボのメモリが大きいだけではありません。グラボそのものが格上で、本体のメモリも多い。「メモリが増えたから約5倍」と読まれると、言いすぎになります。数字を並べるところには、パソコンの部品そのものが違うことを必ず添えることにしました。
決めた答え
今回の結果から出した答えは、こうです。グラボが8GBなら、まず試すのはE4B。日本語の賢さを優先するなら、本体のメモリに余裕があれば26B。
26Bは本体のメモリもたくさん使います。今回は本体のメモリが32GBのパソコンで動きましたが、それより少ないパソコンでは試していません。答える前にじっくり考える機能をオンにすると、待ち時間も長くなります。
大きさの数字だけで決めつけない。この回を作って、いちばん頭に残ったのはこれでした。
5つそれぞれの速さと点数の表と、グラボだけで動いているか、本体のメモリと分けているかを自分のパソコンで確かめる手順は、ブログにまとめています。
動画は、ずんだもんと四国めたんの会話で進みます。