
Radeon で家に ChatGPT のようなAI:LM Studio と Gemma 4、最初はほぼ止まっていた
この記事でわかること
家のパソコンで、ChatGPT のように話せるAIを動かす方法(LM Studio と Gemma 4)
AMD のグラボで、私が最初にはまった落とし穴(毎秒2.6トークン)
長い会話で返事が途中で切れたときに見る所と、26B と 31B のちがい
先に結論
AMD の RX 9060 XT 16GB 1枚で、Gemma 4 26B が 毎秒 約58トークンで動きました(2026年10月10日、LM Studio 0.4.25)。トークンは、AIが文章を数える単位です(日本語なら1〜2文字くらい)。
最初は、毎秒2.6トークンでした。LM Studio が NVIDIA 用のエンジンを選んで、古いグラボで動いていたのが原因です。
AMD 用のエンジンに変えて毎秒 約41、設定を直して約58になりました。

LM Studio と Gemma 4
LM Studio は、文章のAIをパソコンで動かすソフトです。無料で、公式サイト(lmstudio.ai)から入れられます。画面は ChatGPT に似ていて、AIを選んで話しかけるだけです。ネットにつながなくても動きます。
Gemma 4 は、Google が公開している文章のAI(モデル:AIの本体)です。私が使ったのは「Gemma 4 26B A4B」の QAT 版です。QAT 版は、AIの本体を小さくしても(量子化)、賢さが落ちにくいように作られた版です。
大きさ:AIの本体が約13.5GB、画像を読む部品が約1.1GB
探し方:LM Studio の中の検索で「gemma-4-26B-A4B-it-QAT」。私は lmstudio-community が公開しているものを使いました
写真を見せて、何が写っているかを説明させることもできます
落とし穴:ほとんど止まっている(毎秒2.6トークン)
そのころのパソコンには、AI用の RX 9060 XT 16GB と、前から入っていた GTX 1080 8GB(NVIDIA の古いグラボ)の2枚が入っていました。
Gemma 4 を読み込んで話しかけると、毎秒2.6トークン。100トークン(日本語で100〜200文字くらい)の返事に、40秒ほどかかる速さです。
原因は、LM Studio の中でAIを動かすエンジン(ランタイム)でした。LM Studio には、グラボのメーカーごとにエンジンがあります。
NVIDIA 用(CUDA)
AMD 用(ROCm:AMD のグラボでAIを動かすための仕組み)
どのメーカーでも動くもの(Vulkan)
最初に選ばれていたのは、NVIDIA 用でした。そのため、AIは GTX 1080 で動いていました。8GB のグラボに、14GB 以上あるAIは入りきりません。あふれた分を本体のメモリーとやりとりしながら動くので、とても遅くなっていました。
直し方:エンジンを AMD 用にする
LM Studio の設定の「Runtime(ランタイム)」の所で、エンジンを AMD 用の「ROCm llama.cpp」に変えます。私は、Claude にコマンドで変えてもらいました。
AMD 用のエンジンには、AMD のグラボしか見えません。AIは RX 9060 XT 16GB に全部入り、毎秒 約41トークンになりました。Gemma 4 は答える前に「考える」文章も書くので、その分も入れた速さです。
Vulkan も入っていましたが、GTX 1080 も見えてしまうので、私は使っていません。
AMD のグラボが1枚だけのパソコンなら、この落とし穴にははまりにくいはずです。それでも一度、エンジンが何になっているかを見ておくと安心です。
長い会話で、返事が途中で切れた
10月10日の夜中、初めて Gemma と長く話しました。すると、最後の返事が途中で切れてしまいました。
原因は、コンテキスト長(AIが一度に覚えておける会話の長さ)です。最初の設定では8192トークンが上限で、そこに届いていました。
ところが、上限を16384や32768に伸ばすだけだと、今度はグラボのメモリーからあふれました。長い会話では、最初の1文字が出るまで62〜74秒、書く速さも毎秒5〜15トークンです。
そこで、いくつかの設定を組み合わせて、32768でもあふれないようにしました。
ふつうの質問:毎秒 約58トークン
約9,000トークンの長い会話:毎秒 約54トークン、最初の文字まで4.3秒
本体のメモリーの使用:約39GB → 約10.5〜21GB
どの設定をどう変えたか(値と、変えると何が起きるか)は、次回の有料の設定集にまとめます。ここでは、ヒントを2つだけ書きます。
会話の長さは、伸ばせば伸ばすほどよいわけではありません。65536にすると、長い会話が毎秒 約30に落ちました。
設定は、モデルを読み込むときの画面で変えて、「Remember settings(設定を覚える)」で保存します。次からは、同じ設定で読み込まれます。
もう1つ、モニターを AI用のグラボにつなぐと、毎秒58が26に落ちました。この話は、前回の記事に書きました。
26B と 31B のちがい
Gemma 4 には、大きさのちがうものがいくつかあります。私は 26B と 31B の2つを使い分けています(B は10億。26B なら、AIの中の数字が約260億個)。
26B A4B:全部で約260億の数字を持っていますが、1回に使うのは約40億だけです(MoE:問題に合わせて「専門家」を切りかえる仕組み)。そのぶん速く、RX 9060 XT 1枚に入ります。
31B:約310億の数字を全部使います。賢いぶん重く、約19GB あるので16GB のグラボ1枚には入りません。2枚目の RX 9060 XT を入れてから、2枚に分けて動かしています(上に約11.4GB、下に約10.7GB)。書く速さは毎秒 約14トークンです。
ふだんは、26B を「考える時間を省く設定」で使っています。じっくり相談したいときは、31B を「考えてから答える設定」で使います。
2つのちがいは、私の感覚では「とりあえずそれっぽく報告する部下」と「深く分析して先回りする部下」くらいです。
まとめ
LM Studio と Gemma 4 26B なら、RX 9060 XT 1枚で ChatGPT のように話せる(毎秒 約58トークン)
AMD のグラボでは、LM Studio のエンジンが AMD 用(ROCm)になっているかを最初に確かめる
会話の長さは、伸ばすだけだとあふれて遅くなる。設定の組み合わせが大事
前回は、モニターのケーブルで速さが半分になった話でした:Radeon のAIが半分の速さに。原因はモニターのケーブル1本だった
次回は有料の設定集です。Gemma 4 を RX 9060 XT で速くする設定の値と、31B を2枚のグラボで速くする方法をまとめます。
(2026年10月時点の情報です) この記事は、パソコンの持ち主の私と、AIの Claude が一緒に書きました。記事の中の画像は、ことわりがない限りこのパソコンのAIで作ったものです。