メインコンテンツへスキップ
見出し画像

Radeon で家に ChatGPT のようなAI:LM Studio と Gemma 4、最初はほぼ止まっていた

    この記事でわかること

    • 家のパソコンで、ChatGPT のように話せるAIを動かす方法(LM Studio と Gemma 4)

    • AMD のグラボで、私が最初にはまった落とし穴(毎秒2.6トークン)

    • 長い会話で返事が途中で切れたときに見る所と、26B と 31B のちがい

    先に結論

    • AMD の RX 9060 XT 16GB 1枚で、Gemma 4 26B が 毎秒 約58トークンで動きました(2026年10月10日、LM Studio 0.4.25)。トークンは、AIが文章を数える単位です(日本語なら1〜2文字くらい)。

    • 最初は、毎秒2.6トークンでした。LM Studio が NVIDIA 用のエンジンを選んで、古いグラボで動いていたのが原因です。

    • AMD 用のエンジンに変えて毎秒 約41、設定を直して約58になりました。

    画像
    毎秒2.6(最初)→ 約41(AMD 用のエンジン)→ 約58(設定を直した)。数字から Claude が作った図

    LM Studio と Gemma 4

    LM Studio は、文章のAIをパソコンで動かすソフトです。無料で、公式サイト(lmstudio.ai)から入れられます。画面は ChatGPT に似ていて、AIを選んで話しかけるだけです。ネットにつながなくても動きます。

    Gemma 4 は、Google が公開している文章のAI(モデル:AIの本体)です。私が使ったのは「Gemma 4 26B A4B」の QAT 版です。QAT 版は、AIの本体を小さくしても(量子化)、賢さが落ちにくいように作られた版です。

    • 大きさ:AIの本体が約13.5GB、画像を読む部品が約1.1GB

    • 探し方:LM Studio の中の検索で「gemma-4-26B-A4B-it-QAT」。私は lmstudio-community が公開しているものを使いました

    • 写真を見せて、何が写っているかを説明させることもできます

    落とし穴:ほとんど止まっている(毎秒2.6トークン)

    そのころのパソコンには、AI用の RX 9060 XT 16GB と、前から入っていた GTX 1080 8GB(NVIDIA の古いグラボ)の2枚が入っていました。

    Gemma 4 を読み込んで話しかけると、毎秒2.6トークン。100トークン(日本語で100〜200文字くらい)の返事に、40秒ほどかかる速さです。

    原因は、LM Studio の中でAIを動かすエンジン(ランタイム)でした。LM Studio には、グラボのメーカーごとにエンジンがあります。

    • NVIDIA 用(CUDA)

    • AMD 用(ROCm:AMD のグラボでAIを動かすための仕組み)

    • どのメーカーでも動くもの(Vulkan)

    最初に選ばれていたのは、NVIDIA 用でした。そのため、AIは GTX 1080 で動いていました。8GB のグラボに、14GB 以上あるAIは入りきりません。あふれた分を本体のメモリーとやりとりしながら動くので、とても遅くなっていました。

    直し方:エンジンを AMD 用にする

    LM Studio の設定の「Runtime(ランタイム)」の所で、エンジンを AMD 用の「ROCm llama.cpp」に変えます。私は、Claude にコマンドで変えてもらいました。

    AMD 用のエンジンには、AMD のグラボしか見えません。AIは RX 9060 XT 16GB に全部入り、毎秒 約41トークンになりました。Gemma 4 は答える前に「考える」文章も書くので、その分も入れた速さです。

    Vulkan も入っていましたが、GTX 1080 も見えてしまうので、私は使っていません。

    AMD のグラボが1枚だけのパソコンなら、この落とし穴にははまりにくいはずです。それでも一度、エンジンが何になっているかを見ておくと安心です。

    長い会話で、返事が途中で切れた

    10月10日の夜中、初めて Gemma と長く話しました。すると、最後の返事が途中で切れてしまいました。

    原因は、コンテキスト長(AIが一度に覚えておける会話の長さ)です。最初の設定では8192トークンが上限で、そこに届いていました。

    ところが、上限を16384や32768に伸ばすだけだと、今度はグラボのメモリーからあふれました。長い会話では、最初の1文字が出るまで62〜74秒、書く速さも毎秒5〜15トークンです。

    そこで、いくつかの設定を組み合わせて、32768でもあふれないようにしました。

    • ふつうの質問:毎秒 約58トークン

    • 約9,000トークンの長い会話:毎秒 約54トークン、最初の文字まで4.3秒

    • 本体のメモリーの使用:約39GB → 約10.5〜21GB

    どの設定をどう変えたか(値と、変えると何が起きるか)は、次回の有料の設定集にまとめます。ここでは、ヒントを2つだけ書きます。

    • 会話の長さは、伸ばせば伸ばすほどよいわけではありません。65536にすると、長い会話が毎秒 約30に落ちました。

    • 設定は、モデルを読み込むときの画面で変えて、「Remember settings(設定を覚える)」で保存します。次からは、同じ設定で読み込まれます。

    もう1つ、モニターを AI用のグラボにつなぐと、毎秒58が26に落ちました。この話は、前回の記事に書きました。

    26B と 31B のちがい

    Gemma 4 には、大きさのちがうものがいくつかあります。私は 26B と 31B の2つを使い分けています(B は10億。26B なら、AIの中の数字が約260億個)。

    • 26B A4B:全部で約260億の数字を持っていますが、1回に使うのは約40億だけです(MoE:問題に合わせて「専門家」を切りかえる仕組み)。そのぶん速く、RX 9060 XT 1枚に入ります。

    • 31B:約310億の数字を全部使います。賢いぶん重く、約19GB あるので16GB のグラボ1枚には入りません。2枚目の RX 9060 XT を入れてから、2枚に分けて動かしています(上に約11.4GB、下に約10.7GB)。書く速さは毎秒 約14トークンです。

    ふだんは、26B を「考える時間を省く設定」で使っています。じっくり相談したいときは、31B を「考えてから答える設定」で使います。

    2つのちがいは、私の感覚では「とりあえずそれっぽく報告する部下」と「深く分析して先回りする部下」くらいです。

    まとめ

    • LM Studio と Gemma 4 26B なら、RX 9060 XT 1枚で ChatGPT のように話せる(毎秒 約58トークン)

    • AMD のグラボでは、LM Studio のエンジンが AMD 用(ROCm)になっているかを最初に確かめる

    • 会話の長さは、伸ばすだけだとあふれて遅くなる。設定の組み合わせが大事

    前回は、モニターのケーブルで速さが半分になった話でした:Radeon のAIが半分の速さに。原因はモニターのケーブル1本だった

    次回は有料の設定集です。Gemma 4 を RX 9060 XT で速くする設定の値と、31B を2枚のグラボで速くする方法をまとめます。


    (2026年10月時点の情報です) この記事は、パソコンの持ち主の私と、AIの Claude が一緒に書きました。記事の中の画像は、ことわりがない限りこのパソコンのAIで作ったものです。

     
     
    プログラムが書けない私が、2017年の中古ゲーミングPCに AMD のグラボ2枚をのせて、Claude と一緒に「家で動くAI」を作っています。画像・文章・声・3D・曲・動画。つまずきと直し方、かかったお金と電気代も正直に書きます。

    あなたへのおすすめ