メインコンテンツへスキップ
見出し画像

外部にデータを出せない案件に備えて、ローカルLLM(Qwen・Gemma)を動かしてみた【導入編】

    なぜローカルLLMを試そうと思ったのか

    私はソフトウェア・システム開発を仕事にしていて、普段の開発ではクラウドのAIを使っています。ただ、今後は「データを外部に出してはいけない」という条件の案件を受ける可能性があります。そうなったとき、手元のPCだけでどこまでAIを使えるのかを、先に知っておきたいと考えました。

    試したい用途は、コーディング、データ解析、それに付随するドキュメント作成です。あわせて、メールなどの文章作成や経理のような、一般的な事務作業にも使えるかを確かめたいと考えています。

    この記事では、その第一歩として、LM Studio Bionic(以下、Bionic)を導入し、QwenとGemmaの2つのモデルを自分のPCで動かすところまでをまとめます。

    先に結論を書くと、GPUメモリ24GBのPCで、26〜27Bクラスのモデルが動作することを確認し、課題を使った比較検証を始められる状態になりました。

    続く記事では、同じ課題を2つのモデルに解かせて、それぞれがどこまで実務に使えるかを確かめていく予定です。今回2つのモデルを導入したのは、その準備のためです。

    使用するPC

    今回使うPCの構成は、次のとおりです。

    • OS:Windows 11 Pro

    • CPU:Intel Core i9-14900K

    • メモリ:96GB

    • GPU:NVIDIA GeForce RTX 3090

    • GPUメモリ(VRAM):24GB

    ローカルLLMで最初に気にするべきなのは、メインメモリよりもGPUメモリ(VRAM)の容量です。

    モデル全体がVRAMに収まれば、GPUだけで計算できるので速く動きます。収まらない分はメインメモリに逃がすこともできますが、その分だけ遅くなります。メインメモリが96GBあれば大きなモデルも「動かす」ことはできますが、快適に使えるかは別の話です。

    もう一つ、VRAMはモデル本体だけでなく、入力した文章を保持するためにも使われます。長いソースコードや仕様書を読ませるなら、モデルのサイズに加えて、その分の余裕も必要です。

    そこで今回は、最大限大きなモデルを狙うのではなく、24GBのVRAMに余裕を持って収まる15〜18GB程度のモデルから試すことにしました。

    LM Studio Bionicで導入する

    モデルを動かす方法はいくつかありますが、今回はLM Studio Bionicを使いました。Bionicは、LM Studioの開発元が2026年7月に公開した、LM Studioとは別のエージェント型アプリです。Bionicの中からモデルを探してダウンロードし、そのまま動かせます。Bionicを選んだのは、モデルの検索からダウンロード、チャットでの動作確認まで画面操作だけで完結することに加え、全体として使い勝手がよさそうだと感じたからです。

    インストールして起動すると、ChatGPTのような入力欄だけのチャット画面が開きます。この時点ではまだモデルが入っていないので、ここから準備します。

    画像
    インストール後に開いたチャット画面

    手順は次のとおりです。

    1. LM Studio Bionicの公式ダウンロードページから、Bionicをダウンロード・インストールして起動する(同じページに従来のLM Studioもあるので、Bionicの方を選ぶ)

    2. 設定→ローカルモデルの「探索」画面で、使いたいモデルを探す

    3. ダウンロードオプションで量子化の種類を選び、ダウンロードする

    4. モデルを読み込み、チャットで短い質問をして動作を確かめる

    3の画面には、そのモデルがGPUに全部載る場合は「Full GPU Offload Possible」、載りきらない場合は「Partial GPU Offload Possible」と表示されます。VRAMに収まるかを判断する目安として便利でした。

    画像
    探索画面で左の一覧からモデルを選ぶと、右のダウンロードオプションの下に
    「Full GPU Offload Possible」が表示される(画面はQwen3.8 27B)

    比較するモデル:QwenとGemma

    Bionicでは他にも多くのモデルを選べますが、最初の比較対象は、評判のよいQwenとGemmaから、GPUメモリに収まるサイズのものを1つずつ選びました。

    • Qwen3.8 27B:Q4_K_M、17.74GB
      Dense(推論時に全パラメータを使用)

    • Gemma 4 26B A4B QAT:Q4_0、15.63GB
      MoE(推論時に動くのは約4B)

    画像
    Bionicのライブラリに入れた2モデル
    表示容量と量子化の種類が確認できる

    「GGUF」と「MLX」はファイルの形式

    モデルの詳細には「形式:GGUF / MLX」と表示されています。これはモデルファイルの形式で、MLXはApple Silicon搭載Mac向けです。Windowsでは GGUF形式を使います。

    「Q4_K_M」などの表記は量子化の種類

    モデルを探すと、同じモデルでもQ4_K_MやQ6_K、Q8_0といった版が並んでいます。これは量子化の種類です。

    量子化とは、モデルの重みを少ないビット数で持たせて、ファイルを小さくする方法です。Qの後の数字はおおむね1つの重みに使うビット数で、小さいほど軽くなる代わりに、回答の品質が落ちる可能性があります。

    GemmaはQAT版を選んだ

    Gemmaには、通常版とQAT版がありました。

    • 通常版:Q4_K_M、17.99GB

    • QAT版:Q4_0、15.63GB

    画像
    Gemma 4 26B A4B QATのダウンロード画面
    Q4_0版で15.63GB

    QATは、量子化されることを前提に学習させる方法です。同じ4ビットでも、品質の低下を抑えやすいとされています。容量も約2GB小さく、長い入力のためにVRAMの余裕を残せるので、今回はQAT版を使うことにしました。

    MoEとDense:計算に使う部分の違い

    Gemmaの名前にある「26B A4B」は、全体で260億パラメータを持ちながら、1回の計算で実際に使うのは約40億だけという意味です。このような構造をMoE(Mixture of Experts)と呼びます。

    動く部分が小さいので、同じくらいのサイズのモデルより速く、電力も少なく済む可能性があります。一方のQwen3.8 27Bは、毎回すべてのパラメータを使うDense(密)モデルです。

    比較の前提

    今回の目的は、モデルの一般的な性能順位を決めることではありません。自分のPCで、必要な作業を、どのくらいの品質と待ち時間で処理できるかを知ることです。

    そのため、モデルの規模や量子化の方式は、完全にはそろえていません。思考に関する設定も、次のように各モデルの選択肢から選んでいます。

    • Qwen:思考レベル「非常に高い」

    • Gemma:思考レベル「オン」

    画像
    Qwen3.8 27Bを選び、思考レベルを「非常に高い」に設定

    思考レベル以外の設定は変更せず、モデル読み込み時の値を使用しています。ただし、その値自体がモデルごとに異なっていました。主な違いは次のとおりです。

    • Speculative Decoding(生成を速くする仕組み):QwenはMTP(最大3トークン)、GemmaはOff

    • Top K:Qwenは20、Gemmaは64

    • Min P:Qwenはオフ、Gemmaは0.05

    • Physical Batch Size:Qwenは512、Gemmaは1,120

    共通の設定としては、思考の上限(Reasoning Budget)がどちらも8,192トークン、Temperatureがどちらも1です。

    特に、Qwenだけ生成を速くする仕組みが有効になっている点は、速度や電力量の比較に影響する可能性があります。次回以降の比較では、この点も踏まえて結果を見ていきます。

    動かしてみた第一印象

    2つのモデルを読み込んで、まずは短い質問を投げてみました。

    質問:「ローカルLLMのメリットとデメリットを200字で説明してください」(各モデル2回ずつ。いずれもモデルを読み込んだ状態で実行)

    自動で確保されたコンテキスト長

    • Qwen:46,080トークン

    • Gemma:262,144トークン

    VRAM使用量(読み込み前 → 処理中)

    • Qwen:1.7GB → 23.7GB

    • Gemma:1.6GB → 23.5GB

    回答時間(1回目・2回目)

    • Qwen:59秒・40秒

    • Gemma:7秒・6秒

    回答の文字数(1回目・2回目)

    • Qwen:188字・194字

    • Gemma:182字・190字

    日本語は、どちらも違和感のない文章でした。

    Qwen3.8 27Bの回答(1回目)

    ローカルLLMは、データがデバイスから出ないため情報漏えいの心配がなく、オフラインでも使えるのが利点です。小規模でもトークン課金がないのも利点。また、モデルの選定やカスタマイズの自由度が高く、大量の処理ではコスト面でも有利。一方、VRAM容量の大きい高性能なGPUが必要で、クラウドサービスに比べ推論が遅く、複雑なタスクや長いコンテキストでは性能が劣る場合が多い点が欠点です。

    Gemma 4 26B A4B QATの回答(1回目)

    メリットは、データが外部に送信されないためプライバシーとセキュリティが非常に高いこと、オフラインで利用可能なこと、そして継続的な利用料金がかからないことです。デメリットは、高性能なGPUなどの高価なハードウェア環境が必須であること、導入や設定に一定の知識が必要なこと、そして巨大なクラウド型モデルに比べると、回答の精度や多言語対応などの能力が制限されやすい点です。

    画像
    Qwen3.8 27Bの1回目の回答画面
    回答の上には「59s 作業しました」と、作業時間が表示される

    まず目を引いたのは速さの違いです。Gemmaが6〜7秒で答えたのに対し、Qwenは40〜59秒かかりました。Qwenは思考レベルを「非常に高い」にしているので、考える時間の長さも含まれていると思います。ただ、Bionicの画面には全体の時間しか表示されず、考えていた時間と文章を書いていた時間は分けられませんでした。

    もう一つ興味深かったのは、同じ質問でも毎回答えが変わることです。回答時間も、Qwenは59秒と40秒で違いました。Temperatureなどの生成設定や、思考の内容の違いが影響している可能性がありますが、今回は原因までは確認していません。このように内容も時間も毎回ぶれるので、モデルを比べるときは1回の結果で判断せず、何度か試して見る必要がありそうです。

    4回とも200字以内(182〜194字)に収まり、要点もおおむね押さえていました。ただ、「情報漏えいの心配がなく」「高価なハードウェア環境が必須」「継続的な利用料金がかからない」など、言い切りが強すぎる表現もありました。ローカルで動かしても情報漏えいのリスクがなくなるわけではなく、必要なハードウェアもモデルや用途によって変わり、電気代もかかります。大筋は合っていても、細かな言い切りには注意が必要だと感じました。

    コンテキスト長はVRAMに合わせて自動で確保される

    読み込み後にタスクマネージャーを見ると、どちらのモデルでもVRAMが24GB近くまで埋まっていました。読み込み前と比べると、使用量はQwenで約22.0GB、Gemmaで約21.9GB増えていました。モデルの容量(Qwen 17.74GB、Gemma 15.63GB)より、それぞれ約4GB、約6GB多い計算です(表示元によって単位の扱いが異なる可能性があるため、おおよその目安です)。

    画像
    Qwen3.8 27Bの処理中
    専用GPUメモリは23.7/24.0GBで、ほぼ使い切っている

    モデルの設定画面を確認すると、「Automatic Optimize Based on Hardware」がオンになっていて、コンテキスト長(一度に扱える入力と会話の長さ)とGPUへの割り当てが「AUTO」になっていました。Bionicが、空いているVRAMに合わせてコンテキスト長を決めていたようです。

    画像
    モデルのデフォルト設定(画面はGemma 4 26B A4B QAT)
    Automatic Optimize Based on Hardwareがオンで
    Context LengthとGPU OffloadがAUTOになっている

    確保されたコンテキスト長は、モデルによって大きく違いました。Qwenは46,080トークンだったのに対し、Gemmaは上限いっぱいの262,144トークンになりました。ほぼ同じVRAMで、設定上のコンテキスト長はGemmaが約5.7倍です。Bionicがどのような基準で値を決めているかは確認していませんが、モデルの構造によって、入力を保持するのに必要なメモリの量が違うことが関係していそうです。

    画像
    Qwen3.8 27Bはコンテキスト長46,080
    画像
    Gemma 4 26B A4B QATはコンテキスト長262,144

    ただし、確認できたのは、コンテキスト長の設定値だけです。実際に長いコードや資料を入力したときの速度や精度は、別途確かめたいと思います。

    ここまでは、動かしてみた第一印象です。実際の仕事で使えるかは別の話なので、次に2つのモデルをどう比べ、何を測るかを決めました。

    比較と計測の方法を決める

    同じ課題と採点基準で比べる

    2つの回答を並べると、つい文章の流暢さや好みで判断してしまいます。しかし開発で必要なのは、指定した仕様を守ること、データを正しく扱うこと、情報が足りないときに勝手に補わないこと、そして書いたコードが実際に動くことです。

    そこで、課題ごとに同じプロンプトと採点基準を先に決めてから比べることにしました。具体的な課題は次回から紹介します。

    品質と時間に加えて、電力も測る

    今回は、回答の品質と待ち時間に加えて、電力も測ることにしました。理由は3つあります。

    • 単純に、電気代がどのくらいかかるのか知りたかった

    • クラウドAIよりコストを抑えられるなら、多少性能が劣っていても、ローカルで任せられる仕事の範囲は広がるのではないか

    • 24時間動かし続けるような使い方をしたら、どのくらいになるのか

    品質だけを見れば、クラウドAIのほうが上という結果になるかもしれません。それでも「この程度の作業ならローカルで十分で、しかも安い」と言えるなら、使い道は変わってきます。その判断材料にするための計測です。

    電力は「瞬間の値」では比べられない

    最初は、NVIDIAアプリに表示される消費電力を目で見ていました。しかし、ある瞬間の電力(W)が分かっても、回答1回でどれだけのエネルギー(Wh)を使ったかは分かりません。

    そこで、LibreHardwareMonitorでCPUとGPUの電力を1秒ごとにCSVへ記録し、質問を送ってから回答が終わるまでの値を積み上げて、回答1回あたりの電力量を出すようにしました。

    画像
    Qwen3.8 27Bで、次回紹介する課題(納期変更メールの作成)を1回実行したときの電力

    待機中は低く、回答が始まると一気に上がり、終わると元に戻ります。ある瞬間の電力(W)ではなく、この山の面積(Wh)を比べるのが今回の測り方です。2つのモデルでどのくらい差が出たかは、次回紹介します。

    計測にモデルの読み込みが混ざっていた

    試しに測ってみると、計測にモデルの読み込みまで含まれていることに気づきました。モデルを読み込んでいない状態で質問すると、回答が出るまでに画面の表示が次のように変わります。

    1. 「モデルを読み込み中」(進捗を%で表示)

    2. 「プロンプトを処理中」(進捗を%で表示)

    3. 「思考中」(進捗の表示なし)

    画像
    「モデルを読み込み中」の表示
    画像
    「プロンプトを処理中」の表示
    画像
    「思考中」の表示

    その後に回答が表示され、最後に作業時間が出ます。読み込んでいない状態で質問すると作業時間が長くなる傾向があり、この作業時間にも読み込みの時間が含まれているようです。計測中に最初の「モデルを読み込み中」が表示されたことで、読み込みの時間と電力まで測っていたと分かりました。これでは、回答そのもののコストが分かりません。

    そこで、モデルを先に読み込んでおき、毎回新しいチャットで課題を実行する手順に改めました。

    補足

    最後に、2点だけお断りしておきます。

    • ネットワークからの隔離は検証していません。 案件のセキュリティ要件を満たすかどうかは、別途確認する予定です。

    • 電力はCPUとGPUのセンサー値です。 PC全体の消費電力とは異なります。

    次回:5つの課題で比べる

    次回からは、次の5つの課題で2つのモデルを比べます。同じプロンプトと採点基準で、各課題を3回ずつ実行し、回答の品質・待ち時間・電力量を記録します。

    1. 納期変更メールの作成:事実を正しく保ち、細かな指示を守れるか

    2. 社内規程の読解:条件・例外・情報不足を正しく扱えるか

    3. 経費データの整理・集計:重複・取消・返金・未記入を処理できるか

    4. 資料の比較:渡した資料だけを根拠に整理できるか

    5. Pythonコードの生成:用意したテストを通る、仕様どおりのコードを書けるか

    課題は、採点しやすいものから開発に近いものへと、段階的に並べています。最初の納期変更メールでは、日付や理由、文字数、お詫びの回数まで指定して、どこまで指示を守れるかを見ます。

    その先については、この5課題の結果を見てから決めるつもりです。最終的には、実際の開発作業の中でローカルLLMをどこまで任せられるかを確かめていきたいと考えています。


     
     
    ソフトウェア・システム開発を仕事にしている、ひとり法人の代表です。本業の開発だけでなく、経理や申告などの事務作業にもAIを取り入れながら、仕事のやり方を日々試行錯誤しています。

    あなたへのおすすめ