メインコンテンツへスキップ
見出し画像

ローカルLLMに挑戦③ ~Qwen 27Bを導入!Gemmaと比較してみた~

    前回は、LM StudioでGemma 4 12B QATのThink機能をオフにし、生成速度を確認しました。

    今回は、さらに大きなQwen3.8 27Bを導入してみました。

    使用しているPCは、Ryzen AI Max+ 395、メモリ128GB、Radeon 8060Sを搭載したMINISFORUM MS-S1 MAXです。

    Qwen3.8 27Bは約17.74GBのモデルですが、GPUメモリ32GBの設定でも問題なく動作しました。

    測定結果は、生成速度が約21 tok/sec、GPUメモリ使用量が約20.9GB。

    Gemma 4 12Bの約25 tok/secと比較しても、十分実用的な速度です。

    そして、同じ質問に対する日本語の回答を比較したところ、個人的にはQwenの文章の方が好みに合っていました。

    以下、今回もChatGPTとの実際のやり取りをほぼそのまま掲載します。



    LLM再開しましょう

    では、「ローカルLLMに挑戦」第3回を始めましょう。
    前回はGemma 4 12B QATのThink機能をオフにし、生成速度 25.38 tok/sec を確認しました。
    今回は予定どおり、Qwen3.8 27Bを導入して、Gemmaと性能を比較しましょう。

    ステップ1:Qwen3.8 27Bのダウンロード

    前回の検索画面では、次のモデルが表示されていました。
    項目
    内容
    モデル
    Qwen3.8 27B
    パラメータ数
    270億
    量子化形式
    Q4_K_M
    ダウンロード容量
    17.74GB
    形式
    GGUF
    GPU対応
    Full GPU Offload Possible
    お使いのMS-S1 MAX(Ryzen AI Max+ 395、128GBメモリ)なら、十分試せる構成です。

    操作手順

    1. LM Studioを起動します。

    2. 左側の Model Search をクリックします。

    3. 検索欄に qwen3.8-27b と入力します。

    4. 前回表示されていた qwen/qwen3.8-27b を選択します。

    5. GGUF / Q4_K_M / 17.74GB であることを確認して「Download」をクリックします。

    今回はGPUメモリを32GBのままにしておきます。まず現在の設定で性能を測定し、必要があれば64GBへの変更を検討します。
    ダウンロードが完了したら教えてください。
    次はQwenを読み込み、Gemmaと同じ質問を使って、日本語の回答品質・生成速度・GPUメモリ使用量を比較します。
    今回も一段階ずつ進めましょう。

    ダウンロードが完了しました

    では、Qwen3.8 27Bのダウンロード完了ですね。
    次はモデルを読み込んで、正常に動作するか確認しましょう。

    ステップ2:Qwen3.8 27Bを起動する

    1. LM Studioの New Chat を開きます。

    2. 画面下部のモデル選択欄をクリックします。

    3. ダウンロードした Qwen3.8 27B を選択します。

    4. モデルの読み込み設定が表示されたら、次を確認します。

    設定項目
    今回の設定
    GPU Offload
    Max(可能なら全レイヤー)
    Context Length
    4096〜8192
    その他
    初期設定のまま
    GPUメモリは現在の32GB設定を変更しません。

    ステップ3:日本語で動作確認

    モデルが読み込まれたら、次の質問を入力してください。

    こんにちは。あなたは日本語で会話できますか?簡単に自己紹介してください。

    回答が表示されたら、まず日本語が自然かどうか確認します。
    その後、前回と同様に時計アイコンから生成速度(tok/sec)を測定しましょう。
    まずはモデルが正常に読み込まれ、日本語で回答できたか教えてください。
    読み込み時に警告やエラーが表示された場合は、その画面を送ってください。

    画像

    こうでした

    はい。Qwen3.8 27Bも正常に動作しています。 日本語の回答も自然ですね。
    スクリーンショットから、次の数値が確認できました。

    Qwen3.8 27Bの測定結果


    画像

    最後の「61.5% draft tokens accepted」は、推測的デコーディング(Speculative Decoding)に関係する指標です。生成を高速化する仕組みが働いていることを示唆しています。

    Gemmaとの比較

    画像

    QwenはGemmaの2倍以上のパラメータ数ですが、今回の測定では生成速度が約17%低いだけです。
    ただし、質問内容や生成条件が異なるため、まだ厳密な性能比較ではありません。

    次はGPUメモリを確認しましょう

    今回のQwen3.8 27Bは、17.74GBのモデルです。
    以前のGemmaではGPUメモリを約10.7GB使用していました。
    Qwenではどの程度使っているかが次の注目点です。
    前回と同様に、Windowsのタスクマネージャーを開きます。
    「パフォーマンス」→「GPU」で、次の2つを確認してください。

    • 専用GPUメモリ:○○ / 31.8GB

    • 共有GPUメモリ:○○ / 76.5GB

    Qwenを読み込んだまま確認すれば結構です。
    この結果で、現在の32GB設定にどの程度余裕があるか、64GBへ増やす必要があるかを判断しましょう。

    画像

    こうでした

    はい。Qwen3.8 27BもGPU専用メモリ32GBの範囲内で正常に動作しています。
    今回の数値は良好です。

    GPUメモリ使用量の比較

    画像

    Qwen3.8 27BのGPUメモリ使用状況
    使用中 20.9GB(約66%)
    空き 約10.9GB

    注目したい点

    1. 32GB設定で十分です
    Qwen3.8 27Bでも約11GBの余裕があります。現時点では64GBへ増やす必要はありません。
    2. 共有GPUメモリはほぼ未使用です
    共有GPUメモリは0.5GBなので、現在のモデルは専用GPUメモリ領域に収まっていると考えられます。
    3. GPU使用率4%は問題ありません
    これは回答生成後の待機状態だからでしょう。推論中にCompute使用率が上昇すれば正常です。

    次は回答品質を比較しましょう

    ここまでで、両モデルの起動とGPUメモリ使用量を確認できました。
    次は、GemmaとQwenに同じ質問をして、回答内容と生成速度を比較したいと思います。
    まずQwen3.8 27Bに、前回Gemmaで使った次の質問を入力してください。

    日本の四季について、春夏秋冬それぞれの特徴を300文字程度ずつ説明してください。

    回答後、時計アイコンから tok/secとtokens数 を確認してください。
    今回はQwenのThink設定も確認して、できるだけ同じ条件で比較しましょう。

    画像
    画像

    こうでした

    はい。今回の結果を見ると、Qwen3.8 27BはGPUを十分に活用し、安定した速度で動作しています。

    今回の測定結果

    項目
    結果
    生成速度
    21.05 tok/sec
    生成トークン数
    1,851 tokens
    表示時間
    1.54秒
    Draft tokens accepted
    62.4%
    終了理由
    EOS Token Found(正常終了)
    GPUのCompute 0グラフも高い使用率を維持しています。GPUでの推論処理が正常に行われていると判断できます。

    Gemmaとの比較

    生成速度の比較
    測定条件が異なるため参考値です。

    0 tok/sec7 tok/sec14 tok/sec21 tok/sec28 tok/sec
    Gemma 4 12B
    Qwen3.8 27B

    画像
    • Gemma 4 12B: 生成速度 25.4 tok/sec

    • Qwen3.8 27B: 生成速度 21.1 tok/sec

    QwenはGemmaよりパラメータ数が2倍以上ありますが、生成速度は約17%低い程度です。
    また、今回のQwenは前回の短い自己紹介(21.01 tok/sec)と、長い四季の説明(21.05 tok/sec)で、ほぼ同じ生成速度でした。
    これは良好な結果です。
    ただし、統計に表示される1.54秒は1,851トークン全体の生成時間ではありません。何の時間を示すかは追加確認が必要です。

    次は回答品質を確認しましょう

    速度については十分な結果が得られました。
    ここで一つ確認させてください。
    Qwen3.8 27Bの「日本の四季」の回答は、Gemmaと比較してどうでしたか?
    文章の自然さ、内容の詳しさ、指示した300文字程度という条件への対応など、実際に読んだ印象を教えてください。
    それによって、日常用途にはどちらが適しているか判断していきましょう。

    好みの問題でしょうか、私hqweenの方がよいと感じました。

    はい、好みの問題もありますが、Qwenの方がよいと感じられたことは、モデルを選ぶうえで重要な評価です。
    LLMは単に処理速度が速ければよいというものではありません。文章の自然さ、説明の分かりやすさ、情報の整理方法なども大切です。
    今回の結果を整理すると、次のようになります。
    比較項目
    Gemma 4 12B
    Qwen3.8 27B
    生成速度
    25.38 tok/sec
    21.05 tok/sec
    GPUメモリ使用量
    約10.7GB
    約20.9GB
    日本語応答
    良好
    良好
    文章の好み
    —
    Qwenが優勢
    32GB GPUメモリ
    余裕あり
    余裕あり
    Qwenは生成速度が約17%遅いものの、文章が好みに合っているのであれば、十分選ぶ価値があります。

    今後の使い分け

    現時点では、次のような使い分けが考えられます。

    • Qwen3.8 27B:普段の会話、文章作成、説明文の作成

    • Gemma 4 12B:比較的軽い処理、素早く回答が欲しいとき

    ただし、プログラミング能力や複雑な推論能力については、まだ比較していません。

    次に試したいこと

    せっかくVB.NETでいろいろなソフトを開発されているので、次は両モデルに同じVB.NETのプログラムを作らせて比較するのも面白いと思います。
    単純な文章生成とは違い、コードの正確さや指示への忠実さを比較できます。
    例えば、Windows Formsで動く小さな実用プログラムを作らせ、Visual Studioで実際にビルドしてみる方法です。
    これなら、ローカルLLMが今後の開発作業にどの程度役立つかも判断できます。
    次はプログラミング能力の比較に進みましょうか?

    次回は、GemmaとQwenに同じVB.NETのプログラムを作成させ、ローカルLLMが実際のソフトウェア開発にどの程度役立つのか試してみたいと思います。

    今回は、27Bモデルでも32GBのGPUメモリ設定で十分動作したことが大きな成果ですね。

    次回は予定どおり、VB.NETのプログラミング能力比較から再開しましょう。


     
     
    開発と医療のはざまで──半世紀を超えてコードを書き続けてきた医師より 現在70歳。最近、ChatGPTの登場によってAIの力を借りながら本格的なDICOMビューアの開発に挑んでいます。 興味のある方にとって、少しでも参考になれば幸いです。

    あなたへのおすすめ