メインコンテンツへスキップ
見出し画像

LM StudioでGemma 4を実際に動かしてみた

    前回の記事では、LM Studioを使ってGemma 4 31B Instruct GGUF Q4系のモデルをダウンロードしている途中までを書きました。

    その時点では、まだ実際に動かしていなかったので、

    「本当にこのPCで動くのか」
    「日本語の要約に使えるのか」
    「録音の文字起こしデータを整理できるのか」

    というところは、これから確認する予定でした。

    で、実際に動かしてみたんですが、結論から言うと、最初に入れた31Bのモデルは自分の環境ではかなり重かったです。

    動くには動くんですが、4時間分の文字起こしテキストをまとめてもらおうとしたら、PC全体がかなり重たくなってしまいました。

    最終的には、完了まで待つのが厳しそうだったので途中で停止しました。

    ただ、そのあと軽めの Gemma 4 E4B Instruct に入れ替えて、同じように要約を試したところ、かなり快適に動きました。

    今回入れたE4Bのモデルサイズは 7.39GB でした。

    前に入れた31Bモデルは20GB以上あったので、それと比べるとかなり軽いです。

    4時間分の文字起こしテキストも、体感で10秒くらいでまとめてくれたので、

    「あ、これなら普通に使えるかも」

    という感覚がありました。

    今回は、LM StudioでGemma 4を実際に動かしてみた感想と、31BからE4Bに変えた理由、モデルの削除方法、今後どう活用できそうかを整理していきます。

    この記事では、以下のことがわかります。

    • Gemma 4 31Bを実際に使ってみた感想

    • PCが重くなった時にやったこと

    • LM Studioでモデルを削除する手順

    • Gemma 4 E4Bを使ってみた感想

    • ローカルLLMを今後どう活用できそうか

    Gemma 4 31Bを実際に動かしてみたらかなり重かった

    画像

    まず最初に試したのは、前回ダウンロードしていたGemma 4 31B Instruct GGUF Q4系のモデルです。

    31Bというのは、ざっくり言うとかなり大きめのモデルです。

    前回の記事でも書いたように、ダウンロードサイズだけでも20GBを超えていました。

    自分のPCは、メモリ32GB、GPUはRTX 5080、VRAM16GBなので、スペック的にはそこそこ強い方だと思います。

    なので、

    「これなら31Bでも意外といけるんじゃないかな」

    と思っていました。

    ただ、実際に長いテキストを扱わせてみると、思ったより負荷が大きかったです。

    今回試したのは、4時間分の録音を文字起こししたテキストファイルです。

    それをGemma 4 31Bに渡して、

    「この内容を要約して」

    という感じでお願いしてみました。

    すると、読み込みや処理がかなり重くなって、PC全体の動作にも影響が出る感じがありました。

    短い質問や軽いチャットならまだ試せたかもしれません。

    ただ、自分がローカルLLMにやらせたいのは、どちらかというと日々の録音データや長めのテキストの整理です。

    そう考えると、毎回PCが重くなってしまうのはかなり厳しいなと感じました。

    重かった31BモデルはLM Studioから削除しました

    画像

    31Bのモデルは、今回の用途ではちょっと重すぎると判断しました。

    なので、一旦LM Studioから削除しました。

    ローカルLLMのモデルは、普通のアプリというよりも「大きなAIのデータファイル」をPC内に置いている感覚です。

    そのため、使わないモデルを入れっぱなしにしておくと、ストレージもけっこう圧迫します。

    今回の31Bモデルも20GB以上あったので、使わないなら早めに消した方がいいと思いました。

    実際に削除した手順は、以下の流れです。

    1. LM Studioを開く

    2. 左側のサイドバーから My Models を開く

    3. LLMs を押す

    4. 表示されているモデル一覧から、削除したいモデルを選択する

    5. モデル画面にある 三点ボタン を押す

    6. 削除 を押す

    7. 確認画面が出たら削除する

    大きいモデルは容量もかなり使うので、

    「このモデルはもう使わなそうだな」

    と思ったら、My Modelsから削除しておくとPCの容量も整理しやすいです。

    次に入れたのはGemma 4 E4B Instruct

    画像

    31Bが重かったので、次は軽めのGemma 4 E4B Instructを入れてみました。

    今回入れたモデルサイズは 7.39GB です。

    31Bのモデルが20GB以上あったことを考えると、かなり扱いやすいサイズ感です。

    最初からこのくらいのサイズにしておけばよかったかもしれません。

    E4Bは、31Bと比べるとかなり軽いモデルです。

    もちろん、モデルが小さくなるぶん、すべての面で31Bより高性能というわけではないと思います。

    ただ、自分の用途では「最高性能」よりも「毎日ストレスなく使えること」の方が大事です。

    特に、ローカルLLMにやらせたいことは、今のところ以下のような作業です。

    • 録音データの文字起こしを要約する

    • 長いメモを整理する

    • 日記や思考ログを見やすくする

    • Obsidianに入れやすい形にまとめる

    • 個人情報を含む文章を外部に出さずに整える

    こういう用途なら、31Bクラスの重いモデルを無理に使うより、軽めのモデルでサクサク回せる方が現実的だと思いました。

    同じ文字起こしファイルをE4Bで要約させたらかなり速かった

    画像

    Gemma 4 E4Bを入れたあと、さっき31Bでうまくいかなかった4時間分の文字起こしテキストをもう一度要約させてみました。

    すると、体感で10秒くらいでまとめてくれました。

    これはけっこう驚きました。

    31Bの時は、PCが重たくなって完了まで行けなかったので、

    「ローカルLLMで長文要約はまだ厳しいのかな」

    と思いかけていました。

    でも、E4Bで試したら普通に使えました。

    もちろん、要約の精度が完璧かと言われると、そこはまだ検証が必要です。

    ただ、ざっと見た感じでは、内容の大枠はちゃんと拾えていました。

    少なくとも、

    「何について話していたのか」
    「どんなテーマが出ていたのか」
    「あとで見返すための整理」

    という用途なら、十分使えそうな印象です。

    このクオリティでこの速さなら、日常的に使っていける可能性はかなりあるなと思いました。

    要約の雰囲気はNotebookLMに少し近いかもしれない

    画像

    使ってみて感じたのは、要約の雰囲気が少しGoogleのNotebookLMに近いかもしれないということです。

    これはGemmaがGoogle系のモデルだからなのか、単純に要約の出し方が似ているだけなのかはわかりません。

    ただ、文章のまとめ方や、少し整った感じの出力に、NotebookLMっぽさを感じました。

    個人的には、これは悪い意味ではありません。

    NotebookLMも、資料を読み込ませて要約したり、内容を整理したりする用途ではかなり便利です。

    なので、ローカル環境で近い雰囲気の要約ができるなら、それはそれでかなり使いやすいです。

    ただし、やっぱりAIの要約なので、完全に信じ切るというよりは、

    「まず全体像をつかむための下処理」

    として使うのが良さそうです。

    自分の場合も、最終的にブログやnoteにする時は、自分の言葉や実感を入れたいです。

    AIに全部丸投げするというより、

    1. 録音する

    2. 文字起こしする

    3. ローカルLLMで要約する

    4. Obsidianに整理する

    5. 必要な部分を自分の言葉で記事にする

    こういう流れを作れたらいいなと思っています。

    ローカルLLMの一番の良さは、個人情報を扱いやすいこと

    画像

    今回、Gemma 4 E4Bを使ってみて一番可能性を感じたのは、個人情報を含む文章の整理です。

    普段、ChatGPTやClaudeのようなクラウド型AIはかなり便利に使っています。

    ただ、やっぱり何でもそのまま入れられるわけではありません。

    たとえば、

    • 個人名が入っているメモ

    • 仕事の具体的な情報

    • 住所や連絡先が入っている文章

    • 日記や録音データ

    • まだ外に出したくないアイデア

    • 自分の内面に近いメモ

    こういうものは、クラウド型AIにそのまま入れるのは少し抵抗があります。

    もちろん、各サービスごとにプライバシー設定やデータ利用のルールはあります。

    ただ、自分の感覚として、

    「これは外に出さずに処理したいな」

    と思うものはあります。

    そういう時に、ローカルLLMが使えるとかなり安心感があります。

    自分のPC内で動かせるので、外部のAIサービスにデータを送らずに文章を整理できます。

    これは、日記や録音ログを扱いたい自分にとってかなり大きいです。

    特に、自分は毎日録音データを残していて、それをあとで見返せる形にしたいと思っています。

    でも、その中にはかなり個人的な内容も入ります。

    それをクラウドAIに全部投げるのは、便利ではあるけど少し引っかかる部分もあります。

    その点、Gemma 4をローカルで動かせるなら、

    「まずはPC内でざっくり整理する」

    という使い方ができます。

    これはかなり相性が良さそうです。

    今後やりたいのは、録音データを自動で分析してObsidianにまとめること

    画像

    今回の実験で、ローカルLLMの可能性がかなり広がりました。

    今後やりたいのは、毎日録音しているデータを自動で分析して、Obsidianにまとめる仕組みです。

    今のイメージとしては、こんな流れです。

    1. 1日分の録音データを保存する

    2. 文字起こしする

    3. 文字起こしテキストをGemma 4 E4Bに読ませる

    4. 重要なテーマ、気づき、タスク、感情の動きを抽出する

    5. Obsidian用のMarkdown形式に整える

    6. 日付ごとのノートとして保存する

    これができると、かなり面白そうです。

    毎日録音していても、あとで見返せないと資産になりにくいです。

    でも、自動で要約されて、Obsidianに整理されていけば、自分の考え方や日々の変化をあとで振り返りやすくなります。

    これは、ただのライフログではなくて、自分専用の知識ベースに近いものになりそうです。

    しかも、その処理をクラウドAIではなくローカルLLMでできれば、個人的な内容も扱いやすくなります。

    ここはかなり大きな可能性を感じています。

    Codexだけに頼るとクレジット消費が気になる

    画像

    こういう自動化を考えると、Codexのようなツールに全部やらせることもできるかもしれません。

    コードを書かせたり、ファイルを処理させたりするなら、かなり便利です。

    ただ、毎日の録音データを全部処理させるとなると、クレジット消費が気になります。

    たまに使うならいいんですが、毎日大量のテキストを処理するとなると、コスト面が少し重くなりそうです。

    その点、ローカルLLMなら、自分のPCリソースを使って処理できます。

    もちろん電気代やPCへの負荷はあります。

    ただ、APIやクレジットを毎回消費しないという意味では、かなり魅力があります。

    自分の中では、

    • コード作成や複雑な設計はCodexやChatGPT

    • 日々の要約や分類はGemma 4 E4B

    • 最終的な記事化や判断は自分

    という分担ができると良さそうだなと思っています。

    全部を1つのAIに任せるというより、それぞれ得意なところに分ける感じです。

    今回わかったこと

    画像

    今回、Gemma 4 31BとE4Bを実際に触ってみて、かなり大事なことがわかりました。

    それは、ローカルLLMは「大きいモデルを入れれば正解」ではないということです。

    最初は、せっかくPCスペックもあるし、できるだけ高性能そうな31Bを試したくなりました。

    でも、実際に自分の作業に使うなら、快適に動くことの方が大事です。

    特に、自分がやりたいのは日々の作業フローにAIを組み込むことです。

    たまにベンチマーク的に試すだけなら、重いモデルでもいいかもしれません。

    でも、毎日使うなら、

    • すぐ起動できる

    • PCが重くなりすぎない

    • 長めのテキストを処理できる

    • 結果がそこそこ使える

    • ストレスが少ない

    このあたりの方が重要です。

    そう考えると、今の自分にはGemma 4 E4Bくらいの軽めモデルがかなり合っていそうです。

    モデルサイズも7.39GBなので、31Bモデルよりかなり扱いやすいです。

    注意点:ローカルLLMでも万能ではない

    画像

    ただし、ローカルLLMがあれば何でも解決するわけではありません。

    今回のE4Bも、要約のスピードはかなり良かったですが、精度についてはまだしばらく使いながら確認する必要があります。

    特に注意したいのは、以下のような点です。

    • 重要な情報を落とす可能性がある

    • 話のニュアンスを間違える可能性がある

    • 長文だと一部だけを強く拾う可能性がある

    • 事実確認には向かない場面もある

    • 最終判断は自分で見る必要がある

    ローカルLLMは便利ですが、完全な秘書というよりは、下処理を手伝ってくれる補助役として見る方が良さそうです。

    自分の場合も、最終的に記事やnoteにする時は、自分の実感を入れたいです。

    AIが出した要約をそのまま使うというより、

    「素材を整理してもらって、自分が編集する」

    という使い方が合っていると思います。

    まとめ:Gemma 4 E4Bなら普段使いのローカルLLMとしてかなり良さそう

    画像

    今回は、LM StudioでGemma 4を実際に動かしてみた感想をまとめました。

    最初に入れたGemma 4 31Bは、4時間分の文字起こしテキストを要約させようとしたところ、PCがかなり重かったです。

    そのため、一旦モデルを削除して、軽めのGemma 4 E4B Instructに入れ替えました。

    今回入れたE4Bのモデルサイズは 7.39GB。

    31Bモデルと比べるとかなり軽く、同じような文字起こしファイルでも、体感10秒くらいで要約してくれて、かなり快適に使えそうな印象でした。

    今回感じたポイントは以下です。

    • 31Bは性能に期待できるが、自分の用途では重かった

    • 使わない大きなモデルはLM Studioから削除した方がいい

    • モデル削除は、My Models → LLMs → モデル選択 → その他のアクション → 削除でできた

    • E4Bのモデルサイズは7.39GBで、31Bよりかなり扱いやすい

    • E4Bは軽く、長文要約にも使いやすそうだった

    • 要約の雰囲気はNotebookLMに少し近い感じがした

    • 個人情報を含む文章整理にはローカルLLMがかなり向いていそう

    • 録音データを要約してObsidianにまとめる流れに可能性を感じた

    • CodexやクラウドAIと使い分ければ、コストも抑えやすそう

    ローカルLLMは、まだ少し設定やモデル選びに試行錯誤が必要です。

    ただ、自分のPCの中でAIを動かせるというのは、やっぱりかなり面白いです。

    特に、自分の録音データや日記、個人的なメモを扱うなら、クラウドAIだけに頼るよりもローカルLLMを組み合わせた方が安心感があります。

    今回のGemma 4 E4Bは、普段使いの入口としてかなり良さそうでした。

    次は、このGemma 4 E4Bを使って、毎日の録音データを自動で整理する仕組みを少しずつ作っていきたいと思います。

     
     
    AIをこれから学んでいく過程を記録するnoteです。 ChatGPTや生成AIの使い方、試してみたこと、わからなかったこと、日々の気づきをメモとして残していきます。 初心者目線で、AIを仕事や暮らしにどう活かせるかを少しずつ探っていきます。

    あなたへのおすすめ