メインコンテンツへスキップ
見出し画像

最近よく聞くローカルLLMとは?

    AIとの会話に、毎回インターネットが必要とは限らない。モデルをパソコンに入れ、そのパソコンで回答を作る使い方がある。「ローカルLLM」と呼ばれるものだ。

    ネットにつながず文章を整理したい。手元の資料を外部のサービスに送らずに読みたい。そんな場面で選択肢になる。ただし「無料で何でもできるChatGPTが手に入る」という話とは少し違う。

    何が手元で動き、どこから外部に接続するのか。 ここを分けると、必要なソフトやパソコンの条件も見通しやすくなる。

    ローカルは「画面」ではなく「計算する場所」の話

    LLMは大規模言語モデルの略で、文章の理解や生成などを行うAIモデルを指す。ローカルLLMは特定の製品名ではない。モデルを自分のパソコンなどに置いて実行する使い方を表している。

    ChatGPTのようなクラウド型サービスでは、入力をサーバーに送り、そこで作った回答を受け取る。一方、ローカル実行では手元のCPUやGPUが計算する。画面に文字が返ってくる点は似ていても、処理している場所が違う。

    ブラウザーで開くか、デスクトップアプリを使うかは別の話だ。PCに入れたアプリからクラウドに接続することもある。逆にブラウザーの画面を使って、同じPCのモデルと会話する構成もある。

    「アプリをPCに入れた」と「AIの計算がPCの中で完結する」は同じではない。


    画像

    動かすソフトとAIモデルは別に選ぶ

    ここで名前が混ざりやすい。LM StudioやOllamaは、AIモデルを取得したり動かしたりするためのソフトだ。モデルそのものの名前ではない。

    LM Studioではモデルを探し、ダウンロードして会話する操作を画面から行える。取得済みモデルとの会話や文書の読み取りは、ローカルで処理する構成ならオフラインでも使える。

    Ollamaもモデルを手元で動かすためのソフトで、ほかのアプリやプログラムから呼び出す用途にも使われる。ただしクラウド上のモデルを利用する機能もある。同じOllamaを使っていても、選んだモデルの実行場所まで同じとは限らない。

    その上で選ぶのがQwenやGemmaなどのモデルだ。同じ系列にも大きさや用途が違うものがある。ChatGPTやClaudeで使われているモデルを、そのままダウンロードできるという意味ではない。


    画像

    何に使える?手元の文章を扱う作業から考える

    使い道として分かりやすいのは文章の要約や言い換え、翻訳などだ。アイデアの整理にも使える。たとえば長いメモを箇条書きにしたり、文章から日付や確認事項を拾ったりする。対応するモデルとソフトの組み合わせによっては、文書を渡して質問する使い方もできる。

    LM Studioの文書機能は、短い資料なら全文を会話に加える。長い資料では質問に関係する部分を探し、モデルが回答するときの参考に使う。資料を読み込ませたことと、その内容をモデルが永続的に学習したことは別になる。回答の根拠になった箇所を確かめる作業も残る。

    画像を読み取れるか、どの程度自然な日本語が出るかもモデルによって違う。「ローカルだからこの作業が得意」とは決まらない。まず扱いたい文章を一つ決め、その作業に必要な能力があるモデルを選ぶことになる。

    また、ネットを切っても使えることと、最新情報を知っていることは別だ。モデルに入っていない出来事を質問しても、自動で最新ニュースを取得してくれるわけではない。Web検索を追加すれば外部への通信が発生する。

    必要なPCはモデルと使い方で変わる

    モデルをダウンロードできても、快適に動くとは限らない。確認したいのは保存先の空き容量と、計算に使うメモリだ。専用GPUにあるVRAMも関わる。統合メモリを使うMacは、専用VRAMを持つWindows PCとはメモリの見方が異なる。

    LM StudioのWindows向け要件では、RAMは16GB以上、専用VRAMは4GB以上が推奨されている。ただしこれはすべてのモデルが快適に動く保証値ではない。 大きなモデルや長い文章を扱う場合は、さらに多くのメモリが必要になる。

    ダウンロード画面には「量子化」という言葉も出てくる。モデルの数値表現を小さくして、保存容量や必要メモリを抑える方法だ。軽くなる一方で出力への影響もあり、同じモデル名でも形式が違えば条件は変わる。

    CPUだけで動かす構成もあるため、専用GPUがないことだけで利用できないとは決まらない。ただし回答を待つ時間は機器やモデル次第で、起動できることと仕事で使いやすいことは分けて確かめたい。

    一度に読ませる文章の長さも無関係ではない。短い質問に答える場合と、大量の資料をまとめて扱う場合では必要なメモリが違う。「何GBのモデルか」だけでなく、どのくらいの文章を渡すかまで含めて考える。

    画像

    最近の動きは高速化とクラウドとの併用

    2026年9月18日にLM Studioが紹介したSplash Engineは、Qwen3.8-27BなどをApple Siliconで動かすための推論エンジンだ。特定のモデルと機器に合わせて、回答生成を速くする取り組みが進んでいる。

    ただし、この構成にはM3以降のMacと36GB以上の統合メモリなどの条件がある。ここで発表された速度を、一般的なWindowsノートでも出せるとは読めない。

    10月24日にはOllamaが音声合成への対応も発表した。最初の対応モデルはGradiumのPhononで、発表時点ではmacOS向け。WindowsとLinuxは今後の対応とされている。音声合成は文章を作るLLMとは別の種類のモデルだが、同じソフトで手元のAIを会話以外にも使える例になる。

    LM Studio Bionicはローカルモデルに加え、任意でクラウド推論を利用する構成になっている。同じソフトでも、選んだモデルや設定によって処理する場所が変わる。


    月額料金より先に、手元で処理したい理由を決める

    ローカルモデルを使えば、回答の生成ごとにクラウドのAPI料金を払わずに済む構成を作れる。ただし電気代や機材、設定の手間までなくなるわけではない。モデルの利用条件も個別に確認する必要がある。

    情報の扱いも同じだ。ローカル実行は外部に送らず処理する手段になるが、接続した検索サービスや外部ツールまで自動的にローカルにはならない。会社の資料を使えるかどうかは、社内ルールの確認も必要だ。

    ネットが使えない場所で文章を扱うのか。資料を外部サービスへ送らずに整理したいのか。目的が決まれば、必要なモデルの能力とPCの条件を絞り込める。

    AIに仕事を頼むと何が返ってくるかは、Notion AIでタスク一覧から週報を作った記事でも紹介している。


     
     
    AIに関わる仕事をしてます、めぐみです。 AIを使い始めてから、仕事もガラッと変わりました。 同じように変わりたい人に向けて、リアルな体験と使えるノウハウを書いてます。 「AIって難しそう」を「使えそう!」に変える。 仕事・転職・日常にAIを取り入れるヒントを発信中📱

    あなたへのおすすめ