メインコンテンツへスキップ
見出し画像

【準備編①】ローカルLLMを Windows で動かす方法|Ollama × Gemma で API 代0円

    コメントに AI が答えるライブ配信を、自宅の PC だけで動かしています。
    AI はクラウドではなく PC の中で動く「ローカルLLM」 なので、使っても利用料はかかりません。


    この記事では、その土台になるローカルLLMを、Windows で動かすところまでをまとめます。


    ローカルLLMの準備は3ステップ
    ローカルLLMの準備は3ステップ




    ローカルLLMとは?


    ChatGPT のような文章を作る AI を、自分の PC の中で動かすものです。


    • 利用料:クラウドの AI:使った分だけかかることが多い/ローカルLLM:0円(電気代だけ)

    • ネット:クラウドの AI:必要/ローカルLLM:不要(モデルを入れたあと)

    • 賢さ:クラウドの AI:とても高い/ローカルLLM:小さめのモデルなら、短い会話や判定は十分

    • 必要なもの:クラウドの AI:ブラウザ/ローカルLLM:GPU のある PC


    配信では「2〜3文の短い回答」と「荒らしかどうかの判定」に使っているので、小さめのモデルで十分でした。




    必要なもの


    • Windows PC(GPU 付きがおすすめ。私はノートPC の RTX 4060 で動かしています)

    • ストレージの空き:モデル1つで数GB

    • Ollama(無料)


    GPU がない PC でも動きますが、回答に時間がかかり、配信の「会話」にはなりにくいです。




    1. Ollama を入れる


    1. https://ollama.com を開き、Windows 版をダウンロード

    2. インストーラーを実行(基本はそのまま「次へ」)

    3. インストールが終わると、裏で Ollama が動き始めます


    ストレージの小ワザ:モデルは C ドライブに保存されます。C の空きが少ない場合は、環境変数 OLLAMA_MODELS に別のドライブのフォルダを指定すると、そこに保存されます。


    2. モデルを取ってきて話しかける


    ターミナル(PowerShell)で、次を実行します。私が使っているのは Google の Gemma 4 E4B です。


    ollama pull gemma4:e4b


    ollama run gemma4:e4b


    >>> と出たら、日本語で話しかけてみてください。返事が返ってくれば成功です。終わるときは /bye と入力します。


    3. プログラムから呼び出す


    Ollama は、PC の中に小さなサーバーを立てています(http://127.0.0.1:11434)。Python からはこう呼べます。


    import requests
    
    res = requests.post("http://127.0.0.1:11434/api/chat", json={
        "model": "gemma4:e4b",
        "messages": [
            {"role": "system", "content": "あなたは配信のアシスタント。2〜3文で短く答える。"},
            {"role": "user", "content": "今日の会議はどんな内容?"},
        ],
        "stream": False,
    })
    print(res.json()["message"]["content"])


    これで、配信のプログラムから AI に質問して、答えを受け取れるようになります。




    使ってみてわかったコツ


    • 答えは短く、と指示に書く:小さいモデルほど話が長くなりがち。「2〜3文」「100文字くらい」と数字で書くと守られやすいです

    • 「OK か NG の1語だけ」で判定させる:荒らしの判定のように、答えを1語に絞ると、1件 約0.15秒で返ってきました

    • 道具(ツール)を使わせるなら"考える"モードをオン:私の計測では、AI にツールを呼ばせる成功率が、考えるモードなしで58%、ありで94%まで上がりました

    • 配信の AI には、ツールを持たせない:視聴者のコメント経由で PC を操作されないようにするためです(有料記事で詳しく書いています)




    次のステップ


    ローカルLLMが動いたら、次は「声」です。


    • もう1つの準備:VOICEVOX で AI に声をつける

    • コメントに答える読み上げライブの作り方(有料)


    作ったアプリの一覧 → https://riku555.github.io/Iruk_Room/