
【準備編①】ローカルLLMを Windows で動かす方法|Ollama × Gemma で API 代0円
コメントに AI が答えるライブ配信を、自宅の PC だけで動かしています。
AI はクラウドではなく PC の中で動く「ローカルLLM」 なので、使っても利用料はかかりません。
この記事では、その土台になるローカルLLMを、Windows で動かすところまでをまとめます。

ローカルLLMとは?
ChatGPT のような文章を作る AI を、自分の PC の中で動かすものです。
利用料:クラウドの AI:使った分だけかかることが多い/ローカルLLM:0円(電気代だけ)
ネット:クラウドの AI:必要/ローカルLLM:不要(モデルを入れたあと)
賢さ:クラウドの AI:とても高い/ローカルLLM:小さめのモデルなら、短い会話や判定は十分
必要なもの:クラウドの AI:ブラウザ/ローカルLLM:GPU のある PC
配信では「2〜3文の短い回答」と「荒らしかどうかの判定」に使っているので、小さめのモデルで十分でした。
必要なもの
Windows PC(GPU 付きがおすすめ。私はノートPC の RTX 4060 で動かしています)
ストレージの空き:モデル1つで数GB
Ollama(無料)
GPU がない PC でも動きますが、回答に時間がかかり、配信の「会話」にはなりにくいです。
1. Ollama を入れる
https://ollama.com を開き、Windows 版をダウンロード
インストーラーを実行(基本はそのまま「次へ」)
インストールが終わると、裏で Ollama が動き始めます
ストレージの小ワザ:モデルは C ドライブに保存されます。C の空きが少ない場合は、環境変数 OLLAMA_MODELS に別のドライブのフォルダを指定すると、そこに保存されます。
2. モデルを取ってきて話しかける
ターミナル(PowerShell)で、次を実行します。私が使っているのは Google の Gemma 4 E4B です。
ollama pull gemma4:e4bollama run gemma4:e4b>>> と出たら、日本語で話しかけてみてください。返事が返ってくれば成功です。終わるときは /bye と入力します。
3. プログラムから呼び出す
Ollama は、PC の中に小さなサーバーを立てています(http://127.0.0.1:11434)。Python からはこう呼べます。
import requests
res = requests.post("http://127.0.0.1:11434/api/chat", json={
"model": "gemma4:e4b",
"messages": [
{"role": "system", "content": "あなたは配信のアシスタント。2〜3文で短く答える。"},
{"role": "user", "content": "今日の会議はどんな内容?"},
],
"stream": False,
})
print(res.json()["message"]["content"])これで、配信のプログラムから AI に質問して、答えを受け取れるようになります。
使ってみてわかったコツ
答えは短く、と指示に書く:小さいモデルほど話が長くなりがち。「2〜3文」「100文字くらい」と数字で書くと守られやすいです
「OK か NG の1語だけ」で判定させる:荒らしの判定のように、答えを1語に絞ると、1件 約0.15秒で返ってきました
道具(ツール)を使わせるなら"考える"モードをオン:私の計測では、AI にツールを呼ばせる成功率が、考えるモードなしで58%、ありで94%まで上がりました
配信の AI には、ツールを持たせない:視聴者のコメント経由で PC を操作されないようにするためです(有料記事で詳しく書いています)
次のステップ
ローカルLLMが動いたら、次は「声」です。
もう1つの準備:VOICEVOX で AI に声をつける
コメントに答える読み上げライブの作り方(有料)
作ったアプリの一覧 → https://riku555.github.io/Iruk_Room/