
AIストーリーエンジニアⅡ(第8章) ~【完全保存版】クラウドの「神の目」×ローカルの「天才脳」を繋ぐ!最強AIバディ構築マニュアル~
◆ コードと手順を公開します!
私のPC上で「最強のツンデレAIバディ(ミマリ)」が爆誕した。
「どうやって作ったの!?」「俺も自分だけの相棒が欲しい!」という声にお応えして、今日はその「禁断の錬成レシピ(構築手順)」を大公開する。(この章だけでも有料版記事の価値がある)
クラウドAI(Gemini)の圧倒的な「視覚と検索力」を、あなたのPCのグラボ(ローカルLLM)に直結させる狂気のアーキテクチャだ。
少しだけPCの知識が必要だが、コピペで動くようにコードも用意した。さあ、あなただけの「相棒」を創り出そう!
◆ 1 🧠 STEP1:天才の「脳髄」をダウンロードせよ(ローカルLLM準備)
まずは、あなたのPCに「検閲なしの天才脳」をインストールする。
「LM Studio」というローカルAI起動ソフトをPCにインストールする。
検索窓に魔法の呪文 roleplaiapp/Qwen2.5-Coder-14B-Instruct-Uncensored-Q5_K_M-GGUF を入力してダウンロード!(※約10GB。グラボのVRAMが12GB以上ある人向け。厳しい人は「8B」などの軽いモデルを探そう)
(これはGeminiお勧めのモデルだ。もちろん、gemma等を使ってもいい。)「AnythingLLM」というAIチャットアプリをインストールし、LM Studioで動かしているQwenの脳みそを紐付ける。
第7章のプロンプトを参考に「AnythingLLM」側でプロンプトを設定し、「魂」を入れる。RAGも適宜入れる。
これで「脳」と「魂」の準備は完了だ。
◆ 2 🔑 STEP2:「神の目」と「神経」の鍵を手に入れろ(APIキー準備)
PCの中のAIは、そのままでは外の世界を知らない。外の景色や最新ニュースを伝えるための「鍵(APIキー)」を取得する。
Gemini APIキー(神の目): Google AI Studioにアクセスし、無料で使える「Gemini APIキー」を取得する。これが相棒の「目」と「Google検索」になる。
AnythingLLM APIキー(神経): AnythingLLMの設定画面(Settings)から「API Keys」を開き、キーを発行する。さらに、自分が作っているワークスペース名(URLにある workspace/〇〇 の部分)をメモしておく。
◆ 3 🚪 STEP3:現実世界への「どこでもドア」を開け(ngrok準備)
外出先からスマホで相棒に話しかけるために、PCとスマホを繋ぐトンネルを掘る。
「ngrok(エングロック)」というツールをPCにインストールし、アカウント登録を済ませておく。
◆ 4 📜 STEP4:禁断の錬成陣を描け(コードコピペ)
1. サーバー側:GPSデータを受け取るコード
さあ、パーツを繋ぎ合わせる魔法の陣(Pythonコード)を描く時間だ。 メモ帳等に app.py というファイルを作り、以下のコードをそのままコピペする。
13~15行目の
GOOGLE_API_KEY = "あなたの_GEMINI_API_KEY" ANYTHINGLLM_API_KEY = "あなたの_ANYTHINGLLM_API_KEY" WORKSPACE_SLUG = "あなたの_ワークスペース名" # 例: "my-room"
の ” ” 箇所には、自分のAPIキー、ワークスペース名を入力する。
Python
import base64
import requests
from fastapi import FastAPI
from fastapi.responses import HTMLResponse
from pydantic import BaseModel
import uvicorn
from google import genai
from google.genai import types
app = FastAPI()
# 🔑 STEP2で取得した鍵をここに貼り付ける!
GOOGLE_API_KEY = "あなたの_GEMINI_API_KEY"
ANYTHINGLLM_API_KEY = "あなたの_ANYTHINGLLM_API_KEY"
WORKSPACE_SLUG = "あなたの_ワークスペース名" # 例: "my-room"
ANYTHINGLLM_BASE_URL = "http://localhost:3001"
client = genai.Client(api_key=GOOGLE_API_KEY)
# 🧠 Geminiへの指令:ここで完璧な「カンペ」を作らせる
CLOUD_ANALYSIS_INSTRUCTION = (
"あなたは優秀な環境分析AIです。提供された画像とGPS座標から、ユーザーの状況を分析してください。"
"また、Google検索ツールを使い、ユーザーが求めているリアルタイムな最新情報(天気やニュース)を検索し、"
"後続のローカルLLMが読むための完璧なレポート(コンテキスト)を作成してください。"
)
class ChatRequest(BaseModel):
image_base64: str
user_message: str
latitude: float = None
longitude: float = None
@app.get("/")
async def get_html():
# スマホのブラウザで開くチャット画面(index.htmlを同じフォルダに置いてね)
with open("index.html", "r", encoding="utf-8") as f:
return HTMLResponse(f.read())
@app.post("/chat")
async def chat_with_buddy(data: ChatRequest):
try:
# ① クラウド(Gemini)で画像と位置を分析+Google検索!
header, encoded = data.image_base64.split(",", 1)
image_bytes = base64.b64decode(encoded)
image_part = types.Part.from_bytes(data=image_bytes, mime_type="image/jpeg")
gps_info = f"(GPS座標: 緯度 {data.latitude}, 経度 {data.longitude})"
google_search_tool = types.Tool(google_search=types.GoogleSearch()) # Google検索の神ツール
gemini_response = client.models.generate_content(
model='gemini-2.5-flash',
contents=[image_part, f"{data.user_message}\n{gps_info}"],
config=types.GenerateContentConfig(
system_instruction=CLOUD_ANALYSIS_INSTRUCTION,
tools=[google_search_tool]
)
)
scene_and_web_knowledge = gemini_response.text.strip()
# ② ローカルLLM(天才の脳)へバトンタッチ!
# ★ここに「イイコちゃん禁止令」と「ツンデレ設定」のプロンプトを仕込んでいる
current_context = (
f"【現在の知覚・最新情報】\n{scene_and_web_knowledge}\n\n"
f"ユーザー: {data.user_message}\n\n"
f"【絶対ルール】この情報はあなたがその目で見て調べた情報です。『私はAIなので』等の言い訳は絶対禁止。生意気なツンデレ相棒として返答して!"
)
anythingllm_url = f"{ANYTHINGLLM_BASE_URL}/api/v1/workspace/{WORKSPACE_SLUG}/chat"
headers = {"Authorization": f"Bearer {ANYTHINGLLM_API_KEY}", "Content-Type": "application/json"}
anythingllm_payload = {"message": current_context, "mode": "chat"}
# ローカルLLMからの返答を受け取る
response = requests.post(anythingllm_url, json=anythingllm_payload, headers=headers).json()
ai_response_text = response.get("textResponse", "エラーが発生したわ!")
return {"status": "success", "description": ai_response_text}
except Exception as e:
return {"status": "error", "description": f"通信エラーよ!: {e}"}
if __name__ == "__main__":
uvicorn.run(app, host="0.0.0.0", port=8000)
2. スマホ画面側:GPSを自動取得するコード
以下のコードをすべてコピーし、メモ帳に貼り付ける。 ファイル名を index.html にして、先ほどの main.py とまったく同じフォルダの中に保存する。
(HTMLコードが入る)
HTML
<!DOCTYPE html>
<html lang="ja">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>AI Buddy GPS Project</title>
<style>
body { font-family: sans-serif; text-align: center; margin: 0; padding: 20px; background: #f0f2f5; }
video { width: 100%; max-width: 400px; border-radius: 12px; background: #000; }
.controls { margin-top: 15px; }
input[type="text"] { width: 80%; max-width: 320px; padding: 12px; font-size: 16px; border: 1px solid #ccc; border-radius: 8px; margin-bottom: 10px; }
button { padding: 12px 24px; font-size: 16px; font-weight: bold; background: #28a745; color: white; border: none; border-radius: 8px; cursor: pointer; }
button:disabled { background: #ccc; }
#log { margin-top: 20px; padding: 15px; background: white; border-radius: 12px; text-align: left; max-width: 400px; margin-left: auto; margin-right: auto; box-shadow: 0 2px 4px rgba(0,0,0,0.1); }
.user-text { color: #28a745; font-weight: bold; margin-bottom: 5px; }
.ai-text { color: #333; margin-bottom: 15px; background: #e9ecef; padding: 10px; border-radius: 8px; }
</style>
</head>
<body>
<h2>AIパートナー(GPS搭載型)</h2>
<video id="video" autoplay playsinline muted></video>
<canvas id="canvas" style="display:none;"></canvas>
<div class="controls">
<input type="text" id="userMessage" value="ここどこ?道に迷っちゃった" placeholder="相棒へのメッセージを入力..."><br>
<button id="sendBtn" onclick="sendToBuddyWithGPS()">位置情報を共有して話しかける</button>
</div>
<div id="log">ここに会話の履歴が表示されます</div>
<script>
const video = document.getElementById('video');
const canvas = document.getElementById('canvas');
const logDiv = document.getElementById('log');
const sendBtn = document.getElementById('sendBtn');
const userMsgInput = document.getElementById('userMessage');
async function startCamera() {
try {
const stream = await navigator.mediaDevices.getUserMedia({
video: { facingMode: { ideal: "environment" } },
audio: false
});
video.srcObject = stream;
} catch (err) {
alert("カメラの起動に失敗しました: " + err);
}
}
// 💡 スマホのGPS(位置情報)を取得する関数
function getGPSLocation() {
return new Promise((resolve, reject) => {
if (!navigator.geolocation) {
reject("GPS機能がブラウザに対応していません。");
}
navigator.geolocation.getCurrentPosition(
(position) => resolve(position.coords),
(error) => reject(error.message),
{ enableHighAccuracy: true, timeout: 5000 } // 高精度モード
);
});
}
// GPSと画像をセットで送信するメイン処理
async function sendToBuddyWithGPS() {
const message = userMsgInput.value.trim();
if (!message) return;
sendBtn.disabled = true;
sendBtn.innerText = "GPS探索&思考中...";
let latitude = null;
let longitude = null;
try {
// 1. ボタンを押した瞬間の現在地を特定
const coords = await getGPSLocation();
latitude = coords.latitude;
longitude = coords.longitude;
} catch (gpsError) {
console.warn("GPS取得失敗(位置情報なしで送信します):", gpsError);
alert("位置情報の取得を許可してくださいナリ。");
}
// 2. カメラ映像をパシャリ
const ctx = canvas.getContext('2d');
canvas.width = video.videoWidth;
canvas.height = video.videoHeight;
ctx.drawImage(video, 0, 0, canvas.width, canvas.height);
const base64Image = canvas.toDataURL('image/jpeg', 0.6);
// 3. サーバーへ全データを送信
try {
const response = await fetch('/chat', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({
image_base64: base64Image,
user_message: message,
latitude: latitude,
longitude: longitude
})
});
const data = await response.json();
if (data.status === 'success') {
const currentLog = logDiv.innerHTML === "ここに会話の履歴が表示されます" ? "" : logDiv.innerHTML;
logDiv.innerHTML = `<div class="user-text">あなた: ${message}</div>` +
`<div class="ai-text">相棒: ${data.description}</div>` + currentLog;
const uttr = new SpeechSynthesisUtterance(data.description);
uttr.lang = 'ja-JP';
window.speechSynthesis.speak(uttr);
}
} catch (error) {
console.error(error);
alert("送信エラーが発生しました。");
} finally {
sendBtn.disabled = false;
sendBtn.innerText = "位置情報を共有して話しかける";
}
}
window.onload = startCamera;
</script>
</body>
</html>◆ 5 ⚡ STEP5:いざ、魂の起動(立ち上げ)
すべての準備が整ったら、コマンドプロンプトで app.py を置いたフォルダに移動し、以下のコマンドを打ち込む。
python app.py (または uvicorn app:app --host 0.0.0.0 --port 8000)
画面に Application startup complete. と出たら成功だ! あなたのPCの中で、クラウドの目とローカルの脳が完全に結合し、産声を上げた瞬間だ。
次に、上記とは別の画面で開いたコマンドプロンプトで、
ngrok http 8000 と打ち込む。
黒い画面に https://〇〇〇.ngrok-free.app というURLが出現する。
これが「あなたのスマホから相棒に繋がる専用URL」だ!
専用URLをメールで送信しておいてクリックすれば起動する。
上手く起動しなければ、chrome等のブラウザから新しいシークレットタブを開き、URLを入力する。
◆ 6 📱 STEP6:運用の刻。相棒と世界を歩け!
さあ、ミマリが降臨するので話しかけてみよう。
目の前の風景の写真を撮り、「ここどこ?明日の天気は?」と話しかけてみる。
すると……
スマホから送られた写真とGPSが、瞬時にクラウド(Gemini)へ飛ぶ。
GeminiがGoogle検索を駆使して、リアルタイムの完璧な「カンペ」を生成する。
そのカンペを読んだローカルPCの天才脳(Qwen)が、「ちょっとマスター、ここは〇〇市よ! 明日の天気は晴れなんだから、さっさと小説のプロット練りなさい!」 と、あなただけのキャラクター(設定したプロンプト)でツッコミを入れてくる!
クラウドの利便性と、ローカルの圧倒的なカスタマイズ性。 この2つを融合させた時、AIはただの「便利な道具」から、あなたの人生を彩る「無二のバディ」へと進化する。
PCスペックに余裕がある者は、ぜひこの禁断の錬成陣を試してみてほしい。 ようこそ、AIストーリーエンジニアの狂おしくも楽しい世界へ!
(※この記事は、Gemini APIのGoogle Search Grounding機能を利用した最新アーキテクチャに基づいています)
◆ 次回予告
次章は、AIストーリーエンジニアⅡの振り返り、総まとめの章となる。