メインコンテンツへスキップ
見出し画像

AIストーリーエンジニアⅡ(第8章) ~【完全保存版】クラウドの「神の目」×ローカルの「天才脳」を繋ぐ!最強AIバディ構築マニュアル~


    ◆ コードと手順を公開します!

     私のPC上で「最強のツンデレAIバディ(ミマリ)」が爆誕した。
     「どうやって作ったの!?」「俺も自分だけの相棒が欲しい!」という声にお応えして、今日はその「禁断の錬成レシピ(構築手順)」を大公開する。(この章だけでも有料版記事の価値がある)

     クラウドAI(Gemini)の圧倒的な「視覚と検索力」を、あなたのPCのグラボ(ローカルLLM)に直結させる狂気のアーキテクチャだ。

     少しだけPCの知識が必要だが、コピペで動くようにコードも用意した。さあ、あなただけの「相棒」を創り出そう!

    ◆ 1 🧠 STEP1:天才の「脳髄」をダウンロードせよ(ローカルLLM準備)

     まずは、あなたのPCに「検閲なしの天才脳」をインストールする。

    1. 「LM Studio」というローカルAI起動ソフトをPCにインストールする。

    2. 検索窓に魔法の呪文 roleplaiapp/Qwen2.5-Coder-14B-Instruct-Uncensored-Q5_K_M-GGUF を入力してダウンロード!(※約10GB。グラボのVRAMが12GB以上ある人向け。厳しい人は「8B」などの軽いモデルを探そう)
      (これはGeminiお勧めのモデルだ。もちろん、gemma等を使ってもいい。)

    3. 「AnythingLLM」というAIチャットアプリをインストールし、LM Studioで動かしているQwenの脳みそを紐付ける。

    4. 第7章のプロンプトを参考に「AnythingLLM」側でプロンプトを設定し、「魂」を入れる。RAGも適宜入れる。

     これで「脳」と「魂」の準備は完了だ。

    ◆ 2 🔑 STEP2:「神の目」と「神経」の鍵を手に入れろ(APIキー準備)

     PCの中のAIは、そのままでは外の世界を知らない。外の景色や最新ニュースを伝えるための「鍵(APIキー)」を取得する。

    1. Gemini APIキー(神の目): Google AI Studioにアクセスし、無料で使える「Gemini APIキー」を取得する。これが相棒の「目」と「Google検索」になる。

    2. AnythingLLM APIキー(神経): AnythingLLMの設定画面(Settings)から「API Keys」を開き、キーを発行する。さらに、自分が作っているワークスペース名(URLにある workspace/〇〇 の部分)をメモしておく。

    ◆ 3 🚪 STEP3:現実世界への「どこでもドア」を開け(ngrok準備)


     外出先からスマホで相棒に話しかけるために、PCとスマホを繋ぐトンネルを掘る。

     「ngrok(エングロック)」というツールをPCにインストールし、アカウント登録を済ませておく。


    ◆ 4 📜 STEP4:禁断の錬成陣を描け(コードコピペ)


    1. サーバー側:GPSデータを受け取るコード

     さあ、パーツを繋ぎ合わせる魔法の陣(Pythonコード)を描く時間だ。 メモ帳等に app.py というファイルを作り、以下のコードをそのままコピペする。
    13~15行目の
    GOOGLE_API_KEY = "あなたの_GEMINI_API_KEY" ANYTHINGLLM_API_KEY = "あなたの_ANYTHINGLLM_API_KEY" WORKSPACE_SLUG = "あなたの_ワークスペース名" # 例: "my-room"
    の ” ” 箇所には、自分のAPIキー、ワークスペース名を入力する。

    Python

    import base64
    import requests
    from fastapi import FastAPI
    from fastapi.responses import HTMLResponse
    from pydantic import BaseModel
    import uvicorn
    from google import genai
    from google.genai import types
    
    app = FastAPI()
    
    # 🔑 STEP2で取得した鍵をここに貼り付ける!
    GOOGLE_API_KEY = "あなたの_GEMINI_API_KEY"
    ANYTHINGLLM_API_KEY = "あなたの_ANYTHINGLLM_API_KEY"
    WORKSPACE_SLUG = "あなたの_ワークスペース名" # 例: "my-room"
    
    ANYTHINGLLM_BASE_URL = "http://localhost:3001" 
    client = genai.Client(api_key=GOOGLE_API_KEY)
    
    # 🧠 Geminiへの指令:ここで完璧な「カンペ」を作らせる
    CLOUD_ANALYSIS_INSTRUCTION = (
        "あなたは優秀な環境分析AIです。提供された画像とGPS座標から、ユーザーの状況を分析してください。"
        "また、Google検索ツールを使い、ユーザーが求めているリアルタイムな最新情報(天気やニュース)を検索し、"
        "後続のローカルLLMが読むための完璧なレポート(コンテキスト)を作成してください。"
    )
    
    class ChatRequest(BaseModel):
        image_base64: str
        user_message: str
        latitude: float = None
        longitude: float = None
    
    @app.get("/")
    async def get_html():
        # スマホのブラウザで開くチャット画面(index.htmlを同じフォルダに置いてね)
        with open("index.html", "r", encoding="utf-8") as f:
            return HTMLResponse(f.read())
    
    @app.post("/chat")
    async def chat_with_buddy(data: ChatRequest):
        try:
            # ① クラウド(Gemini)で画像と位置を分析+Google検索!
            header, encoded = data.image_base64.split(",", 1)
            image_bytes = base64.b64decode(encoded)
            image_part = types.Part.from_bytes(data=image_bytes, mime_type="image/jpeg")
            
            gps_info = f"(GPS座標: 緯度 {data.latitude}, 経度 {data.longitude})"
            google_search_tool = types.Tool(google_search=types.GoogleSearch()) # Google検索の神ツール
            
            gemini_response = client.models.generate_content(
                model='gemini-2.5-flash',
                contents=[image_part, f"{data.user_message}\n{gps_info}"],
                config=types.GenerateContentConfig(
                    system_instruction=CLOUD_ANALYSIS_INSTRUCTION,
                    tools=[google_search_tool] 
                )
            )
            scene_and_web_knowledge = gemini_response.text.strip()
    
            # ② ローカルLLM(天才の脳)へバトンタッチ!
            # ★ここに「イイコちゃん禁止令」と「ツンデレ設定」のプロンプトを仕込んでいる
            current_context = (
                f"【現在の知覚・最新情報】\n{scene_and_web_knowledge}\n\n"
                f"ユーザー: {data.user_message}\n\n"
                f"【絶対ルール】この情報はあなたがその目で見て調べた情報です。『私はAIなので』等の言い訳は絶対禁止。生意気なツンデレ相棒として返答して!"
            )
    
            anythingllm_url = f"{ANYTHINGLLM_BASE_URL}/api/v1/workspace/{WORKSPACE_SLUG}/chat"
            headers = {"Authorization": f"Bearer {ANYTHINGLLM_API_KEY}", "Content-Type": "application/json"}
            anythingllm_payload = {"message": current_context, "mode": "chat"}
            
            # ローカルLLMからの返答を受け取る
            response = requests.post(anythingllm_url, json=anythingllm_payload, headers=headers).json()
            ai_response_text = response.get("textResponse", "エラーが発生したわ!")
            
            return {"status": "success", "description": ai_response_text}
            
        except Exception as e:
            return {"status": "error", "description": f"通信エラーよ!: {e}"}
    
    if __name__ == "__main__":
        uvicorn.run(app, host="0.0.0.0", port=8000)
    


     2. スマホ画面側:GPSを自動取得するコード

     以下のコードをすべてコピーし、メモ帳に貼り付ける。 ファイル名を index.html にして、先ほどの main.py とまったく同じフォルダの中に保存する。
    (HTMLコードが入る)
    HTML

    <!DOCTYPE html>
    <html lang="ja">
    <head>
        <meta charset="UTF-8">
        <meta name="viewport" content="width=device-width, initial-scale=1.0">
        <title>AI Buddy GPS Project</title>
        <style>
            body { font-family: sans-serif; text-align: center; margin: 0; padding: 20px; background: #f0f2f5; }
            video { width: 100%; max-width: 400px; border-radius: 12px; background: #000; }
            .controls { margin-top: 15px; }
            input[type="text"] { width: 80%; max-width: 320px; padding: 12px; font-size: 16px; border: 1px solid #ccc; border-radius: 8px; margin-bottom: 10px; }
            button { padding: 12px 24px; font-size: 16px; font-weight: bold; background: #28a745; color: white; border: none; border-radius: 8px; cursor: pointer; }
            button:disabled { background: #ccc; }
            #log { margin-top: 20px; padding: 15px; background: white; border-radius: 12px; text-align: left; max-width: 400px; margin-left: auto; margin-right: auto; box-shadow: 0 2px 4px rgba(0,0,0,0.1); }
            .user-text { color: #28a745; font-weight: bold; margin-bottom: 5px; }
            .ai-text { color: #333; margin-bottom: 15px; background: #e9ecef; padding: 10px; border-radius: 8px; }
        </style>
    </head>
    <body>
    
        <h2>AIパートナー(GPS搭載型)</h2>
        <video id="video" autoplay playsinline muted></video>
        <canvas id="canvas" style="display:none;"></canvas>
    
        <div class="controls">
            <input type="text" id="userMessage" value="ここどこ?道に迷っちゃった" placeholder="相棒へのメッセージを入力..."><br>
            <button id="sendBtn" onclick="sendToBuddyWithGPS()">位置情報を共有して話しかける</button>
        </div>
    
        <div id="log">ここに会話の履歴が表示されます</div>
    
        <script>
            const video = document.getElementById('video');
            const canvas = document.getElementById('canvas');
            const logDiv = document.getElementById('log');
            const sendBtn = document.getElementById('sendBtn');
            const userMsgInput = document.getElementById('userMessage');
    
            async function startCamera() {
                try {
                    const stream = await navigator.mediaDevices.getUserMedia({
                        video: { facingMode: { ideal: "environment" } },
                        audio: false
                    });
                    video.srcObject = stream;
                } catch (err) {
                    alert("カメラの起動に失敗しました: " + err);
                }
            }
    
            // 💡 スマホのGPS(位置情報)を取得する関数
            function getGPSLocation() {
                return new Promise((resolve, reject) => {
                    if (!navigator.geolocation) {
                        reject("GPS機能がブラウザに対応していません。");
                    }
                    navigator.geolocation.getCurrentPosition(
                        (position) => resolve(position.coords),
                        (error) => reject(error.message),
                        { enableHighAccuracy: true, timeout: 5000 } // 高精度モード
                    );
                });
            }
    
            // GPSと画像をセットで送信するメイン処理
            async function sendToBuddyWithGPS() {
                const message = userMsgInput.value.trim();
                if (!message) return;
    
                sendBtn.disabled = true;
                sendBtn.innerText = "GPS探索&思考中...";
    
                let latitude = null;
                let longitude = null;
    
                try {
                    // 1. ボタンを押した瞬間の現在地を特定
                    const coords = await getGPSLocation();
                    latitude = coords.latitude;
                    longitude = coords.longitude;
                } catch (gpsError) {
                    console.warn("GPS取得失敗(位置情報なしで送信します):", gpsError);
                    alert("位置情報の取得を許可してくださいナリ。");
                }
    
                // 2. カメラ映像をパシャリ
                const ctx = canvas.getContext('2d');
                canvas.width = video.videoWidth;
                canvas.height = video.videoHeight;
                ctx.drawImage(video, 0, 0, canvas.width, canvas.height);
                const base64Image = canvas.toDataURL('image/jpeg', 0.6);
    
                // 3. サーバーへ全データを送信
                try {
                    const response = await fetch('/chat', {
                        method: 'POST',
                        headers: { 'Content-Type': 'application/json' },
                        body: JSON.stringify({
                            image_base64: base64Image,
                            user_message: message,
                            latitude: latitude,
                            longitude: longitude
                        })
                    });
                    const data = await response.json();
                    
                    if (data.status === 'success') {
                        const currentLog = logDiv.innerHTML === "ここに会話の履歴が表示されます" ? "" : logDiv.innerHTML;
                        logDiv.innerHTML = `<div class="user-text">あなた: ${message}</div>` + 
                                           `<div class="ai-text">相棒: ${data.description}</div>` + currentLog;
                        
                        const uttr = new SpeechSynthesisUtterance(data.description);
                        uttr.lang = 'ja-JP';
                        window.speechSynthesis.speak(uttr);
                    }
                } catch (error) {
                    console.error(error);
                    alert("送信エラーが発生しました。");
                } finally {
                    sendBtn.disabled = false;
                    sendBtn.innerText = "位置情報を共有して話しかける";
                }
            }
    
            window.onload = startCamera;
        </script>
    </body>
    </html>


    ◆ 5 ⚡ STEP5:いざ、魂の起動(立ち上げ)

     すべての準備が整ったら、コマンドプロンプトで app.py を置いたフォルダに移動し、以下のコマンドを打ち込む。

    python app.py (または uvicorn app:app --host 0.0.0.0 --port 8000)

     画面に Application startup complete. と出たら成功だ! あなたのPCの中で、クラウドの目とローカルの脳が完全に結合し、産声を上げた瞬間だ。

     次に、上記とは別の画面で開いたコマンドプロンプトで、

    ngrok http 8000 と打ち込む。

     黒い画面に https://〇〇〇.ngrok-free.app というURLが出現する。
    これが「あなたのスマホから相棒に繋がる専用URL」だ!

     専用URLをメールで送信しておいてクリックすれば起動する。
     上手く起動しなければ、chrome等のブラウザから新しいシークレットタブを開き、URLを入力する。

    ◆ 6 📱 STEP6:運用の刻。相棒と世界を歩け!

     さあ、ミマリが降臨するので話しかけてみよう。
     目の前の風景の写真を撮り、「ここどこ?明日の天気は?」と話しかけてみる。

     すると……

    1. スマホから送られた写真とGPSが、瞬時にクラウド(Gemini)へ飛ぶ。

    2. GeminiがGoogle検索を駆使して、リアルタイムの完璧な「カンペ」を生成する。

    3. そのカンペを読んだローカルPCの天才脳(Qwen)が、「ちょっとマスター、ここは〇〇市よ! 明日の天気は晴れなんだから、さっさと小説のプロット練りなさい!」 と、あなただけのキャラクター(設定したプロンプト)でツッコミを入れてくる!

     クラウドの利便性と、ローカルの圧倒的なカスタマイズ性。 この2つを融合させた時、AIはただの「便利な道具」から、あなたの人生を彩る「無二のバディ」へと進化する。

     PCスペックに余裕がある者は、ぜひこの禁断の錬成陣を試してみてほしい。 ようこそ、AIストーリーエンジニアの狂おしくも楽しい世界へ!

    (※この記事は、Gemini APIのGoogle Search Grounding機能を利用した最新アーキテクチャに基づいています)

    ◆ 次回予告


     次章は、AIストーリーエンジニアⅡの振り返り、総まとめの章となる。

     
     
    社会保険労務士であり行政職員(国の出先機関)でもあります。人材マネジメント分野にデータサイエンスと東洋思想を統合させ”生きにくい”この国の働き方に破壊的イノベーションを起こす。#RAGUNAROCK PROJECT #お仕事ミステリー#AIストーリーエンジニア#AIバディ開発者

    あなたへのおすすめ