メインコンテンツへスキップ
見出し画像

AIに頼んで「執事AI」を自作した全記録と作り方|PCとスマホで動く音声アシスタント(ジャービス風)

    はじめに:この記事は「作り方」です

    • アプリの配布ではありません。自分のパソコンで、AIに頼んで同じようなものを作る方法をまとめた記事です。

    • 必要なもの:Windows 10または11のパソコン、Claude Pro(月20米ドル〜。Claude Code込み)、作業時間は慣れていない方で半日〜1日が目安です。

    • スマホ版は、自宅のWi-Fi内で、パソコン側を動かしている間だけ使えます。

    • ソースコードの配布と、個別のサポートはありません。

    インスタのリールでたくさんの「欲しい」をいただき、ありがとうございます。そのまま配れるアプリではないため、作り方を、実際にAIへ頼んだ言葉ごと公開することにしました。

    映画に出てくる執事のようなAIアシスタントを、自分のパソコンとスマホで動かしてみたい。そう思って「ジャービス風」の音声アシスタントを自作しました。

    PCの画面に専用のダッシュボードを出し、声で話しかけると返事が返ってきて、同じWi-Fi内ならスマホからも使えます。

    この記事では、それと同じようなものを自分で作るための「必要なもの」「注意点」「作り方」を、プログラミングに詳しくない方でも追えるようにまとめました。

    先に大事なことを書きます。無料部分では、作る前に知っておくべき条件と注意点をすべて説明します。

    有料部分では、私が実際にAIに話しかけた言葉と、その結果を時系列でそのまま紹介したうえで、同じものを作るための手順を、AIへの指示文つきで順番に紹介します。

    無料部分を読んで「自分には合わない」と思ったら、有料部分は読まなくて大丈夫です。

    PC版の画面。数字欄はぼかし済み

    上記はパソコン画面となります。

    スマホ版は、次のような画面です。同じWi-Fi内のスマホのブラウザで開くと、中央の円形のコアが、状態に合わせて色と動きを変えます。

    下の画像は、左から「待機中」「聞き取り中」「読み上げ中」です(画像は私が自分の画面を撮影したもので、数字の欄はぼかしてあります)。

    スマホ版の画面。左から、待機中・聞き取り中・読み上げ中

    この記事で作れるもの

    • PC版: 画面にダッシュボード(状態を示す円形のコアと、会話ログ、メモ欄)を表示します。マイクに話しかけると、声を文字にして、AIが答えを考え、音声で返事をします。

    • スマホ版: 同じWi-Fiにつないだスマホのブラウザから、同じ画面を開けます。暗証番号(PIN)でロックされ、「押している間だけ話す」ボタンで話しかけられます。

    スマホ版について(必ず読んでください)

    • スマホ版は、PC版を動かしていないと使えません。ジャービスの本体(画面を表示するサーバー、声の文字起こし、AIへの質問、音声合成)は、すべてパソコンの上で動いています。スマホは、その画面を同じWi-Fi内から見て、操作するためのものです。

    • パソコンの電源が入っていて、ジャービスを起動している間だけ、スマホから使えます。パソコンを閉じたり、スリープにしたり、Wi-Fiが切れたりすると、スマホからは使えなくなります。

    • 自宅のWi-Fi内でしか使えません。外出先からは使えません(意図的に、そうしています)。

    • ただし、スマホで話すときは、スマホのマイクで録音し、返事もスマホのスピーカーで鳴ります。パソコン側のマイクやスピーカーは使いません。そのため、パソコンにマイクがなくても、スマホのマイクがパソコン側のマイクの代わりになります。

    必要なもの

    • Windows 10または11のパソコン(この記事の手順はWindowsだけで確認しています。MacやLinuxでの動作は確認していません)

    • マイク(パソコンに内蔵のものでもかまいません)

    • スマホ版も作る場合は、同じWi-Fiにつながるスマホ(iPhoneでもAndroidでも)

    • Claude(Anthropic社のAI)の「Proプラン」と、パソコンで動かす「Claude Code」というソフト。Proプランで十分です。いちばん上の高額なプランは必要ありません。Claude CodeはProプランに含まれていて、追加料金はかかりません。

    • Python(プログラミング言語)。私はバージョン3.12で作りました。AIに頼めばインストールの案内もしてくれます。

    • VOICEVOX(無料の音声合成ソフト)。私が使ったCPU版は、約2.3GBのディスク容量を使います。

    • 音声認識(声を文字にする部分)の追加データが数百MB程度。最初の起動時に自動でダウンロードされます。

    • ディスクの空きは、余裕を見て10GB以上あると安心です。

    • 作業時間は、慣れていない場合、半日から1日を見ておくと安心です(あくまで目安です)。

    費用

    • VOICEVOXと音声認識のソフトは無料です。

    • Claude Proの料金は、2026年10月時点の公式サイトの表示で、月払いなら月額20米ドル、年払いなら月額換算17米ドル(年額200米ドルを先に支払う形)です。日本円での金額は、為替や税の扱いで変わるため、契約前に公式サイトで確認してください。料金は変更される可能性があります。

    • Claude Proの利用上限は、Claude Codeとスマホ・ブラウザ版のClaudeで共通です。上限は5時間ごとの枠と、週ごとの枠があります。声で質問するたびにAIを呼び出すため、使いすぎると上限に達して、しばらく使えなくなる場合があります。毎日の通常の使い方であれば、Proプランの範囲に収まる想定です。作る作業を一気に進めたい日は、上限に近づくことがあるので、注意が必要ですが私は1日、2日で完成しました。

    • Claude Proの契約を除けば、有料のソフトは必要ありません。

    最初に必ず読んでほしい注意点

    1. 「同じものにならない」可能性があります。

    この作り方は、私がAIに指示を出して作ってもらった手順です。AIは同じ指示でも、毎回少しずつ違うコードを書きます。

    そのため、画面のデザイン、ファイル名、細かい動きは、私のものと一致しないのが普通です。また、AIのソフトや音声ソフトは更新されるため、記事の公開後に手順が通用しなくなることもあります。

    「記事の通りにやったのに同じにならない」という状態は、起こりうる前提で読んでください。

    2. 動作は保証できません。

    お使いのパソコン、マイク、ネットワーク、ソフトのバージョンによって、うまく動かないことがあります。個別の相談やサポートは受け付けていません。

    うまくいかない場合は、エラーの文章をそのままAIに見せて相談すると、かなりの確率で解決します。この記事の内容を試した結果について、作者は責任を負えません。ご自身の判断と責任で行ってください。

    3. お金の判断には使わない設計にしています。

    私のジャービスには、売買や注文を出す機能がありません。AIには「読み取り専用」の権限しか渡していません。この記事でもその方針を守ります。表示される数字や返事は、投資の助言ではありません。

    AIの答えは間違うことがあるので、お金に関わる判断は必ずご自身で確認してください。

    4. セキュリティに注意してください。

    スマホから見る仕組みは、パソコンを「自宅のWi-Fi内だけ」で公開するものです。インターネットに公開したり、ルーターのポート開放をしたりしないでください。

    暗証番号は推測されにくいものにし、他人に教えないでください。

    口座の残高などの個人情報を画面に出す場合は、画面の写真や録画を公開する前に、必ず数字を隠してください(私も記事の画像では数字をぼかしています)。

    パスワードや口座番号を、AIに入力させたり、ファイルに書いたりしないでください。自己責任でお願いいたします。

    5. 利用するサービスの規約は、各自で確認してください。

    証券会社などのWebサイトをAIに自動で操作させる使い方は、サービスによっては規約で禁止されている場合があります。この記事では、そうした自動取得の作り方は扱いません。

    6. パソコンにソフトを入れて、自動で動かす作業が含まれます。こちらでは責任を持てません。

    この作り方では、パソコンにいろいろなソフトを入れます(VOICEVOX、Python、音声認識の部品など)。

    また、AIがパソコンの中でファイルを作ったり、コマンドを実行したり、マイクを常に使うソフトを動かしたりします。

    パソコンの動作、データ、通信、費用、セキュリティなどに起きたことについて、私は責任を持てません。重要なデータが入っているパソコンでは、行わないでください。

    作業の前に、必要なデータのバックアップを取り、専用のフォルダで作業し、AIが確認を求めてきたときは、内容を読んでから許可してください。すべて、ご自身の判断と責任で行ってください。

    7. 有料部分を読んでも、完成するとは限りません。サポートもできません。

    有料部分を読んで、手順どおりに進めても、完成しない場合があります。完成しなかった場合も、私は責任を取れません。個別の質問への回答やサポートもできません。

    購入する前に、無料部分をよく読んで、ご自身で判断してください。

    ただし、私が実際に行ったことは、省略した部分を明記したうえで、正確に公開しています。AIに頼んだ言葉、AIの返事、うまくいかなかったこと、直し方は、実際にあったとおりに書きました。

    省略したのは、次の3つだけです。1つ目は、ソースコードそのものです。2つ目は、証券会社などのサイトを自動で操作する部分です(規約のリスクがあるため)。

    3つ目は、暗証番号、ネットワークのアドレス、口座の数字などの個人情報です。省略したところには、その旨をその都度書いています。

    著作権・商標などについて(確認した範囲)

    私は法律の専門家ではありません。以下は、私が公式の情報で確認した範囲での注意点です。最終的にはご自身で最新の規約を確認してください。

    • 名前について: 「ジャービス」は、映画のキャラクターを連想させる名前です。この記事の内容は、映画の制作会社や権利者とは関係のない、非公式の個人的な制作物です。映画の画像、ロゴ、効果音、声は一切使っていません。画面のデザインや文章も自作です。ご自分で作る場合は、名前を別のものに変えることをおすすめします。作ったものを公開・販売する場合は、特にご注意ください。

    • 音声について: VOICEVOXは、私が確認した時点(2026年10月)では、商用・非商用を問わず利用でき、利用する際はクレジット表記が必要とされています。ソフト本体の無断の再配布は禁止されています。私が使った「青山龍星」の声については、私が調べた範囲では、個人が生成した音声に「VOICEVOX:青山龍星」というクレジットを付ければ利用できる一方、企業が関わる場合は事前に確認が必要とされています(この部分は解説サイトの情報を含むため、必ず公式の規約で確認してください)。キャラクターごとに規約が違うので、使う声の公式の利用規約を、最新のものでお読みください。音声を動画やSNSなどで公開する場合は、クレジット表記を忘れないでください。自分だけで聞く場合の扱いも、公式の規約で確認してください。

    • 音声認識について: 私が使った音声認識ソフト(faster-whisper)は、オープンソースのMITライセンスで公開されています。

    • この記事に載せるもの: ソースコードそのものは載せていません。AIへの指示文と、確認のしかたを載せます。AIが書いたコードを、この記事の購入者の方が自由に使えると誤解されないよう、あらかじめお断りしておきます。画像は私自身が撮影したもので、数字は隠してあります。

    • Claude、VOICEVOXなどの名称は、それぞれの権利者のものです。この記事は、これらの公式のものではありません。

    全体の仕組み

    全体の仕組みの図

    声は「マイク→文字起こし→AI→音声合成→スピーカー」の順に流れます。画面は、パソコン内の小さなサーバーが表示します。スマホは、同じWi-Fi内からそのサーバーにつなぎます。

    AIには、読み取りだけを許可した状態で質問を渡します。

    ここまでで、「作る前の条件」は以上です。

    ここから先の有料部分に入っているのは、次の4つです。

    ① 実録:私がAIに頼んだ言葉 すべて(日時つき)

    「ジャービスを調べて」の一言から、スマホ版の完成までのやり取りを、そのままの言葉で載せています。どれも短い日本語で、専門用語は使っていません。

    ② コピーして使える指示文 13個(ステップ0〜7)

    声を出す、画面を作る、話しかける、スマホから使う、を1段ずつ。各ステップに「ここまでできたら成功」の確認方法つきです。

    ③ 実際につまずいた所と直し方 10件以上

    声が出ない、マイクが反応しない、「認証が切れています」と出る、スマホでマイクが使えない、接続が突然切れる、iPhoneで音が鳴らない…。私が実際に止まった所と、AIへの頼み方で直した方法です。

    ④ スマホ版の作り方(PINのロック・押して話すボタンまで)

    スマホから家のパソコンのAIに話しかける仕組みです。いちばん難しいところを、4つに分けて順番に説明しています。

    エラーが出ても、AIに何と頼めば直るかが分かる。これが、無料部分との一番の違いです。



    実録: 私が実際にAIに頼んだ順番

    ここからが、この記事の中心です。私が実際にClaude Codeに話しかけた言葉を、時系列のまま紹介します。

     
     
    AI(Claude)に作らせて、AIに検証させる個人開発の記録。執事AI「ジャービス」風の作り方、FX自動売買(EA)の検証を、失敗も数字のまま書きます。LINEスタンプ・リールも。投資の助言ではありません。