
AIに頼んで「執事AI」を自作した全記録と作り方|PCとスマホで動く音声アシスタント(ジャービス風)
はじめに:この記事は「作り方」です
アプリの配布ではありません。自分のパソコンで、AIに頼んで同じようなものを作る方法をまとめた記事です。
必要なもの:Windows 10または11のパソコン、Claude Pro(月20米ドル〜。Claude Code込み)、作業時間は慣れていない方で半日〜1日が目安です。
スマホ版は、自宅のWi-Fi内で、パソコン側を動かしている間だけ使えます。
ソースコードの配布と、個別のサポートはありません。
インスタのリールでたくさんの「欲しい」をいただき、ありがとうございます。そのまま配れるアプリではないため、作り方を、実際にAIへ頼んだ言葉ごと公開することにしました。
映画に出てくる執事のようなAIアシスタントを、自分のパソコンとスマホで動かしてみたい。そう思って「ジャービス風」の音声アシスタントを自作しました。
PCの画面に専用のダッシュボードを出し、声で話しかけると返事が返ってきて、同じWi-Fi内ならスマホからも使えます。
この記事では、それと同じようなものを自分で作るための「必要なもの」「注意点」「作り方」を、プログラミングに詳しくない方でも追えるようにまとめました。
先に大事なことを書きます。無料部分では、作る前に知っておくべき条件と注意点をすべて説明します。
有料部分では、私が実際にAIに話しかけた言葉と、その結果を時系列でそのまま紹介したうえで、同じものを作るための手順を、AIへの指示文つきで順番に紹介します。
無料部分を読んで「自分には合わない」と思ったら、有料部分は読まなくて大丈夫です。

上記はパソコン画面となります。
スマホ版は、次のような画面です。同じWi-Fi内のスマホのブラウザで開くと、中央の円形のコアが、状態に合わせて色と動きを変えます。
下の画像は、左から「待機中」「聞き取り中」「読み上げ中」です(画像は私が自分の画面を撮影したもので、数字の欄はぼかしてあります)。

この記事で作れるもの
PC版: 画面にダッシュボード(状態を示す円形のコアと、会話ログ、メモ欄)を表示します。マイクに話しかけると、声を文字にして、AIが答えを考え、音声で返事をします。
スマホ版: 同じWi-Fiにつないだスマホのブラウザから、同じ画面を開けます。暗証番号(PIN)でロックされ、「押している間だけ話す」ボタンで話しかけられます。
スマホ版について(必ず読んでください)
スマホ版は、PC版を動かしていないと使えません。ジャービスの本体(画面を表示するサーバー、声の文字起こし、AIへの質問、音声合成)は、すべてパソコンの上で動いています。スマホは、その画面を同じWi-Fi内から見て、操作するためのものです。
パソコンの電源が入っていて、ジャービスを起動している間だけ、スマホから使えます。パソコンを閉じたり、スリープにしたり、Wi-Fiが切れたりすると、スマホからは使えなくなります。
自宅のWi-Fi内でしか使えません。外出先からは使えません(意図的に、そうしています)。
ただし、スマホで話すときは、スマホのマイクで録音し、返事もスマホのスピーカーで鳴ります。パソコン側のマイクやスピーカーは使いません。そのため、パソコンにマイクがなくても、スマホのマイクがパソコン側のマイクの代わりになります。
必要なもの
Windows 10または11のパソコン(この記事の手順はWindowsだけで確認しています。MacやLinuxでの動作は確認していません)
マイク(パソコンに内蔵のものでもかまいません)
スマホ版も作る場合は、同じWi-Fiにつながるスマホ(iPhoneでもAndroidでも)
Claude(Anthropic社のAI)の「Proプラン」と、パソコンで動かす「Claude Code」というソフト。Proプランで十分です。いちばん上の高額なプランは必要ありません。Claude CodeはProプランに含まれていて、追加料金はかかりません。
Python(プログラミング言語)。私はバージョン3.12で作りました。AIに頼めばインストールの案内もしてくれます。
VOICEVOX(無料の音声合成ソフト)。私が使ったCPU版は、約2.3GBのディスク容量を使います。
音声認識(声を文字にする部分)の追加データが数百MB程度。最初の起動時に自動でダウンロードされます。
ディスクの空きは、余裕を見て10GB以上あると安心です。
作業時間は、慣れていない場合、半日から1日を見ておくと安心です(あくまで目安です)。
費用
VOICEVOXと音声認識のソフトは無料です。
Claude Proの料金は、2026年10月時点の公式サイトの表示で、月払いなら月額20米ドル、年払いなら月額換算17米ドル(年額200米ドルを先に支払う形)です。日本円での金額は、為替や税の扱いで変わるため、契約前に公式サイトで確認してください。料金は変更される可能性があります。
Claude Proの利用上限は、Claude Codeとスマホ・ブラウザ版のClaudeで共通です。上限は5時間ごとの枠と、週ごとの枠があります。声で質問するたびにAIを呼び出すため、使いすぎると上限に達して、しばらく使えなくなる場合があります。毎日の通常の使い方であれば、Proプランの範囲に収まる想定です。作る作業を一気に進めたい日は、上限に近づくことがあるので、注意が必要ですが私は1日、2日で完成しました。
Claude Proの契約を除けば、有料のソフトは必要ありません。
最初に必ず読んでほしい注意点
1. 「同じものにならない」可能性があります。
この作り方は、私がAIに指示を出して作ってもらった手順です。AIは同じ指示でも、毎回少しずつ違うコードを書きます。
そのため、画面のデザイン、ファイル名、細かい動きは、私のものと一致しないのが普通です。また、AIのソフトや音声ソフトは更新されるため、記事の公開後に手順が通用しなくなることもあります。
「記事の通りにやったのに同じにならない」という状態は、起こりうる前提で読んでください。
2. 動作は保証できません。
お使いのパソコン、マイク、ネットワーク、ソフトのバージョンによって、うまく動かないことがあります。個別の相談やサポートは受け付けていません。
うまくいかない場合は、エラーの文章をそのままAIに見せて相談すると、かなりの確率で解決します。この記事の内容を試した結果について、作者は責任を負えません。ご自身の判断と責任で行ってください。
3. お金の判断には使わない設計にしています。
私のジャービスには、売買や注文を出す機能がありません。AIには「読み取り専用」の権限しか渡していません。この記事でもその方針を守ります。表示される数字や返事は、投資の助言ではありません。
AIの答えは間違うことがあるので、お金に関わる判断は必ずご自身で確認してください。
4. セキュリティに注意してください。
スマホから見る仕組みは、パソコンを「自宅のWi-Fi内だけ」で公開するものです。インターネットに公開したり、ルーターのポート開放をしたりしないでください。
暗証番号は推測されにくいものにし、他人に教えないでください。
口座の残高などの個人情報を画面に出す場合は、画面の写真や録画を公開する前に、必ず数字を隠してください(私も記事の画像では数字をぼかしています)。
パスワードや口座番号を、AIに入力させたり、ファイルに書いたりしないでください。自己責任でお願いいたします。
5. 利用するサービスの規約は、各自で確認してください。
証券会社などのWebサイトをAIに自動で操作させる使い方は、サービスによっては規約で禁止されている場合があります。この記事では、そうした自動取得の作り方は扱いません。
6. パソコンにソフトを入れて、自動で動かす作業が含まれます。こちらでは責任を持てません。
この作り方では、パソコンにいろいろなソフトを入れます(VOICEVOX、Python、音声認識の部品など)。
また、AIがパソコンの中でファイルを作ったり、コマンドを実行したり、マイクを常に使うソフトを動かしたりします。
パソコンの動作、データ、通信、費用、セキュリティなどに起きたことについて、私は責任を持てません。重要なデータが入っているパソコンでは、行わないでください。
作業の前に、必要なデータのバックアップを取り、専用のフォルダで作業し、AIが確認を求めてきたときは、内容を読んでから許可してください。すべて、ご自身の判断と責任で行ってください。
7. 有料部分を読んでも、完成するとは限りません。サポートもできません。
有料部分を読んで、手順どおりに進めても、完成しない場合があります。完成しなかった場合も、私は責任を取れません。個別の質問への回答やサポートもできません。
購入する前に、無料部分をよく読んで、ご自身で判断してください。
ただし、私が実際に行ったことは、省略した部分を明記したうえで、正確に公開しています。AIに頼んだ言葉、AIの返事、うまくいかなかったこと、直し方は、実際にあったとおりに書きました。
省略したのは、次の3つだけです。1つ目は、ソースコードそのものです。2つ目は、証券会社などのサイトを自動で操作する部分です(規約のリスクがあるため)。
3つ目は、暗証番号、ネットワークのアドレス、口座の数字などの個人情報です。省略したところには、その旨をその都度書いています。
著作権・商標などについて(確認した範囲)
私は法律の専門家ではありません。以下は、私が公式の情報で確認した範囲での注意点です。最終的にはご自身で最新の規約を確認してください。
名前について: 「ジャービス」は、映画のキャラクターを連想させる名前です。この記事の内容は、映画の制作会社や権利者とは関係のない、非公式の個人的な制作物です。映画の画像、ロゴ、効果音、声は一切使っていません。画面のデザインや文章も自作です。ご自分で作る場合は、名前を別のものに変えることをおすすめします。作ったものを公開・販売する場合は、特にご注意ください。
音声について: VOICEVOXは、私が確認した時点(2026年10月)では、商用・非商用を問わず利用でき、利用する際はクレジット表記が必要とされています。ソフト本体の無断の再配布は禁止されています。私が使った「青山龍星」の声については、私が調べた範囲では、個人が生成した音声に「VOICEVOX:青山龍星」というクレジットを付ければ利用できる一方、企業が関わる場合は事前に確認が必要とされています(この部分は解説サイトの情報を含むため、必ず公式の規約で確認してください)。キャラクターごとに規約が違うので、使う声の公式の利用規約を、最新のものでお読みください。音声を動画やSNSなどで公開する場合は、クレジット表記を忘れないでください。自分だけで聞く場合の扱いも、公式の規約で確認してください。
音声認識について: 私が使った音声認識ソフト(faster-whisper)は、オープンソースのMITライセンスで公開されています。
この記事に載せるもの: ソースコードそのものは載せていません。AIへの指示文と、確認のしかたを載せます。AIが書いたコードを、この記事の購入者の方が自由に使えると誤解されないよう、あらかじめお断りしておきます。画像は私自身が撮影したもので、数字は隠してあります。
Claude、VOICEVOXなどの名称は、それぞれの権利者のものです。この記事は、これらの公式のものではありません。
全体の仕組み

声は「マイク→文字起こし→AI→音声合成→スピーカー」の順に流れます。画面は、パソコン内の小さなサーバーが表示します。スマホは、同じWi-Fi内からそのサーバーにつなぎます。
AIには、読み取りだけを許可した状態で質問を渡します。
ここまでで、「作る前の条件」は以上です。
ここから先の有料部分に入っているのは、次の4つです。
① 実録:私がAIに頼んだ言葉 すべて(日時つき)
「ジャービスを調べて」の一言から、スマホ版の完成までのやり取りを、そのままの言葉で載せています。どれも短い日本語で、専門用語は使っていません。
② コピーして使える指示文 13個(ステップ0〜7)
声を出す、画面を作る、話しかける、スマホから使う、を1段ずつ。各ステップに「ここまでできたら成功」の確認方法つきです。
③ 実際につまずいた所と直し方 10件以上
声が出ない、マイクが反応しない、「認証が切れています」と出る、スマホでマイクが使えない、接続が突然切れる、iPhoneで音が鳴らない…。私が実際に止まった所と、AIへの頼み方で直した方法です。
④ スマホ版の作り方(PINのロック・押して話すボタンまで)
スマホから家のパソコンのAIに話しかける仕組みです。いちばん難しいところを、4つに分けて順番に説明しています。
エラーが出ても、AIに何と頼めば直るかが分かる。これが、無料部分との一番の違いです。
実録: 私が実際にAIに頼んだ順番
ここからが、この記事の中心です。私が実際にClaude Codeに話しかけた言葉を、時系列のまま紹介します。