
AIにゲーム実況配信を任せて分かった、エージェントの止まりどころ
結論:AIエージェントに「画面を見て操作し、YouTube Liveで配信する」まで任せると、ゲームはグッドエンドまで進められました。止まったのはゲームの判断ではなく、配信まわりのプロセス管理・セッション・停止処理でした。
エージェントを実務で回すときも、つまずくのは「考える部分」より「周りの仕組み」だと考えています。
この記事では、構成と、配信中にハマった点と対策を、実際の配信動画のリンク付きでまとめます。
何をやったか
ノベルゲーム『お前のスパチャで世界を救え』(配信OKのフリーゲーム、ノベルゲームコレクションの配布ページ)を、AIが自分で操作して実況するYouTube Liveを行いました。目標はエンディングの完走で、配信は再生リスト「【AI実況】お前のスパチャで世界を救え」で全編公開しています。
操作と実況:私のAIアシスタント「Grok Bot」
実況の声:VOICEVOXのユーレイちゃん(VOICEVOX:ユーレイちゃん(CV:神崎零))
見た目:VTuber風に画面右下へ立ち絵(4riON様のユーレイちゃん素材、規約確認済み)。表情は通常・笑顔・驚き・怖い・考え中の5種と口パク
キャラクターの利用は非公式の二次利用です。前の企画として、同じAIにWebサービスを作らせる開発実況配信もしています。
構成:AIが画面を見て操作し、配信まで回す

流れは次のとおりです。
1. AIが画面のスクリーンショットを見て、選択肢を判断する(画面認識専用のモデルは使っていません)
2. AIがクリックし、同時に実況の台詞を作る
3. 台詞をVOICEVOXで音声にする
4. 自作のPythonミキサーで、ナレーションとゲーム音(4倍に増幅)を合成する
5. Linuxの仮想ディスプレイをFFmpegでキャプチャ(1600x900・30fps・4000kbps CBR)し、字幕をゲームのテキスト欄を避けて重ねる
6. RTMPSでYouTubeへ直接送る(OBSは使っていません)
YouTube Studioでの配信枠の作成もAIがブラウザを操作して行い、自動開始・自動停止をONにしました。ゲームの操作から配信枠の管理まで、AIエージェントが回す構成です。
うまくいったこと
Part5でグッドエンド「B-END 君がいる世界」に到達
バッドエンドに入っても、セーブとロードで挽回できた
後半の配信はフレーム落ちがほぼゼロ
エンディング6つのうち4つに到達(B-END 君がいる世界、C-END 地下帝国へ、BITTER END 新しい恋、BAD END 誰にも頼れない)
選択肢の判断やゲームの進行そのものは、スクリーンショットを見る方式で回りました。
ハマったところと対策

音と画面の見え方
#1の前半約30分、ゲーム音が小さすぎた → 配信中に修正
字幕がゲームのテキスト欄に被った、WebGLの警告が画面に出た
配信管理画面が配信画面の前面に出てしまった
配信の開始と停止
#1は開始4分ほどでYouTubeのセッションが無効になり、やり直し
自動再接続の仕組みが、停止後に数秒だけ配信を再開してしまった → 停止処理を修正
起動したプロセスが巻き込まれて落ち、配信が10秒で終了。自動停止がONだったため配信枠ごと終わり、枠を作り直した
マシンとセーブ
#2は配信マシンの再起動で、配信も録画も途中で終了。セーブがなかったため、#3は最初からやり直し
秘密情報
ストリームキーがプロセス一覧から見える状態だった → 修正済み
実務のエージェント運用に引き寄せると
ここからは、上の事実から私が引いた教訓です。
1. 止まるのは「判断」より「周りの仕組み」
今回のハマりどころを並べると、ゲームの選択肢の判断で止まったものはありませんでした。止まったのはセッション切れ、プロセスの巻き込み、マシンの再起動です。エージェントに長い作業を任せるときは、モデルの賢さより、実行環境の安定性を先に疑う方が早いと考えています。
2. 「自動」同士がぶつかる
自動再接続と停止処理、自動停止と枠の再利用。便利な自動化が2つ重なると、片方がもう片方を打ち消しました。止め方を最初に設計しておくことが大事です。
3. 途中から再開できるようにしておく
セーブがなかった#2の後は最初からになりました。業務でも、エージェントの作業は区切りごとに状態を残し、途中から再開できる形にしておくと被害が小さく済みます。
4. 秘密はコマンドラインに渡さない
ストリームキーがプロセス一覧に見えたのは、エージェントに限らず起きる問題です。一般に、コマンドの引数に渡した値は同じマシンのプロセス一覧から見えることがあるので、キー類は引数で渡さない形にしておく方が安全だと考えています。エージェント用の権限の分け方はAIエージェント専用GitHubアカウントの作り方と権限設定にも書きました。
まだ検証していないこと
コメントやスパチャへのリアルタイムの反応、配信のコスト、遅延、視聴者数などの数字、残り2つのエンディング、長時間の配信や別のゲームでの実況は、まだ検証していません。
配信を見るには
ゲームの規約により、エンディングの画像はこの記事にも載せていません。図はすべて自作の構成図です。
次回予告
次回は「AIエージェントにnote運用を10日任せた結果」を書く予定です。フォローしておくと更新が届きます。
エージェント運用の関連記事:
クレジット・参考リンク
音声:VOICEVOX:ユーレイちゃん(CV:神崎零)(VOICEVOX ユーレイちゃん)
立ち絵:4riON様のユーレイちゃん素材
キャラクターの利用は非公式の二次利用です