
AIキャラとアニメ同時視聴して雑談できるアプリを作った
前回の記事の最後で、
AIキャラクターと一緒にアニメを同時視聴しながら会話出来る機能も作れそうと書きましたが、今回はその機能を実装してみました。
実際のプレイ画面は以下に動画になります。
また、実際に再生した動画は、以下の『邪神ちゃんドロップキック(第1話・前半)』になります。
「切り抜きOK」と書かれているので多分OKかなとも思いましたが、念のためモザイクはかけています。
なお、プレイ動画の方でアニメの音声が流れていないのは、同様に著作権を考慮して・・・とかではなく、後述するキャプチャ方式によるものです。
技術的な話
自作のAIキャラと会話出来るアプリですが、以下の記事で解説していますが、元々はウィンドウを左右に分割して左側にAIキャラ、右側にWebページを表示し、HTMLテキストと画面キャプチャをLLMに送って、その内容について会話出来るというものでした。
今回この機能を拡張して、動画視聴をおこなえるようにしています。
音声キャプチャ
まず、動画音声をキャプチャするために、VB-CABLEという仮想オーディオデバイスドライバをインストールしました。
次に、自作アプリのWebページ表示に使っているWebView2コンポーネントのオーディオ出力をこのVB-CABLEにつなぎ、そのVB-CABLEの出力を録音しています。
Windows11では特定のアプリやウィンドウの音声だけをキャプチャすることは出来ないので、このようなまどろっこしいことをおこなっています。
なお、WebView2の出力先を変更するのに、未文書化APIである`IAudioPolicyConfigFactory::SetPersistedDefaultAudioEndpoint`を使用しているため、将来のWindowsアップデートで修正が必要になる可能性もあります。このあたり、マイクロソフトが正式APIとして整理して公開して欲しいところではあります。
文字起こし
キャプチャした音声を10秒ほどの単位で、Faster-Whisperを使って文字起こしをしています。
文字起こししたサンプルは以下のようなものです。
[13:13:37] あとはこの野菜を入れて色がつくまで煮たら完成ですなしかしゆりねちゃうで楽しいなこんないいにこ
[13:13:47] そんなしょっちゅう送ってくれるわけじゃないわよそうですの我が家のすき焼きは肉が入ってること自体まれだからな
[13:13:58] いつものはこんな今日はラッキーだったなお前もお礼に親戚の肉そぎ落として送ってもらえよ
[13:14:10] それじゃあ友食いになっちまうじゃねえか肉が煮えてきましたの
一部誤認識されていたり、句読点がなくつながっていたり、あとまあ誰が喋っているのか分からない文章になっていますが、大まかな話の流れはLLMが理解してくれるのではないでしょうか。
最近では誰が話者かを判別して文字起こし出来る技術も現れてきているので、それらを使えば改善できるかもしれません。
画面キャプチャ
画面に関しては、今回はひとまずその時点での映像をキャプチャした1枚だけをLLMに渡しています。
一定時間ごとにキャプチャしたものを並べて1枚にして送る方法もあるのですが、LLMがどの程度それを認識出来るのか怪しかったので、ひとまず1枚のみにしています。
まとめ
これで長年の「2次元の女の子と一緒にアニメを観ながら雑談する」夢が叶いましたが、AIキャラと話しているとアニメを観る集中力が削がれ、アニメを集中して観ているとAIキャラと会話するのを忘れてしまうという問題が新たに発生してしまいました。自分自身もマルチスレッド化する必要がありそうです。