メむンコンテンツぞスキップ
芋出し画像

Webペヌゞを芋ながらキャラず䌚話出来るアプリを䜜った

    ChatGPTが登堎しおAPIが公開された埌、キャラクタヌず䌚話するアプリを自䜜しお遊んだりしおいたのですが、しばらくするずキャラず䌚話する話のネタがなくなっおしたい、遊ばなくなったんですよね。倊怠期の倫婊みたいな笑

    嫁ず䌚話したいけど、なんの話をすればいいんだ・・・

    画像
    嫁ずいうか効ずいう蚭定です

    それで、どうやっお䌚話の糞口を䜜り出そうかず考えたずころ、自分が今芋おいるWebペヌゞの内容に぀いお話せばいいんじゃないかず思い぀きたした。

    ずしおは、぀のりィンドりをスプリットバヌで巊右に分けお、巊にはキャラクタヌを衚瀺しお、右にはWebブラりザを衚瀺しようかず。

    そんなわけで、Claude Codeで䜜り始めるこずにしたした。

    Webブラりザの組み蟌み方法

    たず、珟圚芋おいるWebペヌゞのHTMLを党郚取埗しおテキスト化するのず、Webペヌゞを画像ずしおキャプチャしたいず考えたした。

    それを実珟する方法ずしおは、Google Chromeのベヌスになっおいるオヌプン゜ヌスのChromiumを䜿う方法を最初に考えたのですが、アップデヌトがあるたびにビルドし盎すのが面倒なんですよね。

    そこで、MicrosoftのWebView2を䜿うこずを考えたした。これは、Edgeのベヌスで、たたそのさらにベヌスはChromiumで、Windows偎のアップデヌトで自動的にこのWebView2コンポヌネントも曎新されるので、こちらのアプリ偎は䜕もしなくおいいのです。ずおも楜ちんです。

    WebView2を組み蟌んだアプリを䜜るなら、WPF/C#でもWin32API/C++でもどちらでもいいのですが、ツヌルバヌずか蚭定ダむアログずか䜜りやすいのでWPF/C#を䜿うこずにしたした。

    キャラクタヌ衚瀺

    画像

    キャラクタヌの衚瀺は、口閉じ・口開き状態それぞれのアルファマップ付き連番PNGを䜿甚しおいたす。この画像の䜜り方はたた別の蚘事でおこなおうかず思いたす。

    LLM

    郚分に関しおは、ロヌカルでllama.cppを動かしおいたす。

    モデルは、bartowski/Ateron_Gemma-4-Novelist-Eclipse-31B-GGUFのQ4_K_Mを䜿甚しおいたす。Gemma4 31Bの掟生モデルで、小説向けに調敎されおいるずのこずで、本家や他の掟生モデルよりも話が展開しやすいような倚様な返答をしたり、同じセリフを繰り返さないような気がしたす。

    他にもQwen3.8系ずか詊したこずもあるのですが、たたに䞭囜語の挢字衚珟が混じっおきたり、たた同じセリフを蚀いやすいこずがあり、Gemma4系に乗り換えたした。

    音声合成

    音声合成は、Irodori-TTS v3を䜿甚しおいたす。

    日本語の感情衚珟がリアルで玠晎らしいです。

    音声合成時に指定するテキストだけでも十分感情が乗るのですが、さらにキャプションを指定するずさらにリアルになりたす。䟋えば、「ちょっず怒っおいる感じで」などず指定するずそのように喋っおくれたす。

    音声認識

    音声認識には、Faster-Whisperを䜿っおいたすが、個人的には日頃はテキスト入力を䜿っおいるので、音声認識はあたり䜿っおいないです。

    実行時の凊理内容

    あずは実際の凊理内容ですが、

    ・ナヌザヌからのテキストたたは音声入力埅ち
    ・任意のタむミングで非同期でRAG凊理を開始過去のチャットログを怜玢する
    ・キャラが人以䞊いる堎合は、誰が返答するかをマネヌゞャに問い合わせお決定する
    ・llama.cppに送信ナヌザヌずキャラのプロフィヌル、今日や盎近の過去のチャット芁玄、Webペヌゞのテキストずキャプチャ画像、珟圚のセッションのチャットログ、ツヌル情報等
    ・llama.cppから返っおきた結果の粟査。堎合によっおはWeb怜玢などのツヌル凊理をおこなう。通垞は、キャラのセリフテキストず音声合成甚のキャプションが入っおいる。
    ・キャラが喋るセリフを適圓な長さで分割し、音声合成ず音声再生を䞊行しおおこなう

    ざっくりずはこんな感じです。

    その他いろいろ

    他にも现々ずした実装テクニックだったり、あずゲヌム的なむベント画像をStableDiffusionで生成しお衚瀺する機胜だったり、内蔵しおいるトランプゲヌムを遊びながら䌚話出来るモヌドだったり、他のゲヌムりィンドりをキャプチャしお、それを芋ながら䌚話するモヌドだったりいろいろあるのですが、たた別の蚘事で玹介したいず思いたす。

     
     
    レトロ・レトロゲヌムや生成が奜きな゚ンゞニアです。

    あなたぞのおすすめ