メインコンテンツへスキップ
見出し画像

【Irodori-TTS】キャラ画像から声を作ろう!自分の作ったキャラがどんな声なのか知りたくない?《ComfyUI》

    【お知らせ】このワークフローをカスタムノード化しました
    この記事で使っているIrodori-TTSのワークフローは、カスタムノード「OZ IrodoriTTS AllInOne」に作り直しました。キャラ画像・参照音声・Excelバッチの3つの作り方を1ノードにまとめています。現在はVer2です。

    使い方のマニュアルは、記事から無料で読めます。

    【1】IrodoriTTSってなんだ?

    Irodori-TTSは、Aratakoさんがオープンソース(MITライセンス)で公開してくれた日本語特化AI音声合成モデル(Text-to-Speech)らしい。

    自分のPC(ローカル環境)で動かせる。
    意外と軽量なモデル。
    なのに、結構な高品質音声を生成できる。

    IrodoriTTSの前回の記事でちょっと細かく説明して、参照音声とかから声を作れるよってのが

    【2】今回やってみること

    今回やってみようってのが、自分が作ったキャラクター画像からIrodoriTTSを使って、そのキャラクターの声を作っちゃおうっていうこと。

    要はAIさんに自分が作ったキャラクターの画像を見せてこのキャラクターの声ってどんな感じか作ってよってする。

    前回の記事みたいにテキストで指示したり、参照音声を使ったりしないで画像から声を作るというちょっと面白いやつ。

    【3】ComfyUIでWorkflowを作る

    ってことで組んだWorkflowがこれ、例のごとくノードは全部閉じてます・・・って嘘です。
    Emoji Pickerだけちょいちょい使うんで開きっぱなしにしてます。

    画像

    《エリアの説明》

    音声モデルの読込:音声モデルを読み込むところ
    保存フォルダ・ファイル名設定:保存フォルダと保存ファイル名を設定するところ
    生成音声(日本語):しゃべらせたいセリフを入れるとこ
    キャラクター設定:聞きたい声の画像を入れるところ
    生成ボイス保存:生成された音声の保存されて、再生して確認するところ
    生成:わかる人だけ触って
    EmojiPicker:セリフの感情表現用の絵文字

    あと、また、方針を変えた。
    一切ピン止めしないことにした、ダウンロードした人の好みがあるから私が勝手にいじらない方がいいかなと。

    《音声モデル読込》

    画像

    一番上のModelだけいじればいい。
    あとはわかる人だけがいじって。
    個人的なおすすめModelは2つ。

    1つ目が「Irodori-TTS-500M-v2-Character-Voice-SigLIP」
    仕組み:
    SigLIP(Vision-Language モデル) ベースの画像エンコーダー(SigLIP-v2-B/16-512)を使用しているらしい。
    特徴:画像全体の構図、色合い、空気感、表情、全体のビジュアルイメージをまるごとベクトルとして捉えるんだって。

    個別のタグ情報だけでなく、キャラクターが醸し出す「雰囲気(ダーク、明るい、儚いなど)」を捉えた声の生成に向いている。

    個人的に「リアルボイスモデル」と呼んでいる。

    画像

    「Files and versions」タブ一番下の「model.safetensors」を「models/checkpoints」フォルダへダウンロード。
    ファイル名がmodel.safetensorsでダウンロードされるので、わかりやすく変更したほうがいいよ。

    2つ目が「Irodori-TTS-500M-v2-Character-Voice-Tagger」
    仕組み:
    Danbooru などのタグ抽出(WD Tagger) ベースのエンコーダーを使用してるらしい
    特徴:「髪色」「髪型」「目の色」「衣装」「髪飾り」といった具象的な要素・タグを分解して理解するのに長けているっぽい。

    「黒髪ロング」「ツンデレ風の見た目」「メイド服」といった、アニメ・イラスト特有の属性情報を正確に拾って声の傾向に反映させやすいタイプ。

    個人的に「アニメボイスモデル」と呼んでいる。

    画像

    「Files and versions」タブ一番下の「model.safetensors」を「models/checkpoints」フォルダへダウンロード。
    ファイル名がmodel.safetensorsでダウンロードされるので、わかりやすく変更したほうがいいよ。

    ★★★まとめると★★★

    • アニメ属性(髪型・衣装などのキャラ設定)をカチッと反映させたい場合👉 Taggerがおすすめ

    • 画像全体の雰囲気や絵柄、世界観から直感的に声を生成させたい場合👉 SigLIPがおすすめ

    《保存フォルダ・ファイル名設定》

    画像

    保存フォルダ名と保存ファイル名のノードを開いて、保存したいフォルダとファイル名を指定する。

    《生成音声(日本語)》

    画像

    生成する音声のセリフを入力。
    EmojiPickerから感情表現用の絵文字をコピーしてセリフの頭に張り付ければ表現豊かな音声になる。
    セリフの途中で絵文字を変えれば感情表現も変わる。
    更に、同時に重ね掛けもできる、明るく早口とかね。

    《キャラクター設定》

    画像

    この子の声はどんなかな~って、自分が作った画像をアップする。

    しゃべらせたいセリフとキャラクター画像をセットしたら、実行すればAIさんが画像からこの子はこんな声だよってのを生成してくれる。

    《生成ボイス保存》

    画像

    生成した音声データを設定したフォルダに指定したファイル名で保存してくれます。
    生成された音声は再生ボタンを押せば確認できます。

    こんな感じで絵文字は複数同時に使うこともできる。

    《生成》

    わかる人だけが触ればいいところ。

    《EmojiPicker》

    画像

    IrodoriTTSのセリフの感情表現用に用意された絵文字をボタン押してコピーできるようにしてあるだけ。

    【4】実際にキャラ画像から音声を生成

    今回はアニメボイス版のモデルを使った。

    画像

    この子はどんな声かな~。

    こんな声でした。

    画像

    じゃあ、この子はどんな声だろう。

    こんな声でした〜。

    ちなみに、画像から声を作っても必ず同じになるわけじゃないです。
    シード値で変わります。
    なので、気に入った声が出来たらそのシード値を固定して作り続けるか気に入った声のデータを参照音声として使うかで声の一貫性を保つ感じかな。

    あと、参照音声として使うこと前提ならセリフは10秒くらい且つあまり感情表現の起伏がない方がいい気がする。
    感情表現は参照音声をつかって実際にしゃべらせたいセリフの方でつけた方がいい。

    今回使った
    ↓↓↓ 「IrodoriTTSCharaDesignV1」のダウンロード ↓↓↓

    【5】「IrodoriTTSCharaDesignV1」のダウンロード

    ピン止めの方針変わった、使う人が好きにピン止めしたらいいと思うから、基本ピン止めはしないことにしました。

     
     

    OZWALD

     
     
    毎日が暇。 暇は自由だ、やりたいことだけで生きていける。

    あなたへのおすすめ