メインコンテンツへスキップ
見出し画像

【日本語AIの到達点】参照音声×テキスト指示で「声優並みの演技」ができるIrodori-TTSがマジで凄い!《ComfyUI》


    【お知らせ】このワークフローをカスタムノード化しました
    この記事で使っているIrodori-TTSのワークフローは、カスタムノード「OZ IrodoriTTS AllInOne」に作り直しました。キャラ画像・参照音声・Excelバッチの3つの作り方を1ノードにまとめています。現在はVer2です。

    使い方のマニュアルは、記事から無料で読めます。

    【1】irodoriTTSってなんだ?

    Irodori-TTSは、Aratakoさんがオープンソース(MITライセンス)で公開してくれた日本語特化AI音声合成モデル(Text-to-Speech)らしい。

    自分のPC(ローカル環境)で動かせる。
    意外と軽量なモデル。
    なのに、結構な高品質音声を生成できる。

    【2】irodoriでできること

    1. 絵文字でスタイル・感情制御ができる
      読み上げさせたいテキストの中に絵文字を入れると、笑い声、怒り、喘ぎ、電話越しのような音響とか、いろんな感情制御ができる。

    2. ボイスクローン(ゼロショット生成)
      数秒〜数十秒程度の「参照音声(サンプル音声)」を入れるだけで、その声を真似して好きなセリフを喋らせることができる。

    3. テキスト指示での声づくり(VoiceDesign機能)
      「落ち着いた女性の声」「電話越しのおじいさん」みたいに文章で入力するだけで、参照音声がなくても好きな声質をサクッと自動生成できちゃう。

    4. ローカル完結・商用利用OK
      クラウドじゃなくて自分のPC内で動かすから、生成回数もデータの制限も気にせず使い放題。オープンソースだから商用利用もしやすいのも嬉しい。

    5. 動画編集ソフト(YMM4等)との連携
      ゆっくりムービーメーカー4(YMM4)みたいな動画制作ツールから、直接Irodori-TTSの音声を呼び出して動画生成に組み込めるプラグインや環境も整ってきているらしい。

    【3】ComfyUIでWorkflowを作る

    なんか、こんな感じでComfyUIでわざわざWorkflow組まなくても導入してブラウザからUIで操作して使えてしまうらしいけど、ここはあえてComfyでWorkflowを組むことにする。

    画像

    ちなみにComfyUIじゃなくていいよって人はここを参考にしたらいい。
    ただ、Comfyを使って人は逆に導入がメンドクサイ気がするので、Workflowを組んだ方がいい気がする。

    https://www.sukoreru.com/irodori-tts-voicedesign#toc8

    ってことで、組んだWorkflowがこれ。

    画像

    《エリア分け》

    例のごとくエリア分けしてる
    設定エリア:一度設定したらあまりいじらんだろうもの
    入力エリア:ここに色々入力して生成する
    実行エリア:とりあえずさわらなくていい、わかる人だけがさわるとこ
    保存&ビューエリア:保存と出来上がった音声を確認できるとこ
    絵文字エリア:使える絵文字を確認できるようにしただけ
    ※実行エリアは解説省きます
    ※絵文字エリアは入力エリア解説のとこで同時に触れています

    あと、方針を変えた。
    全部ピン止めしていたけど、いじらなくてよさそうなとこだけピン止めすることにした、設定する時とか入力するときにノードをパッと開けないとめんどくさいかなと。

    《設定エリア》

    [音声モデル読込]

    画像

    音声モデルをダウンロードして「ComfyUI/models/checkpoints」フォルダに入れる。

    画像

    「Files and versions」のタブ開いて一番右のダウンロードアイコンで「model.safetensors」をダウンロードする。

    ダウンロードしたら名前はわかりやすく変更したほうがいいよ。
    modelじゃわかりずらいから。

    これで、音声モデルの読込のとこで表示されるから選択。
    他の設定はいじらなくてもいいけど、いじりたかったら自分でチャッピーに設定内容の意味とか聞いて好きにいじったらいい。

    [保存フォルダ・ファイル名設定]

    画像

    まあ、ここはいつも通り、保存する「フォルダ名」と「ファイル名」を指定するところ。
    ノード開いて保存先とファイル名を設定しちゃってください。

    《入力エリア》

    [生成音声(日本語)]

    画像

    生成したいセリフを入力する。
    絵文字で感情表現を入れられる。
    入力欄の右側に絵文字ピッカー置いてあるからノード開いて絵文字はコピペできるよ。

    画像

    こんな感じで絵文字は複数同時に使うこともできる。

    画像

    [参照音声設定]

    画像

    参照音声(サンプル音声)を設定するところ。
    何故かデフォでbedroom.mp4ってのが入ってる。
    サンプルの音声データを入れるとその声でセリフをしゃべってくれる。
    サンプル音声は10秒もあれば大丈夫。
    ちなみにサンプル音声は「ComfyUI/input」フォルダに入れとかないとダメだよ。
    フォルダがなかったら作ろう。
    あと、選択したサンプル音声も再生ボタンで聞ける。

    [VoiceDesign設定(日本語)]

    画像

    ここで、声質とか話し方を指定する。
    参照音声とここで指定した声質とかで音声を生成して、指定したセリフをしゃべってくれるよ。

    ちなみに参照音声を使いたくないなら、参照音声のノードのバイパスを解除しとけばいい。

    画像

    VoiceDesign設定を使わないなら、テキストを空白にしとけばいい。

    画像

    《保存&ビューエリア》

    [生成ボイス保存]

    画像

    生成された音声が保存されます。
    fomatとかはここで好きに設定してください。
    生成された音声は再生ボタンで確認できます。
    音声データは指定したフォルダに指定した名前で保存されています。

    【4】実際に音声を生成してみよう。

    下記の4パターンで作ってみる。
    セリフとか顔文字はVoiceDesignで指定した人がしゃべりそうなものにしている。
    そうしないと、セリフと顔文字の影響を受けてAIがおばあちゃんを指定してもセリフから推定して若い女性にしちゃったりするから。
    参照音声ありのパターンで使っているサンプル音声は同じ。

    《パターン1:参照音声なし、若い女性》
    [セリフ]

    😡⚡💦ちょっと!冷蔵庫にあった私のプリン勝手に食べたでしょっ!?楽しみにしてたのに、なんでそんなひどいことするのよっ!
    [参照音声]
    なし
    [VoiceDesign]
    20代の女性

    《パターン2:参照音声あり、若い女性》
    [セリフ]

    😡⚡💦ちょっと!冷蔵庫にあった私のプリン勝手に食べたでしょっ!?楽しみにしてたのに、なんでそんなひどいことするのよっ!
    [参照音声]
    あり
    ※適当に作ったのを使った、参照音声すらこのWorkflowで作ったけど
    [VoiceDesign]
    20代の女性

    《パターン3:参照音声なし、おばあちゃん》
    [セリフ]

    🥺👵あれあれ…、冷蔵庫にあった、わたしのプリン、勝手に食べたんかい…?楽しみにしてたのにのぉ…、なんでそんなひどいことするんかねぇ…。
    [参照音声]
    なし
    [VoiceDesign]
    80代のおばあちゃん

    《パターン4:参照音声あり、おばあちゃん》
    [セリフ]

    🥺👵あれあれ…、冷蔵庫にあった、わたしのプリン、勝手に食べたんかい…?楽しみにしてたのにのぉ…、なんでそんなひどいことするんかねぇ…。
    あり
    ※適当に作ったのを使った、参照音声すらこのWorkflowで作ったけど
    [VoiceDesign]
    80代のおばあちゃん

    おばあちゃんがおばあちゃんになり切れてないけど、おそらくVoiceDesignの指定が甘いのと、セリフに引っ張られるのと参照音声が両方とも若い女性を使ってるとかが影響していると思われる。
    私が本気でおばあちゃんの声を作りたくないので・・・すまん。
    ちゃんと作っている人のサンプルを聞いたらおばあちゃんも普通に作れているので私のやる気の問題だ・・・。
    本気で作りたい声だったら、クオリティをあげに行くのだが。

    ただ、irodoriTTSが凄いってことだけはわかった。
    キャラクターの声もこれから作っていこうと思う、もう、毎日が楽しい。

    今回使った
    ↓↓↓ 「IrodoriTTSVoiceDesignV1」のダウンロード ↓↓↓

    【5】「IrodoriTTSVoiceDesignV1」のダウンロード

     
     

    OZWALD

     
     
    毎日が暇。 暇は自由だ、やりたいことだけで生きていける。

    あなたへのおすすめ