メインコンテンツへスキップ
見出し画像

【Irodori-TTS】君のキャラはどんな声?キャラしゃべらせてボイスドラマ作っちゃおう!(大昔はドラマCDとか言われてたやつ?)《ComfyUI》

    【お知らせ】このワークフローをカスタムノード化しました
    この記事で使っているIrodori-TTSのワークフローは、カスタムノード「OZ IrodoriTTS AllInOne」に作り直しました。キャラ画像・参照音声・Excelバッチの3つの作り方を1ノードにまとめています。現在はVer2です。

    使い方のマニュアルは、記事から無料で読めます。

    【1】IrodoriTTSの前の記事

    Irodori-TTSの前の記事

    【2】今回やってみること〜

    今回やってみようってのが
    1.自分が作ったキャラの声を知る
    2.自分が作ったキャラの声でしゃべらせる
    3.バッチ処理で簡単にボイスドラマを作れるようにしちゃう

    【3】ComfyUIで必要なWorkflowを作る

    前の記事でも使ったWorkflowを流用しながら、サブグラフにまとめたりしてそぎ落として見やすく使いやすくして。
    一括処理機能を追加した。
    それがこれ。

    画像

    《機能は3つ》
    1.キャラ画像から声をつくっちゃう

     キャラの画像からAIさんがこの子はこんな声だよって作ってくれちゃう。自分でもどんな声かわからないから、このキャラはどんな声なのかなってドキドキする。
    2.参照音声を使って別のセリフを生成する
     一つずつこだわって何度も作ってこの話し方だ!ってなるまで微調整する時とかに使う。
    3.参照音声から連続してセリフを生成しちゃう
     テキストデータ(セリフファイルと保存ファイル名テキストデータ)を用意して一括で音声データを作っちゃう

    本当はもっとスマートにしたかったんだけど、特に3の参照音声から連続してセリフを生成しちゃうの昨日のところ・・・ただ、サブグラフにテキストファイルを選択するノードを入れちゃうとテキストファイルを見失いという現象が起きるので、仕方なし。

    【4】声を作る前の準備

    画像

    モデルを3つほどセット。
    《RealVoiceModel》
    「Irodori-TTS-500M-v2-Character-Voice-SigLIP」
    「RealVoiceModel」
    って個人的に勝手に呼んでるだけ。

    「Files and versions」タブ一番下の「model.safetensors」を「models/checkpoints」フォルダへダウンロード。
    ファイル名がmodel.safetensorsでダウンロードされるので、わかりやすく変更したほうがいいよ。

    《AnimeVoiceModel》
    「Irodori-TTS-500M-v2-Character-Voice-Tagger」
    「AnimeVoiceModel」
    って個人的に呼んでる。

    「Files and versions」タブ一番下の「model.safetensors」を「models/checkpoints」フォルダへダウンロード。
    ファイル名がmodel.safetensorsでダウンロードされるので、わかりやすく変更したほうがいいよ。

    ★★★まとめると★★★
    ・アニメ属性(髪型・衣装などのキャラ設定)をカチッと反映させたい場合
    👉 Taggerがおすすめ
    ・画像全体の雰囲気や絵柄、世界観から直感的に声を生成させたい場合👉 SigLIPがおすすめ

    《VoiceDesignModel》
    「Irodori-TTS-500M-v2-VoiceDesign」
    参照音声とセリフと音質やら話し方の指示から、新しい音声を生成してくれるやつ。

    【5】キャラ画像から声を作っちゃう

    画像

    まず、ここ、キャラ画像からボイスをyesにする。
    他のふたつはOFFにする。
    ここで重要なこと言っとく「yes」にするのは基本3つのうち一つね。じゃないと、実行した時に全部動いちゃうから。

    「キャラ画像からボイス」をyesにしたら、必要な設定。

    画像

    キャラクター画像:ここに君が聞きたい声のキャラ画像をアップロードする。
    VoiceMode:リアル調の声がいいならなら1、アニメ調の声がいいなら2にする
    セリフ:しゃべらせたいセリフをテキストで入力
    ※今回は参照用の音声を作りたいので感情表現用の英文字は使わず淡々としゃべってもらう(📖ナレーションの絵文字使ってもいいかも)
    保存フォルダ/ファイル:保存するフォルダパスとファイル名を入力
    Audioフォーマット:Audioのフォーマットを選択

    設定したら、実行!
    できあがったこのキャラの声はこんな感じ。

    2と3ではこれを参照音声として使っていく。

    参照音声はセリフ10秒くらい且つあまり感情表現の起伏がない方がいいよ。
    感情表現は参照音声をつかって実際にしゃべらせたいセリフの方でつけた方がいいから。

    【6】参照音声からこだわってセリフをしゃべらせよう

    画像

    参照音声をyes、他はnoにする。

    画像

    参照音声:参照用のaudioデータをアップロード。
    ※今回はさっきつくった音声を参照音声にしている。
    セリフ:しゃべらせたいセリフをテキストで入力
    ※今回はちょっとヤンキーセリフにしてみた。
    声質や話し方:声質や話し方を文章でしていする
    ※今回は参照音声通りでいいので未入力
    保存フォルダ/ファイル:保存するフォルダパスとファイル名を入力
    Audioフォーマット:Audioのフォーマットを選択

    設定したら、実行!
    そんで、声質や話し方を変えたりして調整、もしくはそんなんしないでもseedが毎回変わるからしゃべり方も変わるのでそれでいいなら気に入ったのができるまで作り続けるのもあり。
    で、今回、できあがったヤンキーセリフがこれ。

    【7】テキストと参照音声からバッチ処理でまとめてセリフを作ってボイスドラマだ!

    画像

    テキストと参照音声からバッチ生成をyes他はno。

    画像

    参照音声:参照用のaudioデータをアップロード。
    ※今回はさっきつくった音声を参照音声にしている。
    声質や話し方:声質や話し方を文章でしていする
    ※今回は参照音声通りでいいので未入力
    テキストの行数:セリフファイルと保存パスファイルのデータ行数
    実行前に必ず0にする(2カ所):この2カ所は実行前に必ず0にしてください
    セリフファイル:しゃべらせたいセリフのテキストデータ
    保存パスファイル:保存するフォルダパスとファイル名のテキストデータ
    Audioフォーマット:Audioのフォーマットを選択

    今回は男女の掛け合いを作ってみる。

    画像

    セリフ作るときにこのEmojiPickerをクリックすると絵文字がコピペできる。
    で、セリフの頭に張り付けると次に絵文字が出てくるまでのセリフをその絵文字の感情表現でしゃべってくれる。
    絵文字は複数くっつけても大丈夫例えば早口で喋られたいなら⏩🫶早口絵文字と優しさ絵文字を両方使う、間を作りたかったら⏸️間・沈黙を入れたりすればいい。

    画像

    セリフは絵文字もコピーできるからチャッピーさんとかジェミニンにセリフ考えてもらってIrodoriTTSの絵文字で感情表現つけてって言えばやってくれるはず。
    やってもらったのをこのエクセルにコピペすればサクッと作れる。
    で、作ったのがこんな感じ、このエクセルは「セリフファイル」と「保存パスファイル」をサクッと作れるようにしてある。
    このエクセルの必要なセリフをコピーしてセリフのテキストファイルを作るのだが、生成の時にいちいち参照データを変えるのは面倒なので、男の子なら男の子のセリフだけ女の子なら女の子セリフだけって感じでキャラごとのセリフデータを作るのがいい。
    作り方はこのエクセルで男の子だけを選択

    画像

    で、セリフのとこと保存パス/ファイルのとこをコピペしてテキストに張り付ける

    画像
    画像
    画像

    ちなみに、ファイル名はセリフから持ってきている部分があるけど、長すぎると困るので、頭10文字で切れるようにしてある。

    同様に女の子の方も作る

    画像
    画像
    画像
    画像

    男女それぞれ作ったら

    画像

    男の子のテキストファイルの行数は5なので5にして、実行前に必ず0の2カ所を0にして

    画像

    男の子のセリフファイルと保存パスファイルを選択する。
    セリフファイルとパスファイルはinput又はoutputにフォルダを作って入れておいてください。
    ちなみに、プルダウンにはinput又はoutputに入っているテキストファイル全部表示されちゃうから気をつけて。

    そしたら、もうひとつ実行の時に気をつけて欲しいのが、実行の回数は行数と同じにすること。
    なので今回は5で実行。

    画像

    あっ、言い忘れたけど、男の子の参照音声は適当な男の子のキャラ画像から作ったのを参照音声に入れてます。

    同様に、女の子の参照音声にさっきつくった女の子の参照音声を入れて、読み込むテキストファイルを女の子のに変更して作る。

    で、出来上がったやつがこれ

    画像

    ただ、ファイル名の後ろに勝手に連番をつけられちゃうんだよね。これは保存ノードが内部的にやってるからどうにもならんっぽい。
    正確にはどうにかなるけど、さすがにめんどくさいので放置。
    頭に連番つけてるから、それで並び替えればセリフの順番は担保できるんでね。
    これで、男女の掛け合いの音声ファイルが揃ったので、あとは適当に編集ソフトで連番読込してつなぎ合わせればいいだけ。

    で、つなぎ合わせたのがこれ

    ちゃんと作るなら、納得いかないセリフのとこだけ作り直して差し替えればいいと思う、今回はテストなのでやらないけど。

    こうするとボイスドラマがサクッと作れる。

    サブグラフの中はわかる人だけ触ってください。

    今回使ったIrodoriTTS_AllInOneV1はここからダウンロードできます。
    他にもセリフファイル(エクセル)と今回サンプルで作ったテキストファイルも入れてあります。
    ↓↓↓ 「IrodoriTTS_AllInOneV1」のダウンロード ↓↓↓

    【8】「IrodoriTTS_AllInOneV1」のダウンロード

     
     

    OZWALD

     
     
    毎日が暇。 暇は自由だ、やりたいことだけで生きていける。

    あなたへのおすすめ