メインコンテンツへスキップ
見出し画像

【Irodori-TTS】キャラクターを創ったら、AIに声を創らせて、自分好みに微調整!《ComfyUI》

    【お知らせ】このワークフローをカスタムノード化しました
    この記事で使っているIrodori-TTSのワークフローは、カスタムノード「OZ IrodoriTTS AllInOne」に作り直しました。キャラ画像・参照音声・Excelバッチの3つの作り方を1ノードにまとめています。現在はVer2です。

    使い方のマニュアルは、記事から無料で読めます。

    【1】ここまでの色々

    Irodori-TTSてなんやねんとかキャラクターの音声の作り方とかは
    前に書いた記事で。
    前の記事のワークフローは無料です。

    【2】今回やりたいこと

    以前の記事で、テキストや参照音声から音声データを作ったり、キャラ画像からAIさんにこの画像のキャラはこんな声かなって想像して作ってもらったりはできるようになった。

    ただ、キャラ画像からAIさんに作ってもらった声を微調整したいなと。
    私的にはキャラ画像からAIさんがこの画像のキャラはこの声だよって言われたら受け入れようと思うのだが、ちょっとだけ微調整したいなとかあるじゃん。
    なので、キャラ画像をから作った音声を参照音声にして微調整までできるワークフローを組もうと思った。

    ・・・しかし、できないことが途中で発覚・・・残念。

    とはいえ、やりたいことはできる。

    以前の記事2つの声生成ワークフローをひとつにまとめて切替できるようにして。
    まず、キャラ画像から音声データを作って、切り替えをして、作った音声データを参照音声にしてテキスト(プロンプト)で微調整すればいい。

    【3】以前の記事のWorkflow2つの切替Workflowを作る

    機能としては「キャラ画像から声生成」と「参照画像とプロンプトから声生成」のワーフクローをがっちゃんこして一つのワークフローにして、切替して使えるようにした。

    機能はこんな感じ
    音声生成手法の切替:
    「キャラ画像から声生成」と「参照画像とプロンプトから声生成」を切り替えられる
    キャラ画像音声モデルの切替:キャラ画像から音声生成時のモデルの切替(リアルとアニメ)

    あと、ワークフローの接続線の方針を変えた。
    もともと、SetNodeとGetNodeを使ってわかりやすくまとめようとやっていたけど、増えるとわかりずらくなるのでやめることにした。
    接続線は作るときは全部直でつなぐ。
    見ずらくなるけど気にしない。
    で、完成したら接続線を「隠す」で非表示にする。
    使う時は設定するとこいじるだけだし、隠しとけばいいじゃんって結論になった。
    非表示は設定の「Lite Graph」の「隠す」で隠しちゃう、もしくは「ストレート」なら表示しておいてもそんなに邪魔じゃない。
    作るときは「リニア」か「スプライン」がいい。

    画像

    そんで、作ったワークフローはこれ(接続線は隠すで非表示)

    画像

    「キャラクター画像で音声生成」のグループと「参照音声・プロンプトで音声生成」のグループを左上のON/OFFで切替できるようにしている。
    細かい設定のやり方なんかは以下の以前の記事で確認してください。
    基本は変わってないので。

    とりあえず、追加した「音声生成手法の切替」と「キャラ画像音声モデルの切替」だけ説明する。

    《音声生成手法の切替》

    画像

    yesにしたところが実行ボタンで処理が走るようになる。
    両方yesにすると両方走っちゃうよ。

    画像

    VoiceModelをリアル寄りのボイスを生成する「Irodori-TTS-500M-v2-Character-Voice-SigLIP」とアニメ寄りのボイスを生成する「Irodori-TTS-500M-v2-Character-Voice-Tagger」を切替できるようにした。
    VoiceModelNoを1にしたらリアル、2にしたらアニメって感じ。

    【4】実際にキャラ画像から音声をつくって微調整してみた

    キャラ画像からの音声生成はアニメボイスモデルを使った。
    キャラ画像が同じでも、seed値で声は変わるよ。

    画像

    この子のキャラ画像で作る

    キャラ画像で音声生成をyes(ON)にして

    画像

    キャラクターの音声生成モデルを2のアニメにして

    画像

    生成したいセリフを設定して

    画像

    キャラクター画像を設定して

    画像

    実行したら音声が生成される
    再生して聞いてみて気に入ったらそれを参照音声に使う。

    画像

    キャラ画像から生成した音声がこれ

    次は「参照音声・プロンプトで音声生成」に切り替えて

    画像

    しゃべらせたいセリフを設定して。

    画像

    さっきつくった音声を参照音声に設定して

    画像
    画像

    声の質とかをテキスト(プロンプト)で設定して実行したら音声が生成される。

    画像

    気に入るのができるまで生成して再生してを繰り返す。

    画像

    そして、できた声がこれ

    テストしたプロンプトちょっと適当すぎたけど、本当は納得いくまで、キャラ画像の生成のとこでseed値変えて何度も生成したり、微調整のプロンプトを細かく指定したり。
    理想に近づけていこう。

    今回使った
    ↓↓↓ 「IrodoriTTSCharaVoiceDesignV1」のダウンロード ↓↓↓

    【5】「IrodoriTTSCharaVoiceDesignV1」のダウンロード

    ピン止めの方針変わった、使う人が好きにピン止めしたらいいと思うから、基本ピン止めはしないことにしました。


     
     

    OZWALD

     
     
    毎日が暇。 暇は自由だ、やりたいことだけで生きていける。

    あなたへのおすすめ