メインコンテンツへスキップ
見出し画像

【MiniMax H3 第7回】AIキャラの声を、8秒の音から作る方法

    海の見えるテラスで、4つの文の自己紹介をした

    画像
    自己紹介の15秒。4カットで、1カットに1文。声はこのパソコンで作った

    晴れた午後、海の見える白い石のテラスで、進行役の澄(すみ)がこちらを向いて自己紹介をします。

    「はじめまして。」「この動画の、しんこうやくです。」「動画の作り方を、お伝えしています。」「声も、このパソコンで、作りました。」

    カットが変わるたびに1文ずつ、口がその文の長さだけ動いて、言い終えると閉じます。
    この声は、MiniMax H3 に短い言葉を8秒だけ言ってもらった音から作りました。
    この連載のナレーションの声も、同じ作り方で作っています。

    作り方は3段です。

    • 声の元をつくる:MiniMax H3 に短い言葉を言ってもらい、音だけを切り出す(約8秒)

    • 原稿を読ませる:声の元と書き起こしを Qwen3-TTS に渡して、原稿を1文ずつ読ませる

    • 画に合わせる:先に作った声を MiniMax H3 に渡して、しゃべる動画を作る

    第7回の動画(YouTube・3分57秒)で見せた手順を、文字で残しました。
    環境は第2回で入れたもの(VRAM 16GB・ComfyUI・MiniMax H3)に、Qwen3-TTS を1つ足すだけです。


    声の元は、MiniMax H3 に言ってもらった短い言葉

    画像
    左の画は、声の元と同じ言葉で作り直したもの(声の元を取った動画そのものではありません)

    最初に、MiniMax H3 に話してもらいます。頼むのは8秒の動画1本です。
    胸から上を写し、カメラは止めて、短い言葉を6つ続けて言ってもらいます。

    • はじめます。

    • 参照は使いません。

    • ここは間違えます。

    • 文字は描けません。

    • 場所を変えました。

    • 以上です。

    言葉の中身は、何でもかまいません。ここで欲しいのは声の感じだけだからです。
    短い文を、間を少しだけあけて並べます。

    声の感じは、一文だけ書きます。この回は「かるくて、たかい、わかい声」と書きました。

    この6つは、こちらで書いた文です。
    だから、書き起こしは、はじめから手元にあります。これが次の段で効いてきます。


    動画から、音だけを切り出す

    画像
    声の元。6つの言葉が、6つの塊になって見える

    できた動画から、音だけを切り出します。ffmpeg なら1行です。

    ffmpeg -i 声の元.mp4 -vn -ac 1 -ar 24000 sumi_ref.wav

    この回の声の元は 7.6秒でした。速さも長さも変えずに、そのまま使います。
    第7回の動画で新しく読ませた声は、すべてこの7.6秒から作りました。


    Qwen3-TTS に、声の元と書き起こしを渡す

    画像
    渡すのは「声の元」と「書き起こし」の2つ。あとは原稿を1文ずつ渡す

    次に、Qwen3-TTS という読み上げのモデルを使います。

    • このパソコンで動きます。月々のお支払いはありません(Apache 2.0)

    • 日本語を読めます

    • 数秒の声と、その書き起こしを渡すと、その声で読みます

    声をまねるには、音と書き起こしの両方が要ります。モデルが、文と音を突き合わせて声を覚えるからです。
    前の段で、言わせた言葉はこちらで書いた文でした。だから書き起こしを起こす手間がありません。

    Qwen3-TTS は、同じパソコンの中で、MiniMax H3(ComfyUI)とは分けて入れます。
    ComfyUI の環境に別の道具の部品を混ぜると、MiniMax H3 の動作に響くことがあるからです。

    長い話は、Qwen3-TTS に任せます。
    MiniMax H3 は動画の中で短い一言を言うのが得意です。説明のように長く続く話は、Qwen3-TTS で読ませます。


    原稿は、1行に1文で書く

    画像
    この回のナレーションの原稿から

    原稿の書き方は3つだけです。

    • 1行に1文。Qwen3-TTS には1文ずつ渡して読ませ、あとでつなぎます。1文ずつだと読みが安定します

    • 読みまちがえやすい言葉は、ひらがなで書く。「7.6秒」は「ななてんろくびょう」、「進行役」は「しんこうやく」。数字と、読みが2通りある漢字です

    • 長い文は、2つに分ける。「〜なので、〜です」は「〜です。だから、〜です」にします

    最後に、耳で聞いて確かめます。
    読みかたと上げ下げは、原稿を眺めても分かりません。聞いてはじめて分かります。
    気になる文だけ書き直して、その1文だけ読ませ直します。1文は約10秒で作れます。


    しゃべる動画は、先に声を作ってから

    画像
    水色が声の区間。下が、動画の指示に書いた秒

    ここからは、キャラクターが画面の中でしゃべる動画です。冒頭の自己紹介がこれです。
    順番は、声が先、動画があとです。

    1. 言わせたい文を、先に Qwen3-TTS で読ませる

    2. 1文ずつ、長さを測る(「はじめまして。」は約1秒、「この動画の、しんこうやくです。」は約2.3秒)

    3. その秒を、そのまま動画の指示に書く(「0.80秒から1.82秒まで『はじめまして。』と言う。言い終えたら口を閉じる」)

    4. 作った声も、いっしょに MiniMax H3 に渡す

    なぜ声を渡すのか。声を渡すと、口の話し始めが、その声にそろうからです。
    渡す声は、動画と同じ長さの wav にします。声を置く秒までは無音を入れておきます(上の図の波形がそれです)。

    仕上げでは、作った声をそのまま動画に重ねます。


    ComfyUI では、ノードを2つ足す

    画像
    Load Audio と MiniMaxH3AddGuide を、参照画像のノードと BasicGuider のあいだに入れる

    ComfyUI では、第2回からの参照画像のワークフローに、ノードを2つ足すだけです。

    Load Audio → MiniMaxH3AddGuide → BasicGuider
    • Load Audio:渡す声の wav を読む(ComfyUI の input フォルダに置く)

    • MiniMaxH3AddGuide:audio に声、audio_vae に音声の VAE をつなぎ、frame_idx は 0(動画の頭から)

    • BasicGuider:conditioning に MiniMaxH3AddGuide の出力をつなぐ


    口が合っているかは、0.125秒おきに並べて見る

    画像
    水色の枠が声の区間。声のあいだは開け閉めし、言い終えると閉じる

    できた動画は、口元だけを切り出して、0.125秒おきに並べて見ます。

    しゃべっている口は、開いて閉じてを速く繰り返しています。
    0.25秒おきに並べると、閉じた瞬間ばかりを拾って「声のあいだも閉じている」ように見えることがあります。
    だから細かく並べます。

    見るのは2つです。

    • 声の区間のあいだ、開け閉めしているか

    • 声のない所で、口が閉じているか

    並べた絵でおかしいと思ったところは、その前後を短い動画にして、再生して確かめます。動きは動画で決めます。


    場所を変えても、同じ声

    画像
    どれも5秒。どれも声を先に作って、MiniMax H3 に渡した

    声の元は1つのままで、場所を変えて3本作りました。

    • 午後の回廊:歩いてきて立ち止まり、小さくおじぎをして「いらっしゃいませ。」

    • 夕方の河原:横顔から振り向いて「きょうは、ここまでです。」

    • 晴れた屋上:風で乱れた髪を押さえて「かぜが、つよいですね。」

    どれも同じ7.6秒の声の元から読ませた声です。一度作った声の元は、何本でも使い回せます。


    数字(VRAM 16GB・RTX 4070 Ti SUPER)

    • 声の元:960x544・192コマ(8秒)・約4分

    • Qwen3-TTS:1文 約10秒

    • 5秒の一言:960x544・124コマ・約2分(1440x800 に潜在拡大すると約3.5分)

    • 自己紹介15秒:960x544 → 1440x800・362コマ・約10分

    動画はどれも 8ステップ・Turbo LoRA・ref_image_size = max です。


    まとめ

    [ ] 声の元は、MiniMax H3 に短い言葉を6つ。8秒・胸から上・カメラは止める
    [ ] 声の感じは一文だけ書く
    [ ] 動画から音だけ切り出す(約8秒)。速さは変えない
    [ ] Qwen3-TTS に、声の元と書き起こしを渡す。ComfyUI とは分けて入れる
    [ ] 原稿は1行1文。読みまちがえやすい言葉はひらがな。長い文は2つに
    [ ] 最後は耳で聞いて確かめる
    [ ] しゃべる動画は、先に声を作り、秒を指示に書き、声もいっしょに渡す
    [ ] 口元は0.125秒おきに並べて見る

    全文と、続き

    この記事に出したのは要点だけです。
    5本のプロンプトの全文、設定値と番号(seed)、Qwen3-TTS の入れ方と読ませるコード、
    MiniMax H3 に渡す声の作り方(コード)、ComfyUI のつなぎ方は、有料版にまとめてあります。

    次回は曲です。毎回、最後に流れている曲の作り方をお話しします。

    あなたへのおすすめ