メインコンテンツへスキップ
見出し画像

【Qwen Image 2.1・MiniMax H3】三面図から約9秒の3シーン連続動画を自動生成するワークフローを作ってみた

    こんにちは、かみもとです!

    最近、画像生成モデル「Qwen Image 2.1」と、動画生成モデル「MiniMax H3」がローカル環境でも扱えるようになり、検証がかなり盛り上がっていますね!

    画像から動画を作るImage-to-Video(I2V)はこれまでも色々と試してきましたが、「途中でキャラクターの顔や衣装が変わってしまう」「シーンをまたぐと一貫性が崩れる」という壁にぶつかった方も多いのではないでしょうか。

    今回は、キャラクターの三面図が1枚あれば、Qwen Image 2.1でキーフレームを生成し、それをMiniMax H3のFL2VA(始点・終点画像からの動画補間)に渡して約9秒(約3秒×3シーン、時間変更可能)の連続動画をComfyUI上で一発出力するワークフローを作ったので、仕組みと使い方を紹介しますー。


    背景:Qwen Image 2.1とMiniMax H3の概要

    まずは今回組み合わせる2つのモデルについて、簡単に概要をおさらいしておきます。

    Qwen Image 2.1とは

    Qwen Image 2.1は、Alibabaがオープンウェイトで公開している画像生成モデルです。

    • テキストエンコーダーに強力なQwen-VL(マルチモーダルLLM)を採用しており、複雑な自然言語の指示やプロンプトに対する追従性が高いのが特徴です。

    • 特に複数画像を参照した生成や画像編集の能力に優れており、参照画像に描かれた人物の顔立ちや服装、画風の同一性を保ちながら新しい構図を生成することを得意としています。

    • 今回のワークフローでは、三面図(正面・側面・背面)の特徴を読み取り、シーンごとのキーフレーム(K0〜K3)を作成します。

    MiniMax H3とは

    MiniMax H3は、MiniMax社が公開した動画・音声統合生成モデルです。

    • 通常のテキストから動画を生成する機能(T2V)だけでなく、開始フレームと終了フレームの2枚の画像を指定してその間を補間する「FL2VA(First-and-Last to Video Audio)」という機能もあります。

    • 有志によってコミュニティで開発された4-stepの高速化モデル(Fused/Turboモデルなど)を活用することで、RTX 4070(12GB VRAM)クラスの一般的なミドルレンジGPUでもローカル環境で動かせる実用的な速度になっています。

    • 今回は、Qwen Image 2.1で生成した4枚の画像を開始・終了フレームとして動画を生成することで、3シーンの動画を作成しています。


    このワークフローの仕組み

    このワークフロー(comfyui-qwen21-h3-3scene)では、三面図1枚とチャットAI(ChatGPTなど。ローカルLLMでも可能)が作成したプロンプトJSONを渡すだけで、キーフレームの生成から動画化・結合までが自動で行われます。

    なお、今回使用したワークフローJSONやプロンプト生成用の指示書、詳しい使い方は以下のGitHubリポジトリにあります。各々のAIに読み込ませてみてくださいね。それが一番簡単で早いです。ぶっちゃけこの記事を読むよりも・・。

    大まかな処理の流れは次のようになっています。

    画像

    一貫性を維持する工夫

    今回工夫したのは、キーフレームの生成方式です。

    通常、連番画像を編集していく際は「K0を編集してK1を作り、K1を編集してK2を作り……」という逐次編集(直列処理)をしてしまいがちです。しかし、これをやるとシーンが進むにつれて細部がどんどん崩れていく「生成ドリフト」が発生しやすくなります。

    そこでこのワークフローでは、最初の「K0」を服装や背景、照明、構図のマスター(基準)として固定し、K1・K2・K3はすべて「K0+元の三面図」を参照してそれぞれ独立して編集・生成しています。 これにより、シーン2やシーン3になっても服装の装飾や背景の家具配置がブレずに保たれやすくなっています。

    ただしその影響で、全く別のシーンへの展開は難しくなっています。

    チャットAIを活用したプロンプト自動設計

    もうひとつの便利なポイントがプロンプトの省力化です。 4枚のキーフレームと3シーン分の動画プロンプト(カメラワークや音の指示含む)を手動で整合性を持たせて書くのは非常に大変。

    そこで、同梱されている指示書「prompt_guide_ja.md」をChatGPT(チャッピー)やClaude、GeminiなどのチャットAIに添付し、三面図と一緒に「砂浜で座って微笑み、髪を耳にかけて、振り返る」といった簡単な要望を伝えるだけで、ComfyUIがそのまま読み込める7項目のJSONを一発で出力してくれるよう設計されています。

    もちろん、ローカルLLMにお任せすればムフフ(昭和)な動画も作れるわけですね!


    導入手順

    それでは、実際の導入手順を見ていきましょう。

    動作確認環境

    検証に使用した環境は以下のとおりです。Qwen Image 2.1とMiniMax H3が動く環境であれば問題ありません。同時に動かすわけでもないので、VRAMも12GBで動きます。

    • OS:Windows 11 Pro

    • GPU:NVIDIA GeForce RTX 4070(12GB VRAM)

    • ComfyUIバージョン:ComfyUI 0.37.0

    • Pythonバージョン:Python 3.13.13

    必要なカスタムノード

    ComfyUI Managerなどから、以下のカスタムノードを導入してComfyUIを再起動します。

    この辺はComfyUIにワークフローjsonファイルを入れれば赤く印がつくのでわかりやすいです。適宜、ComfyUI Managerなどでインストールしてください。

    必要なモデルと配置先

    モデルファイルは各自でダウンロードし、ComfyUIの「models」フォルダ配下の所定の場所に配置します。それぞれのモデルのURLはAIに聞いてみてくださいね!

    • Qwen拡散モデル

      • 配置先:models/diffusion_models/qwen_image_2.1_int8_convrot.safetensors

      • 配布元:Comfy-Org(Hugging Face)

    • Qwenテキストエンコーダー

      • 配置先:models/text_encoders/qwen3vl_8b_fp8_scaled.safetensors

      • 配布元:Comfy-Org(Hugging Face)

    • Qwen VAE

      • 配置先:models/vae/qwen_image_2.1_vae_bf16.safetensors

      • 配布元:Comfy-Org(Hugging Face)

    • H3拡散モデル(4-step fused)

      • 配置先:models/diffusion_models/minimax_h3_fused_refdelta_r1024_turbo8_mystic07_int8_convrot.safetensors

      • 配布元:MATLOWAI(Hugging Face)

    • H3テキストエンコーダー

      • 配置先:models/text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors

      • 配布元:Comfy-Org(Hugging Face)

    • H3映像VAE

      • 配置先:models/vae/minimax_h3_video_vae_int8_convrot.safetensors

      • 配布元:Comfy-Org(Hugging Face)

    • H3音声VAE

      • 配置先:models/vae/minimax_h3_audio_vae_fp32.safetensors

      • 配布元:Comfy-Org(Hugging Face)


    使い方

    準備ができたら、実際に動かしてみましょう。操作はとてもシンプルです。

    ステップ1:三面図を準備する

    同一人物の正面・側面・背面が1枚に収まった三面図画像を1枚用意し、ComfyUIの「input」フォルダに配置します。

    画像
    三面図の例。ChatGPTなどで作らせると良い。

    ステップ2:ワークフローを読み込む

    GitHubリポジトリ(https://github.com/sepiablue-ai/comfyui-qwen21-h3-3scene)から「qwen_h3_3scene_workflow.json」をダウンロードし、ComfyUIの画面にドラッグ&ドロップして読み込みます。

    ステップ3:チャットAIにプロンプトJSONを作らせる

    ChatGPTやClaude、Geminiなどのチャット画面を開き、リポジトリに同梱されている「prompt_guide_ja.md」をファイル添付します(添付できない環境の場合はテキストをそのまま貼り付けます)。

    さらに、ComfyUIで読み込ませた三面図画像も一緒に添付して、普通の日本語で作りたい動画のアイデアを送ります。

    プロンプト入力の例: この人物が温室で紙飛行機を持ち上げ、飛ばし、着地を見届ける。固定カメラで、台詞なし。BGMは穏やかなアコースティックギターで。

    すると、チャットAIが以下のような7つのキーを持つJSONだけを出力してくれます。

    • k0_prompt

    • k1_end

    • scene1_h3

    • k2_end

    • scene2_h3

    • k3_end

    • scene3_h3

    ステップ4:JSONを貼り付ける

    チャットAIが出力したJSONの最初の中括弧「{」から最後の中括弧「}」までをコピーします。 ComfyUIワークフローの中央上部にある【02 毎回ここだけ編集】というテキスト欄に貼り付けます。

    画像
    変更するのは基本2箇所。動画自体の時間も一応変えられる。

    ステップ5:生成を実行する

    モデル名や画像が正しくセットされていることを確認したら、「Queue Prompt」をクリックして実行します。

    生成が完了すると、ComfyUIの「output/qwen_h3_3scene/」フォルダに以下のファイルが出力されます。

    • keyframe_K0_*.png 〜 keyframe_K3_*.png(キーフレーム静止画4枚)

    • scene_01_*.mp4 〜 scene_03_*.mp4(各シーンの動画)

    • final_*.mp4(3シーンを結合した完成動画)


    結果例

    それでは、実際にこのワークフローを使って出力した生成結果を見てみましょう。 上段に「入力した三面図」、中段に「Qwen Image 2.1で生成されたキーフレーム4枚(K0〜K3)」、下段に「MiniMax H3で生成された動画」を並べた比較レイアウトで動画化しています。

    アニメ調の生成結果

    黒髪お団子ヘアのキャラクターの三面図を入力し、砂浜を歩きながらポーズをとる約9秒の動画を生成してみました。

    画像

    実際の比較動画は以下のXポストで確認できます。

    アニメ絵バージョン。キャラLoRAなし。やはり実写に比べると元絵の再現度が下がる傾向。どことなく背景も実写なので。 pic.twitter.com/NAuGGr4qgV

    — Kamimoto(かみもと) (@sep_is_heim) September 26, 2026

    シーンが進んでも、水着のデザインやお団子ヘア、波打ち際の背景が一貫して保たれているのが分かりますね。中段のキーフレームを見ても、K0(歩き始め)からK1(砂浜を前進)、K2(カメラにピースサイン)、K3(胸元を寄せるポーズ)と破綻なくポーズの変化が生成できています。

    実写調の生成結果

    こちらは実写風の女性の三面図を入力し、同様に砂浜を歩く約9秒の動画を生成した例です。

    画像

    実際の比較動画は以下のXポストで確認できます。

    https://x.com/sep_is_heim/status/2103835879785775582

    こちらも肌の質感や水着の形状、背景の水平線がシーンをまたいでも崩れずに維持されています。三面図の特徴をしっかり捉えつつ、各シーンの終点に向けて自然に補間されていますね。

    Qwen Image 2.1でキーフレームを作っているため、アニメより実写の方が得意な感じですねー。

    うまく生成するためのポイント

    三面図の文字や枠線の写り込みに注意

    三面図に書かれている文字や分割線、余計な小物見本をAIが衣装や背景と誤認してしまうことがあります。生成されたJSONの「k0_prompt」を確認し、不要なアクセサリーや文字が言及されていないかチェックしておくと安全。

    背景の可動要素は映像描写で指定する

    海の波や揺れる木々の葉、風に吹かれる髪などは、音の指定(overall_soundscape)だけでは映像内で静止画のようになってしまうことがあります。「scene*_h3」のテキスト内で「波が足元に打ち寄せている」「髪が風に揺れている」と映像の動きとして明記することが大切ですね。

    アニメと実写の切り替え

    三面図がアニメならアニメ調、実写なら実写調としてプロンプトが設計されます。アニメと実写は別々に1回ずつ実行するようにしてください。

    音声はシーン間で途切れる点に注意

    H3は各シーン(約3秒)ごとに映像と音声を独立して生成するため、シーンの境目(約3秒ごと)で環境音やBGMが途切れたり急変したりします。結合されたfinal動画もクリップの音声を単純に連結しているだけなので、通して流れる滑らかなBGMや音響が必要な場合は、動画編集ソフト等で後から外部BGMを重ねるのがおすすめです。

    AIが出力するプロンプトは、各シーン・キーフレーム画像向けのプロンプトになっているので、最悪手動でプロンプトを修正すると直しやすいです。


    まとめ

    今回のワークフローについて、ポイントをまとめるとこんな感じです。

    • 三面図1枚から、3シーンの連続動画を一括生成

    • Qwen Image 2.1をマスター参照(K0独立編集)として使うことで、衣装や背景の一貫性が保たれやすい

    • MiniMax H3(FL2VA)の始点・終点画像補間により、カメラワークやポーズの遷移がスムーズ

    • チャットAI(prompt_guide_ja.md)に三面図と文章を投げるだけで、複雑なプロンプトJSONを丸投げ作成できる

    • 4-stepのfusedモデル採用により、RTX 4070クラスのローカル環境でも現実的な時間で動作する

    ワークフローファイル一式やプロンプト指示書はGitHubにて公開していますので、気になった方はぜひダウンロードして試してみてくださいねー!


    最後まで読んでいただき、ありがとうございました!

    もしこの記事が「参考になった」「面白かった」と感じていただけたら、画面下の【スキ(ハートマーク)】を押していただけると、検証の苦労が吹き飛ぶほど励みになります!

    今後も気になるローカルAIの検証や便利ツールなどを発信していきますので、フォローもぜひよろしくお願いします!


     
     
    かみもと ひろた(神下紘汰)。ソフトウェアエンジニア+R&Dエンジニア。Codex + Claude使い(Geminiはオマケ)。コスパの良いRTX4070のローカル環境で画像生成・音声生成・LLMを実行させたり、アプリ開発したり、最新技術のフォローアップをしたりします。

    あなたへのおすすめ