メインコンテンツへスキップ
見出し画像

Museに「この画像を動かして」と頼んだら、自宅MacのComfyUIで動画が完成した話

    Qwen Image 2.1、ChatGPT、LTX-2.3 10Eros、Tailscaleを使い、画像から動画化、検品までつないでみました。

    はじめに

    自宅のMac miniで動かしている画像・動画生成AIを、チャットAIエージェントのMuseから操作できるようにしました。

    最初の目標は、MuseからComfyUIに接続して、画像を1枚生成することでした。そこから試行錯誤を重ね、画像の生成、動画化、完成ファイルの取得、結果の確認までを、チャットから進められるようになりました。

    画像
    動画化から検品、連結までやってくれる

    2026年10月29日には、Qwenで新しく生成した画像をMuseが受け取り、10Erosで動画化するところまで一連の処理を完走しています。この記事に掲載するSFWの作例は、別途ChatGPTで生成した画像を開始画像として使ったものです。

    今回は、10月27日から30日にかけて試した構成と、生成時間、途中でつまずいた点を紹介します。

    ※この記事は私の環境での実践記録です。カスタムノードやモデルの配置を含め、同じ設定がすべての環境で動くことを保証するものではありません。

    どんな構成なのか

    Museはクラウド上のLinux VMで動作し、画像や動画の生成は自宅のMac miniが担当します。両者はMuse側の接続プロキシとTailscaleを経由してつながっています。

    Muse(指示の解釈・ワークフローの操作・結果の確認)
        ↓
    接続プロキシ → Tailscale
        ↓
    自宅のMac mini / ComfyUI
        ├─ Qwen Image 2.1:画像生成
        └─ LTX-2.3系 10Eros:画像から動画を生成
        ↓
    Museが完成ファイルを取得し、確認して返す

    Museが生成指示と結果の管理を行い、Qwenと10Erosの推論処理はMac miniで実行します。この2つは画像・動画生成用クラウドAPIに従量課金する構成ではありませんが、Muse自体の利用料金や自宅PCの電力消費はあります。掲載する作例の開始画像はChatGPTで生成しているため、その画像の生成にはChatGPT側を利用しています。

    使用した環境

    | 項目 | 構成 |
    |---|---|
    | PC | Mac mini M4 Pro、メモリ48GB |
    | 生成UI | Pinokio経由で導入したComfyUI v0.38.2 |
    | 画像生成 | Qwen Image 2.1、Viggle Turbo v0.3 LoRA。掲載作例の開始画像はChatGPTで生成 |
    | 動画生成 | LTX-2.3系 10Eros |
    | 実行方式 | 画像とGGUF動画は主にMPS、別途MLX動画経路も使用 |
    | ネットワーク・操作 | Tailscale、Muse |

    チップ型番は手元のPC構成に基づきます。ComfyUI APIからはMPSとメモリ量を確認しましたが、APIの取得情報だけでチップ型番まで確認したわけではありません。

    画像生成は、Qwen Image 2.1のint8量子化モデルにViggle TurboのLoRAを組み合わせました。今回使った設定は、6ステップ、CFG 1.0、Euler / simple、LoRA強度1.0で、画像サイズは主に720×1280です。

    この構成で生成はできました。ただし、Viggle公式が案内する専用SigmaスケジュールやLoRA適用方式とは異なります。公式構成との品質比較はまだ行っていません。Viggleのモデル説明

    MuseからComfyUIを操作する

    MuseはComfyUIの画面をマウスで操作するのではなく、HTTP APIにワークフローを送っています。

    ワークフローはJSON形式で扱い、Museがプロンプト、シード、解像度、フレーム数などを設定します。ジョブの投入後は、ComfyUIから返る`prompt_id`を使って状態を追跡し、完成ファイルを取得します。

    主に使ったのは、ノード情報を調べる`/object_info`、待ち行列を確認する`/queue`、画像を送る`/upload/image`、ジョブを投入する`/prompt`、結果を確認する`/history/{prompt_id}`、ファイルを取得する`/view`です。ComfyUIのAPIルート

    画像から動画までつなぐ

    今回実現したかったのは、画像生成と動画生成の受け渡しです。

    実験の一つでは、Qwenで画像を生成し、Museが画像を確認してComfyUIへ渡し、10Erosで動画を生成しました。完成後はMuseがファイルを取得し、映像の情報やフレームを確認します。

    記事に掲載する「休日の朝、カフェデートまで」のSFW作例では、開始画像をChatGPTで生成しました。その画像をMuseがComfyUIへ渡し、同じ10ErosのMLX経路で動画化しています。開始画像と完成動画は、同じ生成ジョブの組み合わせです。

    動画化の前に私が画像を確認して採否を決めることもあります。途中の確認を挟むかどうかは、指示に応じて変えています。

    動画生成では、次の2経路を試しました。

    • GGUF経路:10Eros v1 Q4_K_MをComfyUIのGGUFローダーとLTXV系ノードで使用。今回の構成では無音動画を出力。

    • MLX経路:10Eros v1.5 DMD Hybrid v2 MLX Q8とGemma 3 12B MLX 4bitを使用。音声付き動画を出力。

    MLX経路には、開発中のLocal Video Studioと同じ生成ランタイムを呼び出すカスタムノードを追加しました。ComfyUI上のワークフローは3ノードです。

    LoadImage → LVSQuickPreviewI2V → SaveVideo

    Museは、このノードにプロンプト、シード、画面方向、解像度、フレーム数、fps、音声の有無を渡せます。複雑な生成処理はノード内から実行するため、Muse側で扱うワークフローは比較的シンプルになりました。

    生成時間はどのくらいか

    画像生成は、720×1280前後・6ステップで1枚あたり約2〜5分でした。作業記録に基づく目安で、条件を固定したベンチマークではありません。

    動画については、確認できた成功例を挙げます。

    | 経路・設定 | 解像度 | 長さ・fps | 所要時間の目安 |
    |---|---|---|---|
    | GGUF | 448×768 | 約6秒・12fps | 約16分 |
    | MLX Quick | 320×512 | 約6秒・12fps | 約1分45秒〜2分台 |
    | MLX Quick | 320×512 | 約6秒・24fps | 約2分36秒 |
    | MLX High | 640×1024 | 約6秒・24fps | 約9分30秒台 |
    | MLX High | 640×1024 | 約8秒・24fps | 約13分 |
    | MLX Ultra | 1280×768 | 約6秒・12fps | 約7分29秒 |
    | MLX Ultra | 768×1280 | 約8秒・24fps | 約21分 |

    Ultraの1280×768・12fpsは、CodexからComfyUIへ投入したテストです。768×1280・24fpsはComfyUIの成功履歴で2件確認しました。どちらも音声付きです。

    GGUFとMLXでは10Erosのバージョン、量子化、内部処理、出力条件が違います。この表だけから、実行方式を変えたことによる純粋な速度差は求められません。時間は画像、長さ、解像度、その時のマシンの状態によっても変わります。

    なお、544×960で試したGGUFジョブのうち1件は、約24分半の処理後、ディスク容量不足で最終出力に失敗しました。成功例の時間とは分けて記録しています。

    メモリにはどのくらい余裕があったか

    Ultraの1280×768・約6秒・12fps・音声ありのテストでは、Mac全体の空きメモリを10秒間隔で記録しました。計測した範囲での最低値は約9.5GiBでした。

    これは瞬間的なピークを捉えた値ではなく、モデル単体の最大メモリ使用量でもありません。他のアプリが動いていれば余裕は変わります。

    同じ約6秒でも、24fpsにするとフレーム数は73から145に増えます。1280×768・145フレームの条件ではメモリ負荷をまだ検証していません。高解像度のジョブは1本ずつ、マシンの状態を見ながら試す運用にしています。

    Museによる検品

    生成後、Museは`ffprobe`で解像度、fps、フレーム数、長さ、音声ストリームの有無を確認します。さらに`ffmpeg`でフレームを取り出し、内容を画像として確認します。

    通常の確認では、開始・中間・終了の3フレームを中心に、顔や人物の特徴、手足、衣装、構図、鏡の反射などを見ています。実際に、腕の動きがおかしいケースや、鏡の中の人物の首が崩れるケースを発見し、Museが問題を報告して修正案を出しました。

    掲載作例の検品では、中間フレームでマグカップのコーヒー面が見えなくなっている点も確認しました。

    3フレームの確認で動画全体の品質が保証されるわけではありません。短い時間だけ起きる破綻は見逃す可能性があるため、最終的な採否は私が判断しています。

    実際に詰まったところ

    Tailscaleにつないでも、そのままでは届かなかった

    MuseのVMをTailscaleに参加させても、通常の接続経路ではMacに届きませんでした。経路を調べ、Muse側の専用トンネルプロキシを経由することで、ComfyUI APIに接続できました。

    開始画像をアップロードしても読めなかった

    動画化のためにアップロードしたPNGが、ComfyUIで`Invalid data`になるケースがありました。JPEGに変換して再アップロードすることで回避できましたが、根本原因は特定できていません。

    約24分の生成後、ディスク容量不足で失敗

    動画生成が進んだあと、最終出力の段階で`No space left on device`が発生しました。それ以降、長時間の動画生成前には空き容量を確認する運用にしています。

    Muse側が再起動しても、Mac側では処理が続いていた

    バッチ処理中にMuseの実行環境が再起動し、管理用スクリプトが止まったことがありました。その間もComfyUI側では生成が続いていました。

    復旧時は、保存していた`prompt_id`を使って履歴を確認し、完了済みの結果を回収しました。通信が途切れたときに同じジョブを自動再投入すると二重生成につながるため、まず履歴を調べる運用にしています。

    Local Video Studio本体への直接接続は未完成

    別途開発しているLocal Video StudioのREST APIにも、Museから直接つなごうとしましたが、認証エラーを解決できていません。

    今回成功したMLX動画生成は、Local Video Studio本体のREST APIをMuseが直接操作したものではなく、ComfyUIのカスタムノードから同じ生成ランタイムを呼び出したものです。

    便利さと、公開前に確認すること

    Museがプロンプトの準備、生成指示、完了確認、ファイル取得、検品を担当することで、生成のたびにComfyUIの画面を開いて操作する手間は減りました。操作時間の削減率は計測していませんが、私は「何を作るか」「どれを採用するか」の判断に集中しやすくなりました。

    一方、今回のComfyUIにはAPI認証を設けていません。接続可能な端末から操作できるため、公開範囲の管理が必要です。特に、すべてのネットワークインターフェースで待ち受ける場合は、Tailscaleだけでなく自宅LANからの到達範囲も確認します。

    また、ComfyUIが出力したPNGには、プロンプトやワークフローがメタデータとして含まれることがあります。動画も保存方法によっては情報を含みます。公開前には、メタデータと、画面写真に写るIPアドレス・ホスト名・認証情報を確認します。

    これから試したいこと

    • Ultra・約6秒・24fpsのメモリ負荷の計測

    • 生成時間と失敗率の継続的な記録

    • 3フレームより細かい動画の品質確認

    • 動画延長や開始・終了フレームの指定

    • Local Video Studio本体のAPI・MCP連携

    • 複数のローカル生成ワークフローの使い分け

    画像を作り、動かし、結果を確認するまでを、チャットから依頼できるようになりました。まだ検品やメモリ管理には人の判断が必要ですが、自宅の生成環境を遠隔で使うための一歩になったと思います。

    参考資料と利用条件

    Qwen Image 2.1とViggle Turboには、非商用の研究・評価目的に関するライセンス条件があります。LTX-2.3と10Erosも別途、それぞれの利用条件を確認する必要があります。記事の収益化や生成物の利用が許されるかは、実際の公開形態を前提に確認してください。

    ※生成時間と成功例は、2026年10月27日〜30日の手元の作業記録に基づきます。品質の保証や、モデル間の厳密な性能比較を目的とした測定ではありま
    せん。


     
     
    ゲームのプランナーをしています。日々のアウトプットの場として雑多に記事を投稿していきます。二児の父です。日々勉強📚

    あなたへのおすすめ