
【創作系日記】『真鍮の万華鏡』のAIアニメ化顛末……
こちら、例の半自動スクリプトを使ってAIアニメ化してみました。今回は、フレーム画像に、いつものChatGPTではなく、Qwen-Image-2.1(導入方法等は、この記事が詳しいです)を使ってみました。
Qwen Imageは、Qwen-Image Edit 2511のときも思ったのですが、かなり綺麗な絵がでます。しかし、まずはキャラのアンカー画像を生成させて、それをリファレンスに映像を生成させると、かなり引きずられるようです:

これが……例えば、

こんな感じで、何故着衣のまま風呂に入る……という感じに(苦笑)。
こういうモノは、一つずつ、ComfyUIのリファレンス可能なワークフローで:

……描き直して貰いました。先のQwen Image Editと同じような感じで修正は可能ですね! ただ、(量子化)モデルが非常に軽くて、生成スピードもz-image turboと感覚的には同じくらいな感じなんですが――プロンプトの理解能力はあと一歩という感じで、前後の立体関係とか色々は、なかなか理解してくれず、かなり難儀した感じで、結局、直しきれていないところもあったりなかったり(苦笑)。
そもそも、どうやっても万華鏡として扉絵のものしか出せず、以前、Stable Diffusionでウィエンにオカリナを吹かせた絵を描こうとして四苦八苦したのを思いだしますた……。いえ、たぶん、これがQwenファンタジー仕様の万華鏡ということで。
で、ダークホラーな感じなので暗い画像で出力してくれたんですが、MiniMax H3は、ちょっとシーンの尺を長くすると明るくしようとするんで、プロンプトを変更して何回もクリップを作り直す……という感じで対応しました(でも直しきれなかったり……)。先の後書きに書いた通り、元々のプロンプトは、Gemini先生に作ってもらったんですが、手動&Google翻訳で翻訳して色々、直した感じですね。Google翻訳は、英語的に素直な訳が出るので、こういうAI用プロンプトとかには良い感じではあるんですが……。
ちなみに、今回は、2枚挿しを使って高速化するように、Codexさんにかなりトリッキーなことをしてもらいました。
元々のバージョンでは、GeForce RTX 5060 Ti 16GBを1枚だけ使って、モデルを読み込む度にVRAMから一回毎に全クリアして、一つのクリップを描画するという感じで、サンプリングステップ8ステップで、5秒のクリップを生成するのに19分かかっていました。
それを、今回、Codexさんに2枚挿しに最適化してもらいました。一枚の方に、テキストエンコーダーのQwenの軽いバージョンを常駐させ、VRAMのメモリー管理を徹底してもらって、ロード時間を減らして高速化したという感じです。結果的に、同じ条件の5秒のクリップが、9分弱で描画できるようになりました。倍速ですね!
もうこれ以上の高速化は、このままのワークフローだと難しそうです。3ステップのLoRAとかは、そもそもMiniMax H3 Directorノードで使えなかったんで。嗚呼、もっとVRAMと高速カードを……。
そもそも、モデルを色々ダウンロードしすぎてSSDを圧迫したんでHDDに置いているのがちょっと問題なんで、余っているOptane 16GBを使ってディスクキャッシュとかにできないものか考えます(現在、普通のSSDは超高価……高くなる前に、買っておけばようかったなあ)。
ということで、今宵は、それでは、また!