
Qwen-Image2.1 ControlNet 参照画像の同一性を維持してDepthで書き換えられる
前回もQwen-Image2.1のControlNetをやってみましたが、使いやすそうなカスタムノードがあったので、今回はそれをやってみます。
何ができるか先に言っておくと、

左の参照画像を、真ん中のポーズ画像から作ったDepthの情報を使って、

ポーズを変えられます。
では、紹介します。
ComfyUIのcustom_nodeフォルダに、git cloneします。
workflowフォルダに、各ControlNet用のワークフローが置いてあるので、好きなものを使います。
今回はDepthを使おうと思いますが、参照画像も使いたいので一部修正してみます。
まず、qwen21_union_depth.jsonをComfyUIにポイッとしてみます。

こんな感じです。とてもシンプルでわかりやすい。
でも、よく見てみると、サンプリングのところが変です。

正しく直します。

seedはランダムにしてもいいですが、とりあえずFixedに。
stepsは40もいらないと思うので、30に減らします。
次に参照画像を追加します。

このノードにimageのインプットがあるので、ここにLaod Imageをつけて、vaeもつなぎます。プロンプトは、
Edit the reference image to follow the pose while preserving its subject and visual style.
にします。
つぎにDepthの画像はノードで生成できるようにします。
今は、Depthの画像をセットするようになっています。

これを普通の画像をDepthに変換するように、Depth Anything V2をはさみます。変換結果が見えるようにPreview Imageもつけます。

Load Modelの後ろにAttentionが何も無いのでSageAttentionを追加します。kitchenでもなんでもいいと思います。

KJNodesを使います。

あってもなくてもいいですが、ちょっとは処理が速くなると思います。
全体像がこんな感じです。とてもシンプル。最近多いサブグラフも無いし。

では、元絵になるキャラを作ります。
これはChatGPTで適当に作ります。
フォトリアルな16人に異なるキャラを書いてっていうと書いてくれます。

この中から、○番を書き出してっていえば、書き出してくれます。

次にポーズ集を作ります。
これもChatGPTにポーズ集を異なる25個のポーズで書いてって言えば作ってくれます。

これも○番を書き出してって言えば書き出してくれます。

これでいってみよう。

デフォルトでは、strengthが1.0、end_percentも1.0になっているので、これを調整しておきます。
strengthが1.0では強すぎて、Depthの形そのものになってしまいます。
end_percentは0.3くらいで十分です。

では、実行してみます。

どうかな。

失敗。うまく行きませんでした。
Latentのサイズを大きくしてみます。

これでどうだ。

おー、ばっちりです。
元のキャラの雰囲気を保ったまま、見えていない部分の追加も自然にできています。そして、ポーズもそのものです。

別のポーズもやってみます。

ではいってみよう。

どうかな。

いいね。

ちなみに、strengthを1.0に上げてみると、

こんなふうに、髪型もDepthそのものになって、背景も消えてしまう。

逆に、Strengthを0.6に下げてみると、

0.6だと全く変化なしになる。
0.65がちょうどいい。
元絵を別のものにしてみよう。

いってみよう。

どうかな。

Strengthは0.65だけど、背景が消えた。
衣装もポーズの画像に随分引っ張られている。
Strengthを下げてみよう。

あまり変わらんね。
もっと下げようか。

違うポーズになった。
なんとなく、Depthの白い部分の三角な感じに出来上がっているけど、これは違います。
ポーズを他の画像にしてみます。
ポーズだけの画像ではなくて、適当な別の画像です。

どうだろ。

あら、二人になった。
Strengthを0.68にして、end_percentを0.5にして強めてみよう。

まぁまぁいい感じになったか。
別のもので。
こんなのはどうかな。



いいね。

ポーズを別の画像にしてみよう。


これもいける。

ということで、これらはChatGPTでもできるけど、肌色が多くなると拒否されがちなので、ローカルならできることも増えます。
ではまた。