メインコンテンツへスキップ
見出し画像

Qwen-Image2.1 ControlNet 参照画像の同一性を維持してDepthで書き換えられる

    前回もQwen-Image2.1のControlNetをやってみましたが、使いやすそうなカスタムノードがあったので、今回はそれをやってみます。


    何ができるか先に言っておくと、

    画像

    左の参照画像を、真ん中のポーズ画像から作ったDepthの情報を使って、


    画像

    ポーズを変えられます。




    では、紹介します。



    ComfyUIのcustom_nodeフォルダに、git cloneします。


    workflowフォルダに、各ControlNet用のワークフローが置いてあるので、好きなものを使います。


    今回はDepthを使おうと思いますが、参照画像も使いたいので一部修正してみます。


    まず、qwen21_union_depth.jsonをComfyUIにポイッとしてみます。


    画像

    こんな感じです。とてもシンプルでわかりやすい。

    でも、よく見てみると、サンプリングのところが変です。


    画像
    なんかズレてる


    正しく直します。


    画像

    seedはランダムにしてもいいですが、とりあえずFixedに。

    stepsは40もいらないと思うので、30に減らします。



    次に参照画像を追加します。


    画像

    このノードにimageのインプットがあるので、ここにLaod Imageをつけて、vaeもつなぎます。プロンプトは、

    Edit the reference image to follow the pose while preserving its subject and visual style.

    にします。



    つぎにDepthの画像はノードで生成できるようにします。

    今は、Depthの画像をセットするようになっています。


    画像


    これを普通の画像をDepthに変換するように、Depth Anything V2をはさみます。変換結果が見えるようにPreview Imageもつけます。


    画像


    Load Modelの後ろにAttentionが何も無いのでSageAttentionを追加します。kitchenでもなんでもいいと思います。


    画像

    KJNodesを使います。

    画像

    あってもなくてもいいですが、ちょっとは処理が速くなると思います。



    全体像がこんな感じです。とてもシンプル。最近多いサブグラフも無いし。


    画像


    では、元絵になるキャラを作ります。

    これはChatGPTで適当に作ります。


    フォトリアルな16人に異なるキャラを書いてっていうと書いてくれます。

    画像

    この中から、○番を書き出してっていえば、書き出してくれます。


    画像


    次にポーズ集を作ります。

    これもChatGPTにポーズ集を異なる25個のポーズで書いてって言えば作ってくれます。


    画像

    これも○番を書き出してって言えば書き出してくれます。


    画像


    これでいってみよう。


    画像

    デフォルトでは、strengthが1.0、end_percentも1.0になっているので、これを調整しておきます。
    strengthが1.0では強すぎて、Depthの形そのものになってしまいます。
    end_percentは0.3くらいで十分です。


    画像
    Strengthは0.65


    では、実行してみます。


    画像


    どうかな。



    画像
    なんだこりゃ

    失敗。うまく行きませんでした。




    Latentのサイズを大きくしてみます。


    画像
    1024から1280に


    これでどうだ。



    画像


    おー、ばっちりです。

    元のキャラの雰囲気を保ったまま、見えていない部分の追加も自然にできています。そして、ポーズもそのものです。


    画像


    別のポーズもやってみます。


    画像


    ではいってみよう。



    画像


    どうかな。



    画像


    いいね。


    画像


    ちなみに、strengthを1.0に上げてみると、



    画像


    こんなふうに、髪型もDepthそのものになって、背景も消えてしまう。


    画像




    逆に、Strengthを0.6に下げてみると、


    画像


    0.6だと全く変化なしになる。

    0.65がちょうどいい。



    元絵を別のものにしてみよう。


    画像


    いってみよう。


    画像


    どうかな。



    画像


    Strengthは0.65だけど、背景が消えた。

    衣装もポーズの画像に随分引っ張られている。



    Strengthを下げてみよう。



    画像
    0.60


    あまり変わらんね。

    もっと下げようか。


    画像
    0.57

    違うポーズになった。

    なんとなく、Depthの白い部分の三角な感じに出来上がっているけど、これは違います。



    ポーズを他の画像にしてみます。

    ポーズだけの画像ではなくて、適当な別の画像です。


    画像


    どうだろ。


    画像
    0.65


    あら、二人になった。



    Strengthを0.68にして、end_percentを0.5にして強めてみよう。



    画像
    0.68

    まぁまぁいい感じになったか。




    別のもので。

    こんなのはどうかな。

    画像


    画像



    画像

    いいね。

    画像



    ポーズを別の画像にしてみよう。


    画像



    画像

    これもいける。


    画像


    ということで、これらはChatGPTでもできるけど、肌色が多くなると拒否されがちなので、ローカルならできることも増えます。




    ではまた。

     
     

    Yuki

     
     
    最近はComfyUIで、メカニカルガールとかCyberpunkとか描いてます。

    あなたへのおすすめ