メインコンテンツへスキップ
見出し画像

【ゼロからはじめる】SD1.5の自作LoRAに、棒人間でポーズをとらせてみた!【ControlNet】

    こんにちは。

    前回は、自作のLoRAで白衣の子のイラスト集を作りました。
    いろいろな場面を出せるようになりましたが、ジャンプや、傘をさすなど複雑なものはうまく出ずに載せられませんでした。

    そこで今回は、ポーズを画像で渡せる「ControlNet」を試してみます。

    そして今回の結果がこちらです。

    画像
    左の絵のポーズを、白衣の子にとってもらいました。

    ここからは、この結果に至るまでの過程です。

    プロンプトだけでポーズを書く

    まずは、前回と同じようにプロンプトだけで出してみました。
    モデルはHassaku v1.3、LoRAは自作の hakuinoko2(強さ1.0)です。
    512×768で出して、前々回のRTX Video Super Resolutionで2倍にしています。
    5枚ともSeedだけを変えています。

    hakuinoko, 1girl, solo, full body, jumping, arms up, open mouth, blue sky
    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    ジャンプ。

    5枚ともジャンプはしていますが、腕の上げ方や足の曲げ方は1枚ずつ違います。

    hakuinoko, 1girl, solo, full body, standing, (holding umbrella:1.3), transparent umbrella, rain, street
    画像
    傘をさす。ネガティブは上と同じです。

    ControlNetとは

    ControlNetは、画像から取り出した「骨組み」や「線」を、絵を描くときの下書きとして渡す追加のモデルです。
    プロンプトとLoRAはそのままで、構図だけを画像で縛れます。

    今回は、ポーズの元の絵を読み込んで、そこから骨組みや線を取り出し(前処理)、ControlNetのモデルと一緒にKSamplerへ渡しました。
    取り出すものによって、使うモデルが変わります。
    今回は、骨組みを取り出すOpenPoseと、輪郭線を取り出すCannyの2つを比べます。

    ポーズの元の絵は、Codexに描いてもらいました。
    白衣の子とは別の、黒髪で赤いジャージの子です。
    ジャンプと、透明な傘をさす絵の2枚です。

    ノードを用意する

    ワークフローの全体はこうなりました。
    前回のワークフローに、左下の4つと、真ん中上の2つを足しています。

    画像
    ワークフローの全体。

    ControlNetのモデルは、control_v11p_sd15_openpose_fp16.safetensors と control_v11p_sd15_canny_fp16.safetensors を使いました。
    どちらも約723MBで、Hugging Faceの comfyanonymous/ControlNet-v1-1_fp16_safetensors にあるものと同じファイルです。
    ComfyUIの models\controlnet に置くと読めます。

    画像
    Apply ControlNet と Load ControlNet Model。

    Load ControlNet Model でモデルを選び、Apply ControlNet でプロンプトの後ろにつなぎます。
    強さは1.0、開始は0、終了は1.000のままです。
    この2つはComfyUIに最初から入っています。

    ①OpenPoseで骨組みを渡す

    OpenPoseは、絵の中の人物から、肩・ひじ・ひざなどの位置を取り出して、棒人間にします。
    この前処理のノードはComfyUIに入っていないので、comfyui_controlnet_aux というカスタムノードを足しました。

    画像
    読み込んだ絵を512×768にして、OpenPose Poseで棒人間にします。

    ポーズの元の絵は1024×1536なので、Upscale Image で出す絵と同じ512×768にしてから渡しています。
    プロンプト・LoRA・Seedは上と同じで、変えたのはControlNetを足したことだけです。

    画像
    ジャンプ。左端が取り出した棒人間。

    5枚とも、両腕を斜め上に広げた同じポーズになりました。
    銀髪の三つ編みと青い目は、LoRAの子のままです。
    服は白いワンピースのようになった絵が多く、白衣と黒いTシャツははっきりしませんでした。

    画像
    傘をさす。

    右手を胸の前に上げて、柄を持つ形は5枚ともそろいました。
    ただ、傘のサイズをはじめ、色々と違和感が残ります。
    棒人間には人の形しか入っていないので、傘はプロンプト頼みのままなことが原因だと思います。

    時間は、1枚あたり約3.5秒(2倍にする時間を含む)でした。
    プロンプトだけのときは約2.7秒だったので、1枚0.8秒ほど増えました。
    VRAMの最大は3,310MiBから4,014MiBに増えました。
    最初の1枚だけは、モデルの読み込みで約28秒かかっています。

    ②Cannyで線を渡す

    Cannyは、絵の中の輪郭線を取り出して、白い線の絵にします。
    こちらはComfyUIに最初から入っている Canny ノードで取り出せます。

    画像
    OpenPose Pose を Canny に替えただけです。

    しきい値は、ノードの初期値の0.4と0.8のままです。
    ControlNetのモデルもCanny用に替えました。

    画像
    ジャンプ。左端が取り出した線。
    画像
    傘をさす。

    ポーズは元の絵とほぼ同じで、傘も5枚とも頭の上に開きました。
    ところが、髪は三つ編みが消えて、元の絵と同じボブになっています。
    服も、上着・短パン・スニーカーと、元の絵の服の形に寄りました。

    Cannyは、ポーズだけでなく、髪型や服の線まで写してしまいました。
    時間とVRAMは、OpenPoseとほぼ同じ(1枚約3.5秒、VRAMの最大4,014MiB)でした。

    3つを並べる

    同じSeedではありませんが、それぞれの5枚から1枚ずつ並べました。

    画像
    左から、ポーズの元、プロンプトだけ、OpenPose、Canny。

    OpenPoseは人の形だけ、Cannyは髪や服の線まで、元の絵から持ってきています。

    ついでに試す

    Cannyの強さを1.0から0.5に下げてみました。
    傘の絵で、Seedは同じ5つ、変えたのは強さだけです。

    画像
    上が強さ1.0、下が0.5。

    0.5でも、傘は5枚とも頭の上に開いたままでした。
    そのうえで、三つ編みと白衣のポケット、黒い靴が戻ってきました。
    短パンも消えています。

    今日わかったこと2つ

    1. OpenPoseはポーズだけを渡せる。髪型や顔はLoRAの子のままだが、傘のような持ち物は伝わらない

    2. Cannyは線を全部渡す。持ち物まで写せるが、髪型や服も元の絵に寄る。強さを0.5に下げると、LoRAの子に戻ってきた

    次は、プロンプトの書き方を試してみたいと思います。


    今回使ったワークフローです。OpenPoseとCannyを1つずつ分けてあります。モデルとLoRAは含まれていません。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ