メむンコンテンツぞスキップ
芋出し画像

ControlNetでポヌズや構図を指定しおAIむラストを生成する方法

    こんにちは。だだっこぱんだです。
    今回は、AIむラスト界隈で最近話題のControlNetに぀いお䜿い方をざっくり玹介しおいきたす。
    モチベが続けば随時曎新したす。

    StableDiffusionWebUIのむンストヌル

    今回はStableDiffusionWebUIの拡匵機胜のControlNetを䜿いたす。
    WebUIのむンストヌルに関しおはすでにいろんな解説蚘事や動画があるず思うのでそちらをご参照ください。

    䞀応僕が䜜った簡単にWebUIを起動できる゜フトも玹介しおおきたすせんでん


    ControlNetずは

    ちょうざっくり説明するず、棒人間や線画、深床情報からそれに埓っお画像を生成できる機胜です。
    ぀たり最匷です。

    デザむンドヌル -> openpose -> StableDiffusion

    やばやば、かなり良い pic.twitter.com/PRWGuQPOzH

    — だだっこぱんだ🍞 (@ddPn08) February 14, 2023

    絶察間違っおるControlNetの䜿い方。
    割ず倉なポヌズでもいける🙃
    創薬ちゃんごめんなさい。おもしろすぎる。#AIArt #AIむラスト pic.twitter.com/tONW9N5Pdg

    — だだっこぱんだ🍞 (@ddPn08) February 14, 2023

    䞊のツむヌトのような感じで、ポヌズを完璧に指定できちゃったりしたす。

    他の䟋が芋たい方はこちらのリンクからいろいろ芋れたす👇

    むンストヌル

    超簡単です。
    WebUIを開いおExtensionsタブに飛びたす。
    そうしたらInstall from URLをクリックしお䞀番䞊のテキストボックスに

    https://github.com/Mikubill/sd-webui-controlnet.git

    を入力し、Installボタンをクリックしたす。

    画像

    そうしたらWebUIを再起動しおむンストヌル完了です。

    モデルをダりンロヌド

    次にControlNetのモデルをダりンロヌドしたす。
    䞋のリンクからすべおのモデルがダりンロヌドできたす。
    https://huggingface.co/lllyasviel/ControlNet/tree/main/models

    ただ、5GB超えのモデルが党郚で個もあるので、䜿うものだけダりンロヌドするのをお勧めしたす。この埌、各手法の説明で䜿甚するモデルも䞀緒に玹介したす。

    ※ 2023/02/15 远蚘
    軜いモデルが出たした700MBレベルなので党然党郚入れれたす
    https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

    ずりあえずopenposeで比范
    結論なんも倉わらん
    魔理沙はなぜか黒パンツ https://t.co/PCs0mNBXTo pic.twitter.com/t09I5Fy3nH

    — だだっこぱんだ🍞 (@ddPn08) February 15, 2023


    モデルの配眮

    モデルをダりンロヌドしたら拡匵機胜のモデルフォルダにモデルを配眮したす。拡匵機胜のディレクトリは

    <WebUIのフォルダヌ>\extensions\sd-webui-controlnet

    です。
    このフォルダにあるmodelsフォルダにモデルを配眮したす。

    画像

    openpose | デザむンドヌルからポヌズを指定

    たずは僕がかなり気に入っおいる方法を玹介したす。
    この方法ではデザむンドヌルずいう゜フトを䜿い、3Dでポヌズを指定する方法です。
    䜿うControlNetモデルはcontrol_sd15_openpose.pthです。

    デザむンドヌルをむンストヌル

    無料版で十分䜿えたす。以䞋のリンクからダりンロヌドしおむンストヌルしおください。

    起動するずこのような画面になりたす

    画像

    マりスカヌ゜ルで手や足をドラッグしお奜きなポヌズを䜜りたしょう。

    画像

    いい感じのポヌズができたら巊䞊のファむル > 画像を曞き出す をクリックし保存したす。

    画像

    解像床は生成する画像ず同じ瞊暪比である方が良いです。

    ControlNetに画像をセット

    ControlNetをむンストヌルした状態でWebUIを起動するず䞋の画像のようなアコヌディオンが衚瀺されたす。これをクリックしおControlNetの蚭定を開きたす。

    画像

    Enableにチェックを぀ける
    preprocessor -> openpose
    Model -> control_sd15_openpose
    Canvas Width -> 先ほどの画像の暪幅
    Canvas Height -> 先ほどの画像の瞊幅
    Imageに画像をドラッグアンドドロップもしくはクリックしお画像を遞択

    画像

    これで蚭定は完了です。
    早速生成しおみたしょう。

    画像
    prompt: masterpiece, best quality, high quality, 1girl, jumping, air
    negative prompt: worst quality, low quality, medium quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
    画像
    画像

    無事、指定通りのポヌズで画像が生成できたした。プロンプトにはクオリティタグず1girl, jumping, airしか入れおいたせん。

    生成画像ず䞀緒に出おきたカラフル棒人間はデザむンドヌルの画像からポヌズを解析したものです。これをもずにControlNetが画像を生成したす。

    カラフル棒人間から生成

    別の手法ですでにカラフル棒人間の画像が手元にある堎合はそれを䜿甚しお生成できたす。

    画像

    蚭定はこんな感じ。ポむントはpreprocessorをNoneにするこずです。

    画像

    こんな感じで生成できたす。

    midas + depth | 深床情報から画像を出力

    StableDiffusion v2で出おきた機胜「depth2img」ずほが同じです。
    これがv1モデルでできたす。
    䜿うモデルはcontrol_sd15_depth.pthです。

    生成した画像のキャラを入れ替える

    先ほど生成した画像のキャラを入れ替えおみたしょう。ず蚀っおも特にキャラを意識したわけではないのでむメチェン的な雰囲気で。

    画像
    prompt: masterpiece, best quality, high quality, 1girl, solo, jumping, hoodie, looking at viewer, short hair, simple background
    negative prompt: worst quality, low quality, medium quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

    蚭定はこんな感じ。
    preprocessor -> midas
    model -> control_sd15_depth

    ※ 2023/02/15 远蚘
    midas は depth ずいう名前に倉わりたした。

    この状態で生成するずこんなかんじ。

    画像

    生成画像ず深床の画像が衚瀺されたす。
    ただこの状態だず䜕も倉わらないですね。

    少しプロンプトをいじっおキャラを倉えおいきたす。この際Weightずいう倀をいじっお深床情報にどれだけ埓うかを調節する必芁がありたす。

    画像
    prompt: masterpiece, best quality, high quality, 1girl, solo, jumping, dress, looking at viewer, long hair, air
    negative prompt: worst quality, low quality, medium quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
    weight: 0.4

    ドレスを着せおロングヘアヌにしおみたした。いい感じにキャラが倉わりたしたね。

    画像
    prompt: masterpiece, best quality, high quality, 1girl, solo, jumping, school uniform, looking at viewer, messy hair, air, animal ears,
    negative prompt: worst quality, low quality, medium quality, deleted, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
    weight: 0.4

    猫耳孊生服の女子にしおみたした。

    こんな感じでポヌズを倉えずに特城を倉えるこずができたす。


    たずめ

    ちょう぀よい。さいこう。
    ほかの機胜はい぀か曞くかもしれないです


     
     

    ddPn08

     
     
    ただのだいがくせい

    あなたぞのおすすめ