メインコンテンツへスキップ
見出し画像

【はじめてのIllustrious】背景のカスタムノードを作ってみた

    こんにちは。

    前回は、白衣ちゃんの自作 LoRA(キャラを覚えさせる追加データ)でイラスト集を作りました。

    イラストを作成する中で、背景のお化けまでジト目や白衣ちゃんの顔になってしまうことが頻発していました。

    画像
    前回のハロウィンの絵。右のお化けが白衣ちゃんの顔になっています

    LoRA や jitome(ジト目)、blush のタグが画面全体にかかるため、背景の顔にも移るのかもしれません。前回はお化けの所だけ LoRA なしで描き直したりしましたが、1 枚ずつ直すのは手間でした。

    そこで今回は、背景と白衣ちゃんを別々に出して、あとから重ねてみます。背景は LoRA を使わずに出すので、背景には移らないはずです。

    画像
    最後にできた 4 枚。背景は自作のノードで描いた柄です

    最初はイラストの並ぶかわいい背景を作っていましたが、背景の動物や花が安定しませんでした。最後は背景を柄だけにして、柄を計算で描く ComfyUI のノードを自作し、白衣ちゃんを切り抜いて重ねる形に落ち着きました。

    ここからは、この結果に至るまでの過程です。

    動物が並ぶ背景を作る

    まずは、背景だけを LoRA なしで出す準備です。
    あとから重ねるので、風景だと床の傾きや奥行きがキャラと合わなくなりそうです。そこで、平らな模様の背景にしました。

    モデルは WAI(waiIllustriousSDXL_v110)で、25 ステップ、CFG 6、euler_ancestral / normal です。1 条件 3 枚ずつ出しています。

    背景もプロンプトで指定して 1 枚で出すと、背景の動物に白衣ちゃんの特徴が移ることがあります。ひつじの模様の背景で試したときは、3 枚中 2 枚のひつじがジト目になりました。

    画像
    背景もプロンプトで指定して出した絵のひつじの拡大

    ぱっつんの前髪に灰色のジト目、頬の赤みまで付いています。

    背景を別に出すにあたって、最初は seamless pattern(つなぎ目のない柄)などのタグで、模様の背景を 1 枚で出そうとしました。

    画像
    1 枚で出そうとした結果(花の鉢・目玉焼き・うさぎ・子犬)

    どれも真ん中に大きな絵が描かれて、同じものが並んだ柄にはなりませんでした。

    そこで、顔のある小さい絵を 1 つずつ白い背景で出して切り抜き、ギンガムチェックの上に並べることにしました。切り抜きは、ComfyUI に最初から入っている Remove Background です。

    画像
    1 つずつ出したうさぎ 4 匹といちご 3 つ
    画像
    上:切り抜いて並べたところ / 下:i2i(0.35)で整えたところ

    最後に i2i(もとの絵を下書きにして描き直すこと)を強さ 0.35 でかけて、線をなじませています。同じ作り方で、4 つの場面をそろえました。

    画像
    4 つの場面の模様の背景

    見た目はかわいくできました。ただ、標準のノードだけで組んだので、ワークフローは 55 ノードになり、背景 1 枚に約 78 秒かかっています。

    画像
    動物の並ぶ背景を作るワークフロー

    背景のキャラクターが安定しない

    作っているうちに、背景の動物や花(以下、背景のキャラクター)が安定しないことが気になってきました。

    いちばん気になったのは、ハムスターの場面のひまわりです。
    ひまわりを 1 つずつ出すと、手足が生えたり、白い顔と体が付いたり、別の生き物になったりしました。

    画像
    かわいいと言えばかわいいのですが…
    画像
    重ねた状態

    そこで、背景のキャラクターはなしにして、背景は柄だけにすることにしました。

    柄を描くノードを作る

    柄だけなら、生成 AI で描く必要はありません。
    ギンガムは標準のノードを組み合わせて作れましたが、ドットや集中線を標準のノードで作る方法は見つかりませんでした。

    そこで、柄を計算で描くカスタムノード「Pattern Background」を作りました。

    画像
    Pattern Background で出せる柄

    柄は、無地・ドット・ストライプ・方眼・ギンガム・市松・集中線から選べます。色と間隔・太さ・角度も変えられるようにしました。

    計算で描くので、同じ設定なら毎回同じ柄が出ます。キャラの画像をつなぐと、同じ大きさの背景になります。

    画像
    Pattern Background のノードと、出た柄

    55 ノードで作っていたギンガムが、ノード 1 つで出るようになりました。実行すると待つ間もなく柄が出るので、少し拍子抜けしました。

    白衣ちゃんを出して重ねる

    白衣ちゃんは、背景と同じ 1344×704 の上半身を、白い背景で出します。自作 LoRA は強さ 0.8 です。切り抜いたら、縮めずに 1:1 で柄の上に重ねます。

    画像
    今回のワークフロー。左:白衣ちゃんを出す / 右:切り抜いて柄に重ねる

    お題は 4 つです。服は背景の色に合わせて、同じ系統の色か補色にしました。

    • 柄:白衣ちゃんの服

    • 方眼(水色の線):水色のジャンパースカート、黄色のリボン、ノートを持つ

    • ドット(ピンク):ミントのワンピース、ピンクのリボン、マグを持つ

    • 斜めのストライプ(黄色):紫のパーカー、首にヘッドホン、ピース

    • 集中線(黒):赤いカーディガン、赤いリボン、身を乗り出す

    LoRA が白衣を引き戻すので、前回と同じくネガティブに lab coat を入れています。4 場面のプロンプト全文です。上から方眼、ドット、斜めのストライプ、集中線の場面です。

    hakuinoko, 1girl, solo, cute, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, blush, light smile, light blue pinafore dress, white blouse, puffy sleeves, yellow bow, holding notebook, upper body, looking at viewer, simple background, white background, flat color
    hakuinoko, 1girl, solo, cute, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, blush, light smile, mint green dress, white frilled collar, pink bow, holding mug, upper body, looking at viewer, simple background, white background, flat color
    hakuinoko, 1girl, solo, cute, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, blush, light smile, purple hoodie, headphones around neck, v, upper body, looking at viewer, simple background, white background, flat color
    hakuinoko, 1girl, solo, cute, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, blush, light smile, red cardigan, white collared shirt, red bow, leaning forward, upper body, looking at viewer, simple background, white background, flat color

    ネガティブは 4 場面とも同じです。

    bad quality, worst quality, worst detail, sketch, censor, nsfw, lab coat

    切り抜きは ToonOut に替えた

    白い背景で出したキャラを切り抜くと、髪と肩の間や指の間に、白い背景が残ることがありました。

    そこで、切り抜きのモデルを ToonOut に替えました。BiRefNet(Remove Background で使っていたモデル)を、アニメ絵で追加学習したモデルです。
    配布されているファイル(birefnet_finetuned_toonout.pth)は、ComfyUI 標準の Load Background Removal Model ではそのまま読めませんでした。中の重みの名前の頭に、学習のときの名前(module._orig_mod.)が付いているためです。そこで、名前を直して読み込むノード「Load BiRefNet Checkpoint」も、Pattern Background と一緒に作りました。

    画像
    切り抜いてピンクの上に置いたもの。上:BiRefNet / 下:ToonOut

    ToonOut では、首の横や髪の間の白がほぼ残りませんでした。ただ、マグの湯気を白いかたまりとして残した絵が 1 枚ありました。

    白衣ちゃんを出すのは 1 枚 約 9.4 秒(中央値)、切り抜いて柄に重ねるのは 1 回 約 1.1 秒です。

    背景をプロンプトだけで指定したものと比べる

    背景を分けずに、プロンプトだけで柄を指定して 1 枚で出した絵とも比べます。上のプロンプトの simple background, white background を柄のタグに替え、同じ 1344×704・LoRA あり・同じ Seed で出しました。同じ Seed でも、背景のタグが変わると構図やポーズは変わります。

    替えたタグは、方眼が grid background、ドットが polka dot background, pink background、ストライプが diagonal stripes, striped background, yellow background、集中線が emphasis lines, white background です。

    4 場面とも、上の段がプロンプトだけで背景を指定したもの、下の段が背景とキャラを分けて出して重ねたものです。

    画像
    方眼(上:プロンプトだけで背景を指定 / 下:分けて出して重ねたもの)
    画像
    ドット(上:プロンプトだけで背景を指定 / 下:分けて出して重ねたもの)
    画像
    斜めのストライプ(上:プロンプトだけで背景を指定 / 下:分けて出して重ねたもの)
    画像
    集中線(上:プロンプトだけで背景を指定 / 下:分けて出して重ねたもの)

    今回のタグでは、プロンプトだけで指定した柄は思ったとおりには出ませんでした。ドットは 3 枚とも水玉が出ず、ピンクの無地になりました。方眼は薄いか太い格子、ストライプは斜めになったのが 1 枚で残りは薄いか縦じま、集中線は細く薄い線です。

    柄が服に移ったり、白衣ちゃんの顔が崩れたりした絵はありませんでした。白衣ちゃんは、どちらのやり方でもいつもの顔です。

    分けて出して重ねたほうは、12 枚とも指定した柄のとおりです。柄の色を選んでから服を決められるので、色合わせもしやすく感じました。

    背景を着せ替える

    白衣ちゃんを出し直さずに、背景の柄だけを変えることもできます。方眼の場面の 1 枚を、ほかの柄に重ねてみました。

    画像
    同じ 1 枚の白衣ちゃんを、6 つの柄に重ねたもの

    1 回 約 1.1 秒なので、柄と色をいろいろ試せます。集中線にすると、同じ顔でも何か言いたげに見えます。

    今日わかったことは 2 つです。

    • 背景を LoRA を使わずに別に作ってから重ねると、背景に白衣ちゃんの特徴は移りません。ただ、背景に動物や花を描かせると、そちらが安定しませんでした。

    • 背景を柄だけにするなら、計算で描いたほうが毎回思ったとおりの柄になりました。今回試した 4 つの柄では、プロンプトだけで指定すると柄のタグはあまり効きませんでした。


    今回使ったワークフローです。白衣ちゃんを出して、ToonOut で切り抜き、Pattern Background の柄に重ねるところまでを 1 つにまとめました(ドットの場面、Seed 20261022)。ToonOut は Load BiRefNet Checkpoint で、配布されている .pth のまま読んでいます。モデルと LoRA は含まれていません。

    ノードの入れ方と使い方

    Pattern Background と Load BiRefNet Checkpoint は、GitHub に置いています。

    入れ方

    ComfyUI の custom_nodes フォルダの中で、次のコマンドを実行します。ComfyUI を再起動すると、ノードが使えるようになります。

    cd ComfyUI/custom_nodes
    git clone https://github.com/pudu-puda/ComfyUI-PatternBackground

    git を使わない場合は、GitHub のページの「Code」→「Download ZIP」で落として、展開したフォルダ(ComfyUI-PatternBackground-main)を custom_nodes の中に置いても動きます。

    画像
    緑の「Code」を押すと、メニューの一番下に「Download ZIP」があります

    追加のライブラリは使っていないので、pip でのインストールは要りません。ComfyUI Manager の一覧には、まだ載せていません。

    必要なモデル

    Pattern Background だけなら、モデルは要りません。添付のワークフローでは、次の 2 つのモデルと自作の LoRA を使っています。

    キャラを出すモデルは WAI(waiIllustriousSDXL_v110.safetensors、約 6.5GB)です。Civitai の v11.0 です。models/checkpoints に置くと読み込めます。

    WAI-illustrious-SDXL:https://civitai.com/models/827184?modelVersionId=1410435

    切り抜きのモデルは ToonOut(birefnet_finetuned_toonout.pth、約 885MB)です。Hugging Face のページの「Files and versions」にあります。models/background_removal に置くと、Load BiRefNet Checkpoint で選べます。

    ToonOut:https://huggingface.co/joelseytre/toonout

    白衣ちゃんの LoRA は自作なので、配布していません。添付のワークフローの Load LoRA には ill03_new.safetensors が入っているので、手持ちの LoRA に替えないとそのままでは動きません。

    LoRA を使わずに試すときは、Load LoRA をバイパスします。ノードをクリックして選び、Ctrl+B を押すと紫色になり、そのノードは飛ばされます。モデルと CLIP はそのまま次のノードへ渡るので、つなぎ直さなくても動きます。白衣ちゃんではない子が出ますが、切り抜いて柄に重ねるところは同じように試せます。もう一度 Ctrl+B を押すと元に戻ります。

    使い方

    キャンバスをダブルクリックして「Pattern Background」と打つと出てきます。メニューでは image → pattern の中です。

    添付のワークフローは、最初から全部つながっています。開いたら、モデルと LoRA のファイルを手元のものに選び直すだけで動きます。
    ここからは、自分のワークフローに足すときのつなぎ方です。

    まず切り抜きです。Load BiRefNet Checkpoint で ToonOut を選び、Remove Background の bg_removal_model につなぎます。Remove Background の画像には、キャラの画像をつなぎます。

    画像
    切り抜くところ

    次に重ねるところです。
    キャラの画像を、Pattern Background の size_from と、ImageCompositeMasked のソースにつなぎます。Pattern Background の image は ImageCompositeMasked の宛先へ、Remove Background のマスクは ImageCompositeMasked のマスクへつなぎます。x と y は 0 のままです。

    画像
    重ねるところ。英語の画面では、宛先は destination、ソースは source です

    Pattern Background の設定は次のとおりです。

    • pattern:柄(solid 無地・dots ドット・stripes ストライプ・grid 方眼・gingham ギンガム・checkerboard 市松・focus_lines 集中線)

    • color / background:柄の色と地の色(#RRGGBB)。無地では background の色だけになる

    • spacing:柄の間隔(px)

    • thickness:間隔に対する太さ(ドットの直径・線の幅)

    • angle:柄の角度(45 で斜め)

    • stagger:ドットを 1 行おきにずらす

    • lines / inner_radius / center_x / center_y / seed:集中線の本数・真ん中の空き・中心の位置・線のばらつき

    • width / height:大きさ(size_from をつないだときは、つないだ画像と同じ大きさになる)

    ドットの場面は、color #F4A6B8、background #FFF6F0、spacing 56、thickness 0.42 でした。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ