メインコンテンツへスキップ
見出し画像

【ゼロからはじめる】SD1.5の自作LoRA、学習画像を作り直したら服がそろった!【LoRA自作③】

    こんにちは。

    前回は、43枚の画像でLoRAを学習しました。
    hakuinoko の1語で、灰色の髪に三つ編みの子が出るようになりました。

    目標はこの子を生成することです。

    画像
    ChatGPTに作ってもらった白衣の子。

    そして前回の結果がこれです。

    画像
    前回のLoRAで出た子。

    近づいてはいますが、服が毎回そろいません。

    前回の43枚は、サムネイル用に作ってあった画像から選んだものでした。
    そこで今回は、学習に使うための画像を43枚、新しく作り直して学習してみたいと思います。

    そして今回の結果がこちらです。

    画像
    今回のLoRAで出た子。

    ここからは、この結果に至るまでの過程です。

    前回の43枚を見直す

    まず、前回の43枚をもう一度見直しました。

    画像
    前回の43枚。

    数えてみると、顔のアップが10枚、上半身が20枚、全身が13枚です。
    足もとまで写っている画像は、43枚のうち13枚しかありませんでした。
    背景は43枚とも白です。

    全身の13枚だけを並べると、こうなります。

    画像
    前回の全身の13枚。

    前回のLoRAは、長い靴下が出たり出なかったりして、顔に寄った絵が多くなりました。
    公園に立たせたときは、背景の色がくすみました。
    どれも、学習に使った画像のほうに理由がありそうです。

    新しい43枚の決まりを作る

    そこで、画像を作る前に決まりを作りました。

    • 枚数:前回 43枚、今回 43枚(同じ)

    • 構図:前回 顔10 / 上半身20 / 全身13、今回 顔6 / 上半身12 / 全身25

    • 服:前回 手持ちから、いつもの服の絵を選んだ、今回 43枚とも同じ服を指定して作る

    • 背景:前回 43枚とも白、今回 白27 / 背景あり16

    • 画像の形:前回 横長の画像から切り抜いた、今回 最初から正方形と縦長で作る

    全身を増やしたのは、足もとまで覚えてほしいからです。
    背景のある絵を混ぜたのは、色がくすまないようにするためです。
    背景は、公園・教室・部屋・街の歩道などにしました。

    枚数は、前回と同じ43枚にそろえました。
    タグの付け方も、学習の設定も、前回のままにします。
    変えるのは画像だけです。

    画像を作る

    画像は、ChatGPTの画像生成で作りました。
    元の絵を2枚渡して、向き・ポーズ・構図・背景を1枚ずつ文章で指定しています。
    43枚ぶんの指定は、先に表にしておきました。

    たとえば、公園に立っている1枚はこう頼みました。

    顔も体も正面、視線はカメラで、両腕を体の横に下ろしてまっすぐ立つイラストを、頭の先から靴の先まで全身が入る縦長の構図。上下に少し余白を残し、人物は画面の高さの8割ほどで描いてください。背景は昼の公園。芝生と木と青空。背景は自然な色で塗る(木や草は緑、空は青など)。人物は元絵と同じ低彩度のまま。

    このあとに、顔と服を元の絵に合わせるための文が続きます。
    服の部分は、43枚とも同じ文です。

    前を開けた白い長い白衣、太ももまでの丈の黒い長いTシャツ、膝の上まである白い長い靴下、黒いローファー。

    1枚できるまでに、早いもので1分ほど、長いものは5分ほどかかりました。

    画像
    新しく作った43枚。

    できた画像は、1枚ずつ見て確かめました。
    43枚のうち3枚は、指定と違っていたので作り直しました。

    サイズをそろえる

    前回は、横長の画像から子のまわりを切り抜いて、緑の背景を白に置き換えました。
    今回は最初から、顔と上半身は正方形、全身は縦長で作っています。

    そのため、やったのは縮めることだけです。
    顔と上半身は512×512、全身は512×768にしました。

    画像
    今回の全身25枚のうちの14枚。

    タグを付けてキャプションを直す

    キャプションは、前回と同じ手順で作りました。
    WD14 Taggerでタグを付けて、同じ決まりで直します。

    付いたタグは、1枚あたり平均30個、全部で127種類でした。

    • タグ:付いた枚数(43枚中)

    • grey hair:43

    • labcoat:36

    • white background:27

    • full body:25

    • thighhighs:22

    • outdoors:9

    • indoors:7

    • jitome:6

    白衣に labcoat と付いたのは、前回は31枚でした。今回は36枚です。
    膝の上までの靴下には、thighhighs というタグが付きました。
    背景のある絵には、outdoors や indoors、tree、sky などのタグが付いています。

    直し方の決まりは前回と同じ3つです。

    • 先頭にトリガーワードの hakuinoko を足す

    • 外れているタグを消し、白衣の呼び方は labcoat にそろえる

    • 髪や目など、この子がいつも持っている特徴のタグを消す

    外れているタグには、今回はじめて出た5つを足しました。
    黒いTシャツに付いた black skirt や shorts などです。

    直した後のキャプションの例です。公園に立っている1枚のものです。

    hakuinoko, 1girl, solo, looking at viewer, blush, thighhighs, long sleeves, closed mouth, standing, full body, outdoors, sky, day, cloud, black footwear, white thighhighs, tree, blue sky, labcoat, black shirt, expressionless, grass, loafers

    1枚あたりのタグは、平均30個から18個に減りました。

    学習する

    学習は、前回と同じsd-scriptsで、同じ設定で回しました。
    変えたのは、画像のフォルダと、できるLoRAの名前だけです。

    accelerate launch --num_cpu_threads_per_process 1 train_network.py --pretrained_model_name_or_path="models\checkpoints\SD 1.5\hassakuSD15_v13.safetensors" --dataset_config="train\dataset2.toml" --output_dir="train\output" --output_name="hakuinoko2" --save_model_as=safetensors --network_module=networks.lora --network_dim=16 --network_alpha=8 --learning_rate=1e-4 --optimizer_type="AdamW8bit" --lr_scheduler="constant" --sdpa --max_train_epochs=10 --save_every_n_epochs=1 --mixed_precision="fp16" --cache_latents --seed=42 --logging_dir="train\logs"
    画像
    2,150ステップが終わったところ。
    • かかった時間:前回 約18分、今回 約22分

    • ステップ数:前回 2,150、今回 2,150

    • VRAMの使用量:前回 最大で約6.3GB、今回 最大で約6.5GB

    • できたファイル:前回 1個あたり約36MB、今回 1個あたり約36MB

    ステップ数は同じですが、時間は4分ほど延びました。
    縦長の画像が13枚から25枚に増えたぶんだと思います。

    できたLoRAは、ComfyUIの models\loras フォルダに置きました。
    ワークフローは前回と同じ8ノードで、Load LoRAで選ぶファイルを変えただけです。
    強さは前回と同じ1.0です。

    トリガーワードだけで出す

    前回のLoRAと今回のLoRAを、同じプロンプト、同じSeedで比べます。
    変えたのはLoRAのファイルだけです。

    ポジティブプロンプトです。

    hakuinoko, 1girl, solo, standing, full body, looking at viewer, simple background, white background

    ネガティブプロンプトです。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    上が前回のLoRA(前回と同じ画像)、下が今回のLoRA。左からSeed 20260920〜20260924。

    5枚ずつ数えると、こうなりました。

    • 白衣が白い:前回 4枚、今回 5枚

    • 黒いTシャツ:前回 1枚、今回 5枚

    • 足もとまで入った:前回 3枚、今回 5枚

    • 膝の上までの靴下:前回 0枚、今回 0枚

    今回は5枚とも、白い白衣に黒いTシャツで、足もとまで入りました。
    プロンプトも設定も前回と同じなので、画像を入れ替えたぶんの違いです。

    座らせる

    次に、前回と同じように standing を sitting, on chair に変えました。
    今回の43枚には、椅子やベンチに座った絵を4枚入れてあります。

    ポジティブプロンプトです。

    hakuinoko, 1girl, solo, sitting, on chair, full body, looking at viewer, simple background, white background

    ネガティブプロンプトです。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    上が前回のLoRA(前回と同じ画像)、下が今回のLoRA。

    前回は5枚とも顔に寄って、足もとは入りませんでした。
    今回は5枚とも、足もとまで入っています。
    白い長い靴下も、こちらでは5枚とも出ました。

    ただ、想定していなかったことも起きました。
    プロンプトには white background と書いているのに、5枚とも床が描かれて、4枚は部屋の中になりました。
    前回は5枚とも白い背景のままです。

    学習した画像で、座った絵の4枚のうち2枚が部屋と公園でした。
    座ることと背景が、一緒に覚えられたのかもしれません。

    公園に立たせる

    立ち姿に戻して、背景を outdoors, park に変えました。

    ポジティブプロンプトです。

    hakuinoko, 1girl, solo, standing, full body, looking at viewer, outdoors, park

    ネガティブプロンプトです。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    上が前回のLoRA(前回と同じ画像)、下が今回のLoRA。

    ここがいちばん変わりました。
    前回は灰色がかった背景でしたが、今回は5枚とも、青い空と緑の木になりました。
    服も、5枚とも白い白衣に黒いTシャツです。

    ついでに試す

    今回の43枚には、公園の絵を4枚入れています。
    学習した背景だから出ただけ、ということもありそうです。

    そこで、43枚に入れていない背景を試しました。
    Seedを戻して、背景を outdoors, beach, ocean に変えただけです。

    ポジティブプロンプトです。

    hakuinoko, 1girl, solo, standing, full body, looking at viewer, outdoors, beach, ocean

    ネガティブプロンプトです。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    上が前回のLoRA、下が今回のLoRA。

    海の絵は1枚も学習していませんが、今回のLoRAは5枚とも青い海と空になりました。
    前回のLoRAは、海の色もくすんでいます。
    今回の43枚に替えると、学習していない背景の色も変わりました。
    背景のある絵を混ぜたのが効いたのだと思いますが、構図や服も一緒に変えているので、そこまでは切り分けていません。

    結果のまとめ

    学習の設定は何も変えずに、画像を43枚入れ替えただけで、出てくる絵が変わりました。
    服がそろって、足もとまで入り、背景に色が付きました。
    前回よりも、目標の子に近づいたと思います。

    うまくいかなかった所もあります。
    立ち姿では長い靴下が出ず、座らせると白い背景になりませんでした。
    画像を直すと良くなる所と、新しく出てくる困りごとの両方がありました。

    手間は、前回より今回のほうがかかっていません。
    切り抜きも背景の置き換えも要らず、縮めるだけで済んだからです。

    今日わかったこと3つ

    • 学習の設定が同じでも、画像を入れ替えるだけで出る絵が変わることがわかった

    • 背景のある絵も入れた43枚に替えると、公園や海の背景に色が付くことがわかった

    • 学習用の画像は、最初から学習するサイズの形で作っておくと、縮めるだけで使えることがわかった


    今回使ったワークフローです。自作のLoRAを足して生成する8ノードのものです。モデルとLoRAは含まれていません。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ