
【はじめてのIllustrious】自作LoRAを作り直して比べてみた
前回は、Illustrious(イラストリアス)系のモデルである WAI(waiIllustriousSDXL_v110)を使い、うちの子(白衣ちゃん)を言葉だけでどこまで再現できるかを試しました。白衣ちゃんの特徴を Danbooru のタグ(アニメ絵の特徴を表す英語の言葉)に直し、chibi や blush stickers を足すことで、丸い顔や低い頭身、丸い頬まで寄せることができました。
ただ、言葉だけではどうしても残ってしまった差もありました。髪の白いツヤ、手描きの線の味、三つ編みの長さや形、そして no nose と書いても消えなかった鼻の点です。
今回は、前のシリーズで使った 43 枚の学習データで LoRA(キャラや絵柄を覚えさせる追加データ)を自作して、この残った差がどう変わるのかを試してみます。さらに、新しく作り直した 43 枚の画像でも LoRA を作って比べてみました。
まずは結果からご覧ください。

言葉だけでは消えなかった髪の白いツヤと鼻の点が、自作の LoRA で消えました。目も元絵と同じ太く水平な上まぶたになっています。
ここからは、この結果に至るまでの過程です。
前のシリーズの 43 枚で LoRA を作る
前のシリーズ(SD1.5)でも、ChatGPT の画像生成で作った 43 枚の画像を使って白衣ちゃんの LoRA を自作しました。ただ、SD1.5 と今回の Illustrious(SDXL という大きい画像に強い世代のモデル)では仕組みが違うため、前の LoRA はそのまま使えません。そこで、同じ 43 枚の学習画像を使って Illustrious 用の LoRA を作り直すことにしました。
43 枚の内訳は、顔のアップが 6 枚、上半身が 12 枚、全身が 25 枚です。背景は白背景が 27 枚、場面の背景ありが 16 枚になっています。前のシリーズでは 512 ピクセルに縮めて使いましたが、今回は縮める前の大きい画像(1024×1536 と 1254×1254)をそのまま使いました。

学習には、画像ごとのキャプション(学習画像に付ける説明文)が必要です。最初に WD14 Tagger(絵から特徴のタグを自動で抜き出す道具)でタグを出し、前のシリーズと同じ決まりで手直ししました。
先頭にはトリガーワード(LoRA を呼び出す言葉)の hakuinoko と 1girl, solo を置きます。髪や目、リボン、頬の赤みといった「いつもある特徴」と年齢のタグは消して、hakuinoko の言葉に覚えさせます。反対に、服は前回のプロンプト(絵の指示文)と同じ言葉(lab coat, open coat, black t-shirt、全身には靴下の種類と loafers, black footwear)で毎回書きました。
この整理で、1 枚あたりのタグの数は平均 29.9 個から 17.3 個になりました。実際のキャプションの例は次のとおりです。
hakuinoko, 1girl, solo, portrait, looking at viewer, simple background, white background, closed mouth, lab coat, open coat, black t-shirt学習には Google Colab の GPU(A100、40GB)を使いました。道具は前のシリーズと同じ kohya の sd-scripts(SDXL 用の sdxl_train_network.py)で、学習元のモデルは前回 5 つのモデルで比べていちばん近かった WAI v11.0 です。設定は次の表のとおりにしました。
項目:
:学習元モデル
:画像サイズ
:繰り返しと枚数
:バッチサイズ
:エポック数
:dim / alpha
:学習率
:最適化・対象
道具の導入とモデルのダウンロードに 211 秒、学習には 1,643 秒(約 27 分、秒間約 1.1 ステップ)かかりました。VRAM は最大で約 25.9GB 使い、1 個 85MB の LoRA が 8 エポック分で 8 個出来上がりました。大きい画像での学習でしたが、学習そのものは 30 分足らずで 8 エポック分ができました。
まず結果を見てみる
出来た LoRA(8 エポック・強さ 0.8)を使って、さっそく「白い小花」のお題で出してみました。生成の設定は前回と同じく、832×1216、25 ステップ、CFG 6、euler_ancestral / normal です。Seed(絵のもとになる乱数の番号)も前回と同じ 20261022〜20261026 で 5 枚ずつ出しています。
LoRA なしの絵は、前回と画素単位でまったく同じ絵が出ることを確かめてあります(1 枚約 10 秒、VRAM ピークは約 9.5GB)。まずは前回のプロンプトの先頭に hakuinoko, を足しただけで比べてみました。

髪の白いツヤと濃い影が消え、鼻の点もなくなって、目が元絵と同じ太く水平な上まぶたになりました。前回、言葉ではどうしても再現できなかった質感が再現できていて、並んだ 5 枚を見た瞬間、思わず嬉しくなりました。
トリガーワードだけだと白衣が出ない
顔がしっかり寄ったので、次は服の言葉をすべて外し、トリガーワードだけでどこまで白衣ちゃんが出るのかを試してみました。プロンプトは hakuinoko, 1girl, solo, full body, standing, looking at viewer, simple background, white background だけです。

灰色の髪や三つ編み、黒いリボン、ジト目の顔は白衣ちゃんですが、肝心の白衣を着ていません。多くは胸元に動物の顔のプリントが入った白い T シャツ姿で、1 枚は無地の白い服でした。白衣の研究者というより、休日の部屋着です。
キャプションに毎回 lab coat などの服の言葉を書いたため、服はトリガーワードに覚え込まれなかったのだと考えられます。ただ、白衣が固定されていないなら、服を指定して着替えさせるのにも使えそうです。そう考えて、キャプションの決まりはこのままにしました。
43 枚を作り直してみる
前の 43 枚の LoRA でも顔はかなり寄りましたが、学習画像を見直すと気になる所もありました。立ち姿の靴下は膝の上まであるのに、座った絵(2 枚)と後ろ姿(1 枚)では膝下までの靴下になっていたのです。WD14 Tagger の自動タグ付けでも、全身 25 枚のうち膝上の靴下(thighhighs)が付いたのは 22 枚でした。また、顔のアップも 6 枚しかありません。

すでに顔はかなり寄っていたので、これらは大きな問題ではなかったのかもしれません。それでも、せっかくなので 43 枚を新しく作り直したらどうなるかを試してみました。枚数は同じ 43 枚ですが、顔のアップを倍の 12 枚に増やし、背景の割り振りも変えています。
区分:
:構図:顔のアップ
:構図:上半身
:構図:全身
:背景:白
:背景:白以外
作り方は前のシリーズと同じく、ChatGPT の画像生成に元絵とキャラクターシートを見本として渡し、1 枚ずつ作りました(1 枚約 45〜110 秒)。今回は前回残った差を画像の側から消すため、指示に 5 つの決まりを足しています。「鼻は描かない」「髪は白いツヤや光を入れず灰色のベタ塗り」「三つ編みは胸の上で終わる短さ」「靴下は膝の上まで」の 5 つです。
出た絵は 1 枚ずつ点検し、指示と違う絵は作り直しました。顔のアップのはずが全身になった絵や、上半身のはずが人物が小さく写った絵などです。

こうして新しく揃えた 43 枚がこちらです。

キャプションは前の 43 枚と同じ決まりで付けました(タグの数は平均 28.6 個から 16.1 個になりました)。変えたのは学習画像だけで、学習の設定はすべて同じにしています。学習は 1,645 秒(約 27 分)、VRAM 最大は約 25.9GB でした。2 回の学習で使った Colab の計算ユニットは合計 5.71(230.87 から 225.16)です。
頭が大きい? 頬が濃い?
2 つの LoRA を比べる前に、いくつか絵を出していて気づいた違和感がありました。LoRA を入れた絵は、元の白衣ちゃんより頭の比率が大きい絵が多く、頬の赤みも濃く出ていたのです。
原因は、前回のプロンプトに入れていた chibi(頭身を下げる言葉)と blush stickers(丸い頬の赤み)でした。前回は言葉だけで顔を寄せるために足した語でしたが、LoRA が体形や頬の赤みを覚えたため、重なって足し過ぎになっていました。
新しい 43 枚の LoRA を使い、雨の夜道のお題で chibi の有無を比べてみました。

chibi を外すと全身の絵で頭が小さくなり、キャラクターシートに近い体形になりました。続いて、同じ Seed で頬の言葉も比べてみます。

blush stickers ありは、くっきりした丸いピンクになります。外して blush だけにすると、ふんわりした赤みに細い斜線が入り、元絵の頬に近づきました。さらに blush も外してみましたが、LoRA が覚えているため赤みは残りました。
似ているかは別として、chibi ありの絵も頬が濃い絵も個人的には好みです。ただ、ここからは元絵への近さを比べるため、LoRA ありのときは前回のプロンプトから chibi と blush stickers を外すことにしました(LoRA なしは前回のままです)。
最終的な LoRA ありのプロンプトは次のとおりです(ネガティブプロンプトは前回と同じ bad quality, worst quality, worst detail, sketch, censor, nsfw)。
hakuinoko, 1girl, solo, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, sleepy, blush, expressionless, lab coat, open coat, black t-shirt, portrait, upper body, looking at viewer, (white flower:1.2), flower field, depth of field, morning, flat color前の 43 枚と作り直した 43 枚を比べる
2 語を外したプロンプトで、前の 43 枚の LoRA と作り直した 43 枚の LoRA を比べます。お題は前回と同じ「白い小花」と「窓辺(頬杖)」です。


前の 43 枚も作り直した 43 枚も、髪のツヤと鼻の点が無く、元絵の目になっています。窓辺の頬杖も崩れませんでした。どちらもそれほど大きくは変わりませんが、見比べると若干作り直した 43 枚のほうが良い仕上がりです。
作り直した 43 枚の LoRA で、エポック(4・6・8)と強さ(0.6・0.8・1.0)を変えた 9 通りも出してみました。

前の 43 枚のほうでは 4 エポック・強さ 0.6 だと髪のツヤが少し残りましたが、作り直した 43 枚ではどれも大きくは変わらず安定していました。
また、トリガーワードだけで全身を出したときの違いも比べてみました。

作り直した 43 枚でも白衣は出ず、白い T シャツになる点は同じです。ただ、前の 43 枚は短い靴下だったのに対し、作り直した 43 枚のほうは膝の上までの白い靴下の絵が出るようになりました。
学習していない場面でも出せるか
続いて、学習画像には無い場面でも白衣ちゃんが出せるかを試しました。1 つ目は「カフェで本を読む」場面です。プロンプトの後半を次のように変えています。
..., upper body, sitting, holding book, open book, reading, cafe, indoors, table, flat color
本を開いたり持ったりする手元や姿勢も崩れず、白衣ちゃんの顔と塗りのままカフェの場面が描けました。
2 つ目は「雨の夜道」を傘をさして歩く全身の場面です。
..., full body, walking, holding umbrella, rain, outdoors, street, night, flat color雨の夜道は Seed によって出来が違ったため、20 Seed 分を追加で出して、その中から 5 枚を選びました(Seed 20261027・20261030・20261042・20261046・20261029)。

学習画像に無い夜の街並みや傘を持つ全身のポーズでも、頭身や顔が崩れずに描けました。ただ、右端の 1 枚は、差している傘とは別に閉じた傘をもう 1 本持っています。また、プロンプトに靴の言葉を入れていないため、足元はスニーカーやローファーが混ざっています。
SD1.5 の LoRA と比べる
同じ 43 枚では、前のシリーズで SD1.5 用の LoRA も作っていました(SD1.5 のモデル Hassaku v1.3 に入れて使ったものです)。そこで、今回の LoRA ありのプロンプトと同じ Seed で、SD1.5 のほうでも出してみました。サイズなどの設定は前のシリーズのまま(512×768、20 ステップ、CFG 7、euler、LoRA の強さ 1.0)で、比べる相手は同じ 43 枚で作った Illustrious の LoRA です。

SD1.5 のほうも髪の白いツヤや鼻の点は無く、白衣ちゃんらしい顔です。ただ、目は丸く開き気味で、元絵の眠そうなジト目には Illustrious のほうが近く見えます。SD1.5 の 1 枚目は T シャツが白くなり、髪に花が付きました。

差がはっきり出たのは窓辺の頬杖でした。Illustrious は 5 枚とも頬に手を当てていますが、SD1.5 で頬杖らしい形になったのは 1 枚目だけで、ほかは机や膝に手を置いたり、腕を組んだりしています。同じ 43 枚から作った LoRA でも、プロンプトの指示どおりのポーズになるかは、元のモデルで違いました。
並べてみる
最後に、白衣ちゃんの元絵、前回(言葉だけ)、前の 43 枚の LoRA、作り直した 43 枚の LoRA を同じ Seed(20261022)で並べてみます。

前回残った差のうち、髪の白いツヤと鼻の点は消え、目も元絵の形になりました。一方で、手描きの線の味は言葉だけより近いものの、元絵とまったく同じではありません。三つ編みの長さや形も、まだ少し違う印象が残っています。
言葉だけでは消えなかった鼻の点と髪のツヤは、自作の LoRA で消えました。一方で、43 枚を作り直した差は思っていたより小さく、見た目にはそれよりも、前回顔を寄せるために足した chibi と blush stickers が LoRA と重なって効き過ぎていたことのほうが目立ちました。
今回使ったワークフローです。WAI に自作の LoRA を足して生成する 8 ノードのもので、「白い小花」の最終プロンプトと設定(作り直した 43 枚の LoRA・強さ 0.8、Seed 20261022)が入っています。モデルと LoRA は含まれていません。
【次の記事】
【おすすめ記事】