メインコンテンツへスキップ
見出し画像

【はじめてのIllustrious】SD1.5で仕上げたイラストに、Illustriousは文章だけでどこまで迫れるか

    前のシリーズでは、SD1.5を使って「白衣の子」を描く試行錯誤を全16本にわたって続けました。その最後に仕上げたのが、こちらの「窓辺」と「白い小花」の2枚です。

    画像
    前のシリーズ(SD1.5)の最後に仕上げた2枚。左が窓辺、右が白い小花

    この2枚を出す裏側では、自作したLoRA(呼び出す言葉は hakuinoko)をはじめ、ポーズを指定するControlNet、顔や手を描き直すDetailer、崩れた手の描き足し、アップスケールと、それまでに試した工程をすべて重ねていました。

    今回からはこの挑戦の続きとして、改めて「キャラクターの再現」をテーマに、SDXLをもとにしたアニメ向けモデル「Illustrious」で進めていきたいと思います。

    今回は、LoRAもControlNetもDetailerもアップスケールも使いません。ComfyUIのワークフローはSD1.5のときと同じ基本の7ノードのまま、モデルだけをWAIに替えて、前のシリーズの最後と同じ「白い小花」と「窓辺」の2つのお題に文章だけで挑みます。なお、上の窓辺の完成画では白衣の長い袖で手を隠していますが、実はこれには前のシリーズで手を隠さざるを得なかった理由があります。新しいモデルならその「手」まで描けるのかどうかも、あわせて確かめていきます。

    呼び出しの1語が使えない——目標の子を英単語に置き換える

    さっそくプロンプトを書こうとして、最初の壁にぶつかりました。前のシリーズで便利に使っていた hakuinoko という単語は、自作LoRAを呼び出すための言葉なので、WAIには通じません。

    画像
    再現の目標にする「白衣の子」。丸い輪郭とフラットな塗りが特徴

    そこで、目標にする立ち絵を見ながら、この子の特徴を一つずつ英単語で書き出しました。灰色の髪、ぱっつん前髪、黒いリボンで結んだ二つのおさげ、眠そうな灰色のジト目、そして白衣と黒いシャツ。すべての条件で共通して使うキャラクター記述のプロンプトは以下の通りです。

    1girl, solo, grey hair, blunt bangs, low twin braids, braided pigtails, black hair ribbon, grey eyes, jitome, half-closed eyes, sleepy eyes, blush, small mouth, expressionless, open lab coat, black shirt

    また、ネガティブプロンプトも全条件で共通とし、SD1.5の総まとめで使っていたものに nsfw, cleavage の2語だけを足しました。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated, nsfw, cleavage

    生成の設定は、WAIがサイズ832×1216、ステップ25、CFG 6、サンプラーは euler_ancestral / normal です。比較用に出す「素のSD1.5(LoRAなし)」はサイズ512×768、ステップ20、CFG 7、euler / normal としました。たまたま出た1枚で判断しないよう、すべての条件で同じ5つのSeed(20261022〜20261026)を使い、5枚ずつ生成して比べてみます。

    白い小花:部品は全部そろったのに、口元に「白い息」

    まずは1つ目のお題「白い小花」です。先ほどのキャラクター記述の後ろに、SD1.5の総まとめと同じ場面の言葉をそのままつなげました。

    1girl, solo, grey hair, blunt bangs, low twin braids, braided pigtails, black hair ribbon, grey eyes, jitome, half-closed eyes, sleepy eyes, blush, small mouth, expressionless, open lab coat, black shirt, portrait, upper body, looking at viewer, (white flowers:1.2), baby's breath, flower field, soft focus, depth of field, morning light

    WAIで出した5枚がこちらです。

    画像
    WAIで生成した「白い小花」(左からSeed 20261022〜20261026)

    出てきた画像を見て驚きました。LoRAを一切使っていないのに、5枚とも灰色の髪、ぱっつん前髪、三つ編みのおさげ、白衣、中の黒い服、そして眠そうなジト目まで、言葉で指定した部品がすべて最初からそろっています。細かい点を見ると、黒いリボンになったのが5枚中2枚(左から2枚目と4枚目)で、残りの3枚は白いリボンになりました。また、背景の花はかすみ草ではなく、黄色い芯のあるデイジーのような白い花畑になっています。

    ただ、それ以上に目を引いたのが口元です。5枚とも、口のまわりに白い息のようなもやが出ています。1枚目は少し薄いものの、4枚目(Seed 20261025)を拡大してみるとはっきりわかります。

    画像
    4枚目(Seed 20261025)の拡大。口の前に白い息のようなもやが浮かんでいる

    プロンプトを見直すと、思い当たる言葉が一つありました。かすみ草の英名として入れた baby's breath です。直訳すると「赤ちゃんの息」になります。

    本当にこれが原因なのか確かめるため、プロンプトから baby's breath の1語だけを外し、まったく同じSeedで5枚出し直してみました。

    画像
    baby's breath だけを外した5枚。構図はほぼ同じまま、口元の白いもやが5枚とも消えた

    見比べると一目瞭然で、5枚とも口元の白いもやがきれいに消えました。モデルの内部で何が起きたかまではわかりませんが、少なくとも baby's breath を花の名前としてではなく、言葉どおりの「息(breath)」として描いたと考えられます。思わず笑ってしまう結果でした。

    ちなみに、元の同じ文章を「素のSD1.5」に入れた結果がこちらです。

    画像
    同じ文章で生成した素のSD1.5の5枚

    白い花畑や白い服、三つ編みの人は出てきますが、5枚とも写真のような実写風の絵になり、アニメのイラストにはなりませんでした。灰色の髪になったのも、左から2枚目の年配の人の後ろ姿だけです。文章だけでここまで意図をくみ取るWAIとの差がはっきりと出ました。

    さて、WAIの絵は綺麗なのですが、目標の立ち絵と比べると髪のツヤや塗りの情報量がかなり多めです。そこで、元の「白い小花」のプロンプトの末尾に、丸顔やフラットな塗りを指定する画風の言葉を足してみました。

    round face, flat color, simple shading, clean lineart
    画像
    画風の言葉を足した5枚。黒いリボンは5枚中4枚に増え、4枚目の「白い息」は丸い吹き出しのような形になった

    主線がくっきりして髪のハイライトが抑えられ、塗りが平らに近くなりました。おさげの黒いリボンも5枚中4枚で正しく出ています。面白かったのは「白い息」の変化で、4枚目だけに、吹き出しのような丸い形で残りました(理由はわかりません)。

    窓辺:SD1.5が袖で隠した「頬杖の手」は描けるのか

    続いて2つ目のお題「窓辺」です。冒頭で触れたとおり、前のシリーズの窓辺の絵には裏話があります。実はプロンプトには頬杖(chin rest)と書いていたのですが、できた絵は膝に手を置いた姿勢で、その手の指が3本ほどしかありませんでした。顔と手を描き直すDetailerでも線がなめらかになるだけだったので、最後は長い白衣の袖で手を隠して仕上げたのでした。

    今回は補助なしのWAIに、その頬杖の言葉をそのまま入れてみます。

    1girl, solo, grey hair, blunt bangs, low twin braids, braided pigtails, black hair ribbon, grey eyes, jitome, half-closed eyes, sleepy eyes, blush, small mouth, expressionless, open lab coat, black shirt, upper body, sitting by window, (chin rest:1.2), looking at viewer, (sunlight through window:1.2), indoors, curtain, soft light
    画像
    WAIで生成した「窓辺・頬杖」の5枚
    画像
    4枚目(Seed 20261025)の拡大。頬に添えた指の重なりも自然

    前のシリーズの絵ではならなかった頬杖が、あっさり描けてしまいました。両手で支えるものと片手のものがありますが、5枚ともしっかり頬杖をついており、指の数がおかしいものも見当たりません。拡大した4枚目を見ても、頬の重みを受ける指の曲がり方から白衣の袖口まで破綻なくつながっています。なお、プロンプトには grey eyes と書いたものの、5枚中3枚で目が紫がかった色になりました(この理由はわかりません)。

    同じ窓辺の文章を素のSD1.5にも入れてみましたが、こちらも5枚すべて写真のような絵になり、窓辺に座る人や後ろ姿は出るものの、頬杖をしている人物は見当たりませんでした。

    画像
    同じ文章で生成した素のSD1.5の5枚

    念のため、SD1.5の完成画に合わせて (chin rest:1.2) を袖隠しの言葉(sleeves past fingers, sleeves past wrists, oversized lab coat sleeve, hand in sleeve)に替えたパターンもWAIで出してみました。

    画像
    WAIで「袖隠し」を指定した5枚

    5枚とも手より長い白衣の袖になりました。こんなにもすんなりとやりたかったことが再現できるなんて…SD1.5では50枚出して良いのが1枚あれば良い方だったのに。

    並べてみる:「絵の完成度」と「同じ子に見えるか」

    ここまでに出た画像を、目標の立ち絵やSD1.5の完成画と横に並べてみます。まずは「白い小花」の比較です。

    画像
    左:目標の子 / 中:SD1.5総まとめの白い小花 / 右:WAI(白い小花+画風)の1枚目

    こうして3枚を並べると、画風は違うものの、灰色の髪、ぱっつん前髪、黒いリボンのおさげ、ジト目、白衣、黒い服と、言葉で指定した部品がすべて合っています。

    次に「窓辺」の2枚も並べてみます。

    画像
    左:SD1.5総まとめの窓辺(袖で手を隠した) / 右:WAIの窓辺・頬杖の4枚目(手が見えている)

    SD1.5では指が足りずに袖の中に隠した手を、WAIは文章だけで、しかも頬杖のポーズで出してしまいました。窓から差し込む光や白衣の陰影など、1枚のイラストとしての完成度は、補助なしの1回目から非常に高い水準にあります。

    なお、今回の生成にかかった時間とVRAM使用量を実測したところ、WAI(832×1216)はモデルの読み込みを含めた1枚目が31.74秒、2枚目からは1枚あたり9.8〜10.0秒で、VRAMのピークは9,548MiB(約9.3GB)でした。素のSD1.5(512×768)は1枚2.2秒前後、VRAMのピークが2,542MiBです。画像の大きさが違うため同じ条件での速さの比較ではありませんが、約10秒待てばこの描き込みの絵が出てくることになります。

    まとめ

    新しいモデル(WAI)に文章だけで挑んでみてわかった一番大きな収穫は、「絵としての完成度(部品がそろい、手や光まで綺麗に描けること)」と「同じ子に見えるか(輪郭や頭身のバランス)」は別物だったということです。言葉だけで特徴はすべて通るし、前のシリーズで袖に隠した手も頬杖であっさり描ける一方で、出てきたのは大人びた別の子でした。

    次回からは、この高い基礎画力を持ったモデルの上で、どうすれば目標の子の顔に寄せられるのか、その方法を色々試していきたいと思います。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ