メインコンテンツへスキップ
見出し画像

【はじめてのIllustrious】Danbooruタグでうちの子の顔に寄せるまで

    前回、Illustrious 系の派生モデル WAI(waiIllustriousSDXL_v110)を使い、うちの子(白衣ちゃん)の特徴を英語の言葉だけで書いて出力しました。灰色の髪、ぱっつん前髪、おさげ、白衣、黒い服、ジト目といった部品はそろい、頬杖の手まで自然に描けましたが、まだまだ再現できているとは言い難いです。絵としてはとてもきれいなので、くやしいところです。

    画像
    左から白衣ちゃん、前回、今回。同じモデル(WAI)のまま言葉を直した結果

    今回は同じ WAI のまま、言葉を見直すことでどこまで白衣ちゃんの顔に寄せられるのかを試します。生成設定は前回と同じくサイズ 832×1216、25 ステップ、CFG 6、サンプラーは euler_ancestral / normal で、同じ 5 つの Seed(20261022〜20261026)で 5 枚ずつ出力しています。LoRA などの補助は使いません。

    言葉が通じていなかった——Danbooru のタグに直す

    前回の絵を白衣ちゃんと見比べると、髪が濃い灰色で白いツヤが強く、輪郭も縦長になっていました。丸顔にしたくて書いた round face や、平らな塗りを狙った simple shading がうまく効いていないようです。

    原因を調べるため、本家 Illustrious(開発は OnomaAI)のモデルカードを確認したところ、イラスト投稿サイト「Danbooru」のタグで学習していると書かれていました。そこで前回使った英語を Danbooru のタグ一覧と照らし合わせてみると、タグとして登録されていない言葉がいくつも見つかりました。

    • 前回書いた言葉:

    • :braided pigtails

    • :black hair ribbon

    • :open lab coat

    • :simple shading / clean lineart

    • :round face

    ほかにも sleepy eyes(タグは sleepy)や morning light(タグは morning)などが登録外でした。まずは前回の「白い小花」のプロンプトを、Danbooru に登録されているタグへ書き直してみました。

    1girl, solo, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, sleepy, blush, expressionless, lab coat, open coat, black t-shirt, portrait, upper body, looking at viewer, (white flower:1.2), flower field, depth of field, morning, flat color

    ネガティブプロンプトは、まず前回のまま試しています。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated, nsfw, cleavage

    さらに、WAI の作者ページで推奨されている品質タグ(先頭に masterpiece, best quality, amazing quality)と短いネガティブ(bad quality, worst quality, worst detail, sketch, censor, nsfw)を入れたパターン(②)と、そこから品質タグだけを外したパターン(③)も順番に出してみました。

    画像
    ① タグに直した 5 枚(Seed 20261022〜20261026)
    画像
    同じ Seed(20261023)での顔の移り変わり

    言葉をタグに直しただけで(①)、5 枚とも髪が濃い灰色から明るい灰色に変わり、塗りも平らになりました。頭の上の明るさ(0〜255 の中央値)を測ると、前回の 91〜128 から 173〜221 に上がり、うちの子の髪色(#B4B3B2、明るさ約 180)にかなり近づいています。黒いリボンも 5 枚すべてに出て、前回口元に出た白い息も消えました(ただ、5 枚中 3 枚で頭の横に眠っているような小さな泡が出ました。sleepy の影響と考えられますが、外して確かめてはいません)。白い息が消えたと思ったら今度は頭から泡が出てきてしまいました。

    一方、作者推奨の品質タグを入れると(②)、ツヤや陰影が増えてベタ塗りから離れてしまいました。品質タグだけを外すと(③)、また平らな塗りに戻ります。今回の 5 枚では品質タグを入れると描き込みが増えすぎるため、以降は③の「品質タグなし・短いネガティブ」を土台にします。ただ、髪色と塗りは近づいたものの、顔はまだ縦長のままです。

    顔がまだ縦長——デフォルメのタグを 1 語ずつ足す

    丸顔にしたくて書いた round face は Danbooru のタグに見当たらなかったので、輪郭や頭身を変える言葉を探し直しました。Danbooru にあるタグの中からデフォルメに効きそうな 10 語(no nose、dot nose、blush stickers、tareme、solid oval eyes、ahoge、thick outlines、toon (style)、petite、chibi)に round face を加えた 11 語を、土台に 1 語ずつ足して確かめました。

    画像
    土台(左上)に 1 語ずつ足した顔の比較(すべて Seed 20261023)

    11 語のうち、目で見てはっきり効いたのは次の 3 語でした。

    • blush stickers:5 枚とも頬が白衣ちゃんと同じ丸い赤みになり、いちばんはっきり効きました。

    • chibi:頭が大きく体が小さくなりました(Seed 20261023 がいちばん顕著で、ほか 4 枚は顔が丸く幼くなる程度)。

    • toon (style):5 枚とも顔が丸く線が太くなりましたが、目が三白眼ぎみになります。

    画像
    はっきり効いた 3 語の 5 枚ずつ

    反対に、no nose を入れても鼻の点やハイライトは残り、tareme や thick outlines などは目立った変化がありませんでした。

    そこで、効いた語を組み合わせた 2 パターンを比べました。

    画像
    上段:chibi, blush stickers を追加/下段:さらに toon (style) を追加

    下段のトゥーンスタイルな目つきも味があって捨てがたいのですが、今回は上段で進めます。確定したプロンプトとネガティブは次のとおりです。

    1girl, solo, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, sleepy, blush, expressionless, lab coat, open coat, black t-shirt, chibi, blush stickers, portrait, upper body, looking at viewer, (white flower:1.2), flower field, depth of field, morning, flat color
    bad quality, worst quality, worst detail, sketch, censor, nsfw

    この組み合わせで、もう 1 つのお題「窓辺(頬杖)」も場面の言葉をタグに直して(末尾を upper body, sitting, window, (head rest:1.2), looking at viewer, sunlight, indoors, curtains に変更)出してみました。

    画像
    窓辺(頬杖)の 5 枚。頭身を下げても頬杖は崩れなかった

    頭身を下げて丸顔にしても、5 枚とも窓辺の頬杖は崩れませんでした。WAI でかなり近づきましたが、別のモデルならもっと白衣ちゃんに似るのかどうかも気になります。

    ほかのモデルならもっと似るのか——5 つのモデルで比べる

    ここまで WAI 1 本で調整してきましたが、Illustrious 系には塗りが平らなモデルやカートゥーン調のモデルもあります。モデルを替えたほうが白衣ちゃんに似るのか確かめるため、Illustrious 系の 5 つのモデルに先ほどのプロンプトと設定をそのまま渡して比べてみました(WAI で詰めたプロンプトなので、WAI に有利な条件ではあります)。

    画像
    5 モデルの比較(白い小花)。上から WAI、本家、Hassaku、Nova、Mistoon
    画像
    WAI の段の右端(Seed 20261026)。かわいい!

    色々モデルを試しましたが、結局 WAI のこの 1 枚が、ジト目と丸い頬の感じが絶妙で、とてもかわいいなと思いました。

    • WAI(v11.0):丸い顔と平らな塗りで安定しています。

    • 本家(Illustrious-XL v0.1):いちばん簡素な塗りですが構図がばらつき、1 枚目は上下 2 コマの漫画のような絵になりました。

    • Hassaku XL(v3.4):描き込みが多めで、hair ribbon が頭の上の大きなリボン(カチューシャ)になる絵が白い小花で 5 枚中 2 枚、窓辺で 1 枚出ました。

    • Nova Anime XL(IL v19.0):WAI に近い絵柄で、少し描き込みが多めです。

    • Mistoon_Anime(v1.0):太い線とベタ塗りで、5 枚とも頭身や構図が安定しています。

    画像
    5 モデルの比較(窓辺)。上から WAI、本家、Hassaku、Nova、Mistoon

    窓辺の頬杖も試したところ、5 モデルすべてで 5 枚とも崩れずに描けていました(生成時間はどれも 1 枚約 10 秒、VRAM ピークも約 9.5GB で差はありません)。

    また、「各モデルの作者が推奨する書き方」に合わせたらどうなるかも Nova で試してみました。先頭に長い品質タグを入れ、ネガティブにも作者推奨の一覧(cartoon, deformed, long body, oldest など)を入れた結果がこちらです。

    画像
    Nova Anime XL の比較。上段:そろえた設定/下段:作者の推奨設定

    プロンプトに chibi は入ったままなのに、下段の推奨設定では chibi が効かなくなり、5 枚とももとの頭身に戻ってしまいました。推奨ネガティブにある deformed や cartoon などがデフォルメと逆向きに働いたと考えられます(1 語ずつ外して確かめてはいません)。モデルごとの癖が見えてきたところで、最後に今回の結果を並べて振り返ります。

    並べてみる——言葉で寄せられた所と、残った差

    大人びた別の子になったのは、言葉のせいだったのか、モデルの絵柄のせいだったのか。白衣ちゃん、前回の WAI、今回の WAI、そして Mistoon を並べてみます(どれも Seed 20261022)。

    画像
    左から白衣ちゃん、前回、今回の WAI、今回の Mistoon(Seed 20261022)

    今回試した中でいちばん近いと感じたのは、WAI に chibi, blush stickers を足したプロンプトでした。Mistoon も太い線とベタ塗りで雰囲気が近いですが、こうして並べると、モデルを替えたときの違いより「プロンプトを直す前と後の違い」のほうが大きく見えました(今回の 5 モデル・5 枚の範囲での印象です)。

    Danbooru のタグに言葉を直し、品質タグを外して、効く語を足すだけで、髪の明るさ、黒いリボン、丸い頬の赤み、そして低い頭身までは寄せることができました。同じモデルのまま言葉を変えただけでここまで近づいたので、並べて見たときは驚きました。

    一方で、髪の白いツヤ、手描きの線の味、二つ結びの長さや形など、言葉だけでは毎回そろえるのが難しい差も残っています。特に鼻の点は no nose と書いても消えてくれず、なかなかしぶといです。次は、前のシリーズでも使った学習画像データで Illustrious 用の LoRA を作り、この残った差がどう変わるのかを試してみようと思います。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ