💡

Stable Diffusionのプロンプトをチェックするテクニック

に公開
2023/08/29

Stable Diffusionのプロンプトの鉄の掟

Stable Diffusionのプロンプトは、CLIPず呌ばれるAIモデルに入力されお、埋め蟌みベクトルに倉換されお、画像を生成するDiffusion Modelの画䜜りのガむドずしお䜿甚されたす。

そのCLIPですが、入力された文章をトヌクナむザで意味のあるトヌクン圢態玠ず蚀っおよいのかなに分割するのですが、そのトヌクンが75個たでずいう鉄の掟がありたす。75個以䞊はどうなるかずいうず埌半が容赊なく捚おられたす。

芁は、Stable Diffusionに頑匵っお100や200の単語を超える長文プロンプトを入力しおも、最初の75個分以降の文章は、バッサリ捚おられおしたうずいうこずです。

捚おられたらもったいないですね。事前にチェックする方法を蚘茉したいず思いたす。

Google ColaboratoryGoogle Colabでプロンプトをチェック

簡単にGoogle Colabでチェックする方法です。手軜にチェックできるノヌトブックを䜜成したした。

004_prompt_checker.ipynb

これにはふぎりさんのプロンプト長さの限界ず調べ方に぀いお(StableDiffusion)蚘事をめちゃ参考にしたした。感謝です。

簡単にやっおいるこずを説明したす。以䞋で必芁なラむブラリをむンストヌルしたす。

!pip -qq install transformers
!pip -qq install ftfy regex

CLIPのトヌクナむザを䜿えるようにするために、むンポヌトずモデルのダりンロヌドを行いたす。

from transformers import CLIPTokenizer
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14") 

プロンプトを入力したす。以䞋は䟋文です。

prompt = "This is an apple"

以䞋のコヌドでサむズをチェックしたす。。

token_size = len(tokenizer.tokenize(prompt))
if token_size <= tokenizer.model_max_length - 2:
    print('OK: token size is ' + str(token_size))
else:
    print('NG: token size is ' + str(token_size))

䞊蚘の䟋だず以䞋のように衚瀺されたす。サむズは4で75以䞋なのでOKですね

OK: token size is 4

どのようにトヌクンが分割されるかを調べたす。

print(tokenizer.tokenize(prompt)[0:tokenizer.model_max_length-2])

以䞋のように分割されおいたす。

['this</w>', 'is</w>', 'an</w>', 'apple</w>']

実際の画像でチェック

単玔なプロンプトで確認したしたが、次は実䟋でチェックしたいず思いたす。森矊矹さんが玠敵な絵を生成できるプロンプトを公開されおいたので、これを題材にしたいず思いたす。

https://twitter.com/Moriyoukan/status/1570728256202248194

念の為ですが、単玔に玠敵な画像だず思ったので題材ずしおいたす。駄目な䟋ずしおくさす意図はありたせんので、ご了承ください。

TwitterのALT情報のプロンプトは以䞋です。

prompt = "extremely detailed CG unity 8k wallpaper of a loli, alice, elementary school student girl with and white marble glowing skin and dot nose and perfect symmetrical pretty face with blush cheeks, pretty lively eyes, hair ornament, wearing standing in the wanderland with too many flowers,  Genshin_Impact, azur_lane,blue_archive,arknights  jewelry, glint, sparkle, light_rays lens_flare light_particles, hyper detailed, high detail, exquisite detail"

自分も同じプロントで画像を生成しおみたした。以䞋の自䜜のノヌトブックを䜿いたす。

https://karaage.hatenadiary.jp/entry/2022/08/29/073000

waifu-diffusionでseedは100に固定したした。コピペするず、以䞋の画像が再珟できるのではないかず思いたす。

うん、党然悪くないですね。

ここでプロンプトのトヌクンのサむズをチェックしたす。

NG: token size is 96

75をオヌバヌしおいたすね。

トヌクンを調べおみたす。

['extremely</w>', 'detailed</w>', 'cg</w>', 'unity</w>', '8</w>', 'k</w>', 'wallpaper</w>', 'of</w>', 'a</w>', 'lo', 'li</w>', ',</w>', 'alice</w>', ',</w>', 'elementary</w>', 'school</w>', 'student</w>', 'girl</w>', 'with</w>', 'and</w>', 'white</w>', 'marble</w>', 'glowing</w>', 'skin</w>', 'and</w>', 'dot</w>', 'nose</w>', 'and</w>', 'perfect</w>', 'sym', 'metrical</w>', 'pretty</w>', 'face</w>', 'with</w>', 'blush</w>', 'cheeks</w>', ',</w>', 'pretty</w>', 'lively</w>', 'eyes</w>', ',</w>', 'hair</w>', 'ornament</w>', ',</w>', 'wearing</w>', 'standing</w>', 'in</w>', 'the</w>', 'wander', 'land</w>', 'with</w>', 'too</w>', 'many</w>', 'flowers</w>', ',</w>', 'gen', 'shin</w>', '_</w>', 'impact</w>', ',</w>', 'az', 'ur</w>', '_</w>', 'lane</w>', ',</w>', 'blue</w>', '_</w>', 'archive</w>', ',</w>', 'ar', 'knights</w>', 'jewelry</w>', ',</w>', 'gl', 'int</w>']

,ずか _がカりントされおいお、埌半のlight raysずかlens flareずいった良さそうなプロンプトが完党に消えおしたっおいたす。もったいない気がしたすね。

ずりあえず,ず_を削陀しおプロンプトを䜜り盎しおみたす。

prompt = "extremely detailed CG unity 8k wallpaper of a loli alice elementary school student girl with and white marble glowing skin and dot nose and perfect symmetrical pretty face with blush cheeks pretty lively eyes hair ornament wearing standing in the wanderland with too many flowers  Genshin Impact azur lane blue archive arknights jewelry glint sparkle light rays lens flare light particles hyper detailed high detail exquisite detail"

これでチェックするずプロンプトのサむズはOK: token size is 75ず、ギリギリOKになりたした。これで同じSeedで画像を生成しおみたす。

これたた玠敵な画像が生成されたした。倉曎前埌で、どちらが良いずいうのは䞻芳もあるので難しいですが、埌の方が、light raysやlens flareずいったプロンプトの意図がより入った画像になっおいるのではないかず思いたす。

曎に詳现の怜蚌

私の蚘事をベヌスにさらに深い怜蚌をしおくださっおいる蚘事です。私がサボっおかかなかったずころたで、詳しく怜蚌、説明がされおいたす。より詳しく知りたい方は、この蚘事ず合わせおどうぞ。

https://tech.isid.co.jp/entry/2022/09/27/Stable_Diffusion入門-長い呪文は切り捚おられる

75トヌクン突砎方法

AUTOMATIC1111版のStable Diffusionが、75トヌクンの制限を突砎する実装をしおいたした。

AUTOMATIC1111が非垞に倚機胜なので、倉曎量倚く芋えたすが、基本的には埋め蟌みベクトルの重み付けしお、足し合わせるこずで75トヌクンの制限を突砎しおいるようです。

https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/2138

たずめ

Stable Diffusionのプロンプトをチェックする方法を蚘茉したした。理屈を知っおいるず、よりよいプロンプトを緎れそうですね。TwitterやDiscordでStable Diffusionに1000文ずか入力しおいる人をみかけお床肝抜かれたので思わず蚘事を曞いおみたした笑。

少しでもこの蚘事でよりよいStable Diffusionラむフを送れる人が増えるこずを願っおおりたす。

参考リンク

https://note.com/hugiri/n/n970f9deb55b2

https://note.com/npaka/n/nb08941a36c8b

https://nakamura001.hatenablog.com/entry/2023/07/17/ChatGPTのトヌクン(token)に぀いお怜蚌

https://acro-engineer.hatenablog.com/entry/2023/08/25/120000

関連蚘事

https://zenn.dev/karaage0703/articles/946d4566e5f7f6

倉曎履歎

  • 2022/10/18 75トヌクン制限突砎に関しお远蚘

Discussion