メむンコンテンツぞスキップ
芋出し画像

DrawThingsでIllustriousのLoRA䜜成

    🎃お憑かれちゃん👻オバケのルリです

    こちらは玠人による自由研究になりたす。自分甚メモも兌ねお。
    ComfyUIずかどこかのサヌビスずか䜿った方が情報も倚いし楜にできるず思う。飜くたでDrawThingsでの情報ですのでご泚意。

    DrawThingsっお

    iphoneで䜿える画像生成AIアプリ。Macでも䜿えるルリはMacでのみ䜿っおたすLoRA孊習もできるけど倚分日本人ナヌザヌが少なくお、ずにかく日本語の情報が少ない。Discordで質問するこずはできるけど、元々知識があったりWiki読み解けたりする前提っぜいので英語匱者でガチの初心者だずあんた理解できない。䜕かDTの有益情報知っおたら教えおください



    孊習のや぀どこにあるの

    DrawThings開くず巊偎におおたかなメニュヌがあっお、その䞀番䞋にある「PEFT」っおや぀がLoRA孊習。

    画像
    PEFT= Parameter-Efficient Fine-Tuning らしいわ
    画像
    LoRA孊習画面

    chatGPTによる解説

    孊習画面の巊カラム内を党郚スクショしおchatGPTにこの现かい文字読んでもらっお、易しい解説をしおもらった。合っおるかどうかはわかりたせん。DrawThingsっおなんかあたり䞀般的でない甚語䜿っおるっぜくお怜玢しおも適切なものが芋぀からないこず倚いんですよね。ただでさえわからないのに、さらに混乱する。
    手っ取り早く䜜り方を知りたい人は目次の「IllustriousでLoRA孊習をやりたい」たで飛ぶず良いぞ。

    「AIずかプログラミングずかなんもわかりたせん初心者です」っお蚀っおある。Draw ThingsLoRA孊習ハむパヌパラメヌタ党文曞き起こし初心者向け解説


    ベヌスモデル

    LoRAは加算型モデルです。ペヌスモデルが必芁で、そこから埮調したす。優れたベヌスモデルは必芁なステップ数を枛らし、最終結果の矎しさを向䞊させたす。

    👉どのAIを土台にしお芚えさせるか普段䜿っおいるモデルず同じにするず倱敗しにくい。


    出力するLoRAの名前

    LoRAリストに衚瀺される名前です。この名前で、ハむパヌパラメヌタやトレヌニングデヌタセットのキャプションなどの情報も保存され、同じ名前を䜿甚すればそれらの情報を埩瀺できたす。

    👉 完成したLoRAのファむル名。埌で芋返したずきに分かる名前にする。


    トリガヌワヌド

    トリガヌワヌドはキャプションに自動入力され、LORAの良い出発点ずなりたす。モデルに匷い意味を持たない単噚を遞んでください。さもないず元のコンセプトがえおしたう可胜性がありたす。

    👉「このLoRAを呌び出す合蚀葉」キャラLoRAでは必須。


    ネットワヌク次元

    「ネットワヌク次元」はLoRAネットワヌクの容量を決定したす。倧さい倀はより倚くのデヌタでのトレヌニングを必芁ずしたすが、デヌタの埮劙なニュアンスを捉えやすくなりたす。

    👉 芚えられる情報量。少なすぎるず効かない、倚すぎるず重い。


    ネットワヌクスケヌル

    これは他のトレヌナヌでの「Network Alpha」 たたは「Network Dim」に盞圓し、LORAネットワヌク内のランダム重みの初期圱響を決定したす。小さい倀はトレヌニングの安定化に寄䞎する堎合がありたす。

    👉 LoRAの効きの匷さ。基本は1.0固定でOK。


    UNet孊習率

    メむン装散モデルの孊習率です。りォヌムリスタヌト付きコサむンアニヌリングで䞋限ず䞊限の間を補問したす。

    👉 勉匷のスピヌド。高すぎるず壊れ、䜎すぎるず芚えない。


    画像サむズ

    生成される画像のサむズです。最良の結果を埗るには、1:1たたはNormalを䜿甚しおください。

    👉 芚えさせる画像の倧きさ。1024は高品質でおすすめ。


    アスペクト比ずマルチスケヌル

    「囜像のアスペクト比を䜿甚」がオフの堎合、画像は指定サむズにリサむズ埌、センタヌクロップされたす。オンの堎合、指定サむズを総ピクセル数ずしお近䌌し、元画像のアスペクト比を䜿甚したす。たた「マルチスケヌル」により、耇数の解像床で同䞀画像を孊習し、構造ず詳现の䞡方を提えやすくなりたす。

    👉 色んなサむズ・比率で芚えさせお安定させる機胜。ON掚奚。


    シヌド

    シヌド倀は画像生成の開始方法を決定したす。同じシヌド倀を䜿甚するず、同じ画像が生成されたす。

    👉 ランダムの皮。基本は気にしなくおいい。


    トレヌニングステップ数

    実行するトレヌニングステップ数です。孊習事ず䜵せお調敎する必芁がありたす。孊習率が䜎い堎合やモデル容量が倧きい堎合は、より倚くのステップが必芁です。

    👉 䜕回埩習するか。少ないず芚えない、倚すぎるず芚えすぎる。


    Nステップごずに保存

    NステップごずにLoRAを保存し、モデルの孊習を防ぎたす。

    👉 途䞭セヌブ。比范や倱敗時の保険。


    りォヌムアップステップ数

    どのステップから完党な孊習率を䜿甚するかを制倒したす。りォヌムアップステップは初期䟋に過床の重みがかからないようトレヌニングを安定化したす。

    👉 準備運動。少量デヌタでは短めが良い。


    募配蓄積ステップ数

    ネットワヌク曎新を実行するタむミングを決定したす。曎新前により倚くの
    募配を蓄積するず、進むべき方向の統蚈が行られ、孊習率もそれに合わせお
    調䟋2倍のステップであれば孊習率も2倍する必芁がありたす。

    👉 小分け孊習。䜎スペック環境向け。


    ノむズオフセット

    「ノむズオフセット」はノむズ分垃に远加のオフセットを導入したす。これにより、垞に䞭間発出になるのではなく、暗い・明るい状況をより適切に衚珟できたす。

    👉 明暗の安定化。基本は0.05でOK。


    ノむズ陀去スケゞュヌル

    ノむズ陀去プロセスのどの段階に焊点を圓おお埮調敎するかを決定したす。䟋えば、70%100%の間で画像を「粟緻化」するLORAや、050で構図を燃えるLoRAなどがありたす。

    👉 孊習のどの段階を重芖するか。初心者は觊らない。


    キャプションドロップアりト率

    空のキャプションを䜿甚するサンプルの割合を決定したす。これにより芳念が䞀般化されたすが、根念の流出が起こる可胜性もありたす。

    👉 説明文を無芖する割合。少量デヌタでは0が正解。


    固定正芏盎亀LoRAダりン

    LoRA トレヌニングでは、掻性化を小さな郚分空同に射圱するダりンマトリックスず、元の朜圚空叞に戻すアップマトリックスの2぀のサブマトリックスが䜿われたす。ここで、゜=WW✕を゜ニW +BA*に眮換したす。ダりンマトリックスを正芏盎亀行列ずしお固定するこずで、すべおの埮調敎がB行列䞊で行われ、完党な埮調敎に近づけるこずができたす。

    👉 数孊ゎリゎリの䞊玚者向け安定化。初心者は觊らなくおOK。


    パワヌファンクションEMA

    EMA指数移動平均はトレヌニング経路䞊でモデルを平均化する効果的な手法です。最新のモデルではなく䞀定期間の平均モデルを保存するこずで、より滑らかな結果が埗られたす。Karrasの文に基づいたプロファむルを実装しおおり、トレヌニング埌に異なる平均化バラメヌタを遞択できたす。

    👉 孊習のブレを抑える手ブレ補正。ON掚奚。

    メモリセヌバヌ

    このオプションはLoRAトレヌニング時に性ずRAM䜿甚量のトレヌドオフを可胜にしたす。ミニマルは最も遅いが最少メモリ、バランスは䞭皋床、スピヌドはバランスより速いが倚く、タヌポは最速で最倧メモリを䜿甚したす。

    👉 メモリず速床のバランス。バランス掚奚。


    重みのメモリ管理

    FLUX.1[dev]などの倧芏暡モデルでは、重みが倧量のRAMを消費したす。 Just-in-Timeにより必芁な時に重みを読み蟌み、䞍芁になったらオフロヌドしおRAM䜿甚量を抑えたす。

    👉 重たい教科曞を必芁なずきだけ出す仕組み。基本はデフォルト。


    TensorBoardに保存

    トレヌニング枕を TensorBoardで開発可胜な圢匏で保存し、䞊玚ナヌザヌがプロセスを远跡できたす。

    👉 孊習ログの蚘録。初心者は䞍芁。



    IllustriousでLoRA孊習をやりたい

    wikiも英語でわからないしDiscordで質問しおも「wiki芋たら、もしかしたらわかるかもね」っお蚀われおしたったので以䞋は自分で暡玢したやり方。

    基本的な䜜り方

    教垫画像が100枚以䞊ある堎合のやり方。最初はデフォルト蚭定でOK。キャラクタヌの芚えさせたい郚分目の色、髪の色、髪型、目぀きなどをキャプションずトリガヌワヌドにしたらできるかも。

    䞊蚘でダメだった堎合

    • トレヌニングステップ数を5000ずか10000ずかにする

    • ネットワヌク次元の数を枛らす2ず぀枛らすずいいらしい

    をやったらなんずかなる。


    教垫画像が2枚しかない堎合

    い぀でも100枚あればいいんだけど、だいたいの堎合、教垫画像っおすごく少なかったりする。デルタもんを䜿っお少枚数からキャラクタヌLoRAを䜜っおみよう。

    デルタもんっお

    AI に関連した利甚に限り、目的を問わず自由に䜿うこずができるキャラクタヌ。デルタもんの他にガンマミィやベヌタミヌナずいう嚘もおる。画像は珟状二面図のみしかない公匏LoRAが配垃されおいたすが今回は䜿いたせん

    今わかるやり方は2通り。たずは教垫画像に関しお。

    1. Qwenやnanobananaを䜿っお教垫画像を増やす

    この2぀は画像線集が埗意なAI。詳しくは今回は割愛するんだけれども、線画にしたり色を塗ったり、別のポヌズをさせたり別の衚情をさせたりできる。
    nanobanana
    はGeminiでできる画像線集AI。だけど、アップロヌドするのはちょっず、よくないこずもある。
    そこでロヌカルで、DTでもできるのはQwen。だけどめちゃめちゃ重い。1枚10分ずか30分ずかかかるし、生成しおる間、他の䜜業できないくらい重い。
    あず䞡方ずもなんだけど、顔぀きが倉わっおしたいがち。䞊手いやり方あるかもしれないんだけど今の所私はうたくできおない。

    この2぀を䜿っお教垫画像を100枚くらい甚意できたらそれが䞀番いいかも。そしたら、最初に蚀ったやり方でできるかも※ルリはただやったこずないです

    2. 画像を氎増ししお、孊習の蚭定をもうちょっず匄る

    デルタもんの教垫画像を巊右反転したり切り抜いたり傟けたりする。

    画像
    巊右察称デザむンのキャラクタヌだからできる技

    色んなずころに差し蟌んだので芋にくくなっおたすがnoteの蚘事も远蚘曎新したした。

    デルタもんLoRA怜蚌1ずLoRA配垃852話 @8co28 #note https://t.co/c7ISRQCBiE

    — 852話(hakoniwa) (@8co28) January 21, 2024

    こちらの蚘事を参考にさせおいただきたした。雑コラしおちょっず違うポヌズにするのずか、䜓の䞀郚だけアップにするや぀は今回は䞀旊やらなかった。

    で、この氎増し25枚を100枚あるずきず同じ蚭定でやっおもうたく行かなかったず。そこでたたLoRA孊習画面を䞀通り読んでもらったchatGPTにどうしたらいいか聞いおみた。

    📋 25枚向けおすすめ蚭定たずめDrawThings

    🔹 基本
    • ネットワヌク次元8
    • ネットワヌクスケヌル1.0

    🔹 å­Šç¿’
    • トレヌニングステップ数5000前埌
    • UNet孊習率0.00015〜0.0002
    • りォヌムアップステップ5〜10

    🔹 安定化
    • EMAON
    • ノむズオフセット0.05そのたた

    chatGPTからのコピペ
    画像

    この通りに蚭定したらすんごい数のLoRAが䜜られおしたったのだけれども
    䜕が起きるのか理解しないたた実行しおるこれでうたく行きたした。無印5000でうたくいったので、pEMA0.050ずpEMA0.100ずは別にいらないかも。EMAはOFFでよかったのかな

    <deltamon>, 1girl, yellow-green hair, light blue eyes, cat ears, silver earrings, headband, white collar, yellow tie, light blue dress, shoulders, sides, white flared sleeves, yellow lines, white pockets, thighs, knee-high socks, robot joints, light pink boots, light pink backpack, cable tailalking

    キャプションずトリガヌワヌド

    結果芋せびらかしタむム

    うたくいったぞ満足

    画像
    画像
    画像

    ただやっぱ元々の教垫画像がね、少ないのでさすがに動かしづらさはある

    服の呪文を削るずこうなる

    画像


    デルタもんはですわ口調だからね、ドレス着おもらったり。元のドレスデザむンを取り入れようずしおおかわいい。

    画像
    画像
    画像
    画像

    ちなみに<deltamon>だけだずどうなるの 

    画像
    うろ芚えデルタもん色は芚えおないんだね

    たずめるず

    • 教垫画像を氎増しなどしお25枚ほど甚意
    • キャプションずトリガヌワヌド<deltamon>, 1girl, yellow-green hair, light blue eyes, cat ears, silver earrings, headband, white collar, yellow tie, light blue dress, shoulders, sides, white flared sleeves, yellow lines, white pockets, thighs, knee-high socks, robot joints, light pink boots, light pink backpack, cable tail
    • ネットワヌク次元8
    • ネットワヌクスケヌル1.0
    • トレヌニングステップ数5000
    • UNet孊習率0.00015
    • りォヌムアップステップ5

    ですかね。あずは数字をいじり぀぀トラむアンド゚ラヌ
    きっず間違っおる郚分はたくさんあるず思いたす。よくわからないたたchatGPTの蚀うずおり、たたは自分でテストを重ねたりした結果に過ぎないので。


    そんなわけでね、今回はこれでおしたい。
    以䞊オバケのルリでした。
    🎃お憑かれちゃん👻


    远蚘

    この蚭定でタヌボで孊習するずPCが重くなる䞊に20時間くらいかかっおたんだけど、詊しにバランスで開始しおみたら12時間ずか蚀っおる。
    なんでやねん。