メインコンテンツへスキップ
見出し画像

知識0&環境なし&自動で超簡単にLoRAモデルを作る(※全力でGeminiCLIに任せて作る)

    LoRA作成 というと、どうも敷居が高い。。環境構築や理解に大変そうなイメージがあり、そのうちやってみよう。。と思いながらも後回しになっていたのですが。。。最近、お気に入りのAI、GeminiCLI に頼んだら非常に簡単にLoRAモデルを作ることが出来ました。
    (ただPCスペックの都合でLoRAを作成するのに時間はかかりますが。。)

    これで誰でも、パソコンの起動時間さえ確保できれば、簡単にLoRAモデルの作成が可能に!!

    今回、まず自分で用意するのはズバリ「LoRAに学習させたい画像」と、あとは、そのLoRAを利用したい「モデル」だけ!
    あとはGeminiCLIに全てを任せます

    ※「環境なし」とは言いつつも、LoRA を作りたいと思う時点で画像生成をやっているので既に揃っていると思いますが。。
    基本的な「Python」と「Git for Windows」、あと主役の「GeminiCLI」はインストールしておいてください💦

    画像
    こんな感じでファイルを用意して
    このフォルダから右クリック⇒コマンドプロンプトで
    GeminiCLIを起動します
    ※LORAのフォルダに学習したい画像を入れておきます

    数回作ってみて、何をGeminiに依頼すべきなのか、概ね把握できました。
    🫡指示をコピペして使ってください

    ※GeminiCLIのインストール方法などは、下記のリンク先にも記載されています。
    ※umanikomiのGeminiCLIはギャルGeminiです。

    画像

    環境構築を依頼する

    まず最初に、Pythonで何もかも全部作れるのでは。と一瞬思ってしまったのですが、せめてkohya-ss/sd-scriptsの環境は用意してくれ。。。とのことなので、sd-scripts の環境を準備します。

    画像
    ゼロから全部作るのは
    鬼ムズイのでダウンロード(pull)します

    ということで環境準備の指示として、kohya-ssさんの sd-scripts のpullと、環境構築の依頼をします。
    ※python本体のフォルダは、自分の環境のディレクトリを指定してください

    🫡1回目の指示 (kohya-ss/sd-scripts の環境準備)

    以下をpullして README-ja.md の指示に従い
    sd-scripts の環境を準備してください
    https://github.com/kohya-ss/sd-scripts
    また、python本体は c://python/Python311 にありますので、これを使ってvenv環境を作るようにお願いします。

    ※sd-scripts では、Python 3.10.6を推奨しているようです💦

    ここで、いろいろと環境構築を自動でやってくれます。。。
    何か聞かれても、GeminiがREADMEの説明文を読んで理解してくれているので、基本は「お任せします」でOKです。
    理解してくれているので、最適な設定を選んで作ってくれます。

    試してないですが、うまく行かないようでしたら「mdファイルを1度、全部探して内容を確認してみてください」などの指示を入れてもいいかもしれません。

    画像
    SDXLでもしも詰まるようでしたら
    train_SDXL-en.md を読むように指示してみましょう
    (たぶんGeminiが自動でファイルを見つけてくれますが)

    学習したい画像ファイルを準備する

    今回は、サンプルとして、キャラ固定LoRAを作りたいと思いましたので、AnimagineXLでキャラを作り、AnimagineXLで学習したいと思います。

    髪は短い、そして、斜め45度のLOWツインテール限定という謎のこだわりで作りたいと思います。

    画像
    これが正解
    画像
    斜め45度じゃないからNG
    という、こだわり
    画像
    ツインのテールが長いからNG
    という、こだわり

    最初、画像ファイルの整理や、キャプション付け(LORA学習用に画像の説明を付ける)をしたほうが良いらしいので、細々と手作業をしていたのですが、それすら面倒になりGeminiに確認してみたところ、それも自動でできることが分かりました。。。
    ※ちなみにキャプションなしでも、コントロールが難しく、不安定になりやすいようですが動くようです。

    キャプションの自動化については、これまた kohya-ss さんのpullした sd-scripts のフォルダの中に「WD14Tagger」という自動キャプション付けツールが一緒に入っているらしく、それもGeminiが見つけてくれました。

    🫡2回目の指示(キャプション WD14Tagger の実行)

    LORAのフォルダにある画像を、sd-scripts の中にある WD14Taggerを利用してキャプションを付けて、LORA学習用の画像リストを作ってください。

    これでキャプション付けがされたテキストとリストを自動で用意してくれます。

    キャプションが必要ない場合は、そう伝えればOKです
    最低限のモデル名などは聞かれるので、それだけ返答してあげてください

    キャプションなしでLORA学習をしてください。


    実行する!

    準備完了。ここまで、わずか2ステップです(待つのは長いけど)
    実行を依頼すると、学習のための必要事項を聞いてきます。何もかも任せちゃってもいいですが、ベースモデルファイルの名前ぐらいは答えてあげましょう。。。

    画像
    画像サイズは指示しなくても
    SDXLで512だとエラーになるので
    勝手に1024になりました

    問題なければ実行。。なのですが。。。

    以下の指示は必ず実行する必要は無いのですが、どうやらGeminiは処理が終わるまで、警告とか確認しないようなので、画像1枚だけで1回試したほうがいいです。。長時間、全部処理して失敗したときの絶望感は半端無いっス

    🙈お試し指示(いちおう、やらなくても良い)

    AnimagineXLのモデルをベースにして、LoRAモデルを作ってください。
    あとはお任せしますが
    念のため、試しに画像1枚だけでLoRAモデルを作ってみてください。

    キャプションファイル読めてなかったらしく、私は1回、数時間を無駄にしました。。

    1枚だけなので学習量が少なく、試しに使っても役に立ちませんが、エラーさえ出なければ良いです。上記、出来上がって問題なさそうなら、いざ!始めましょう!

    🫡3回目の指示(LoRA学習 sdxl_train_network の実行)

    では、完成後のLoRAファイルの名前は umanikomi で実際のLoRAモデルの作成をお願いします。

    ここからが時間との闘いになります。動画生成とは比べ物にはならないぐらいに時間がかかりますw
    ※640 x 640の場合なら、全然早かったです。

    SDXLの場合、sdxl_train_network.py というプログラムで学習が開始されます。SDXLじゃない場合でも、Geminiが適切なプログラムから学習を開始してくれます。
    学習画像枚数が多かったりすると単純に処理時間がかかります。また、解像度が高いと処理時間が多くなります。

    RTX3060Ti VRAM 8G / Memory 64G
    SDXL 10枚 ≒ 2~3時間ぐらい?

    画像
    当たり前のようにGPUメモリは振り切ります

    ある程度進めば、いちおう途中で止められるようです。
    ただ、止めるのが早すぎると「何も進んでナイッす」と怒られます。

    画像
    長い処理が完了

    実際に使ってみる

    出る出る。。。出てると思います。。。斜め45度の短い髪のLOWツインテールで、ちゃんと出ますね。ちょっと雰囲気変わりました?追加学習については、また新しく学習してマージするのが良いみたいです。

    ※LoRAの効果が分かりやすいように、もっと個性的なキャラとかにしても良かったかも。。

    画像
    画像
    画像

    とりあえず作ることができました!


    追加学習のマージもやってみる

    記事が長くなっちゃいますが、更に追加学習もやってみることにしました。
    ChatGPTが言うには、そのまま追加学習もできるけど、崩壊しやすいそうなので、追加はマージがおすすめのようです

    ※GeminiCLIは作業に集中しているのでChatGPTに質問💦

    そこで、マージするため、今までと同じように画像を用意して、モデルを新規作成します。

    画像
    ちょっと、斜め45度じゃないツインテールが
    混じってしまったかな

    「sd-scripts」「モデル」あとは「Geminiが作ったプログラム」以外は不要なので、他は別フォルダに移動するか、必要なければ削除します。

    「marge_LORA」というフォルダを作り、マージしたい2つのLoRAを入れておきます。

    画像
    pyはGeminiが作ったプログラム

    再び sd-scripts のフォルダの中に「marge_lora.py」というモデルマージ用のプログラムが既に用意されているようなので、それでマージします。

    🫡追加の指示(マージ処理 marge_lora の実行)

    marge_LORA に入っている LORA をマージできますか?

    画像
    全部OKっス

    これでマージされたようです
    マージは数秒で終わりました。

    画像

    実際に使ってみる②

    マージモデルでも試してみました。さっき真ん中の前髪出てたけど消えちゃった?

    画像
    画像
    画像
    画像
    タイトル文字で隠れてましたが
    Noteタイトルのイラストも
    マージ後のイラストです

    以上です!
    環境は再利用できるので、環境状態を教えればGeminiが再実行や新規作成をしてくれます。
    これで自分専用のLoRAを作ることが出来るようになりました!

    細かい設定はお任せですが、LoRA 入口の第一歩として
    この方法で作成してみても、いいかもしれません!

    画像

    この記事が参加している募集

     
     
    AI競馬予想とwin5予想の投稿。また、雑談等でStableDiffusionやAIについての記事も記載しています。 競馬に興味が無い方などは、各マガジンでのフォローをお勧めします。 ※ Amazon アソシエイトとして umanikomi は適格販売により収入を得ています

    あなたへのおすすめ