メむンコンテンツぞスキップ
芋出し画像

【#3-2】Ollama×Gemma 2耇雑な日本語入力から理想の構図・䜜颚を実珟するモデルを自動決定する

    1. はじめに

    📌 本シリヌズ党䜓のロヌドマップ目次はこちら
    👉 【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    前回の #3-1 では、Qwen 2.5 で耇雑な日本語を入力するず英語プロンプトが抜象的になったり䞭囜語化しおしたう問題の解消ため、Gemma 2 を導入したした。
    その結果、日本語の意図を汲み取った英蚳粟床は倧幅に向䞊したものの、「頭の䞭のむメヌゞ」ず「実際に生成される画像」ずの間にはただ倧きなギャップが残っおいたす。怜蚌を進める䞭で、この原因は Checkpoint の遞定 や LoRA の自動遞別、そしお画像生成モデルの特性に合わせたプロンプトの構造化が䞍十分である点にあるず分かっおきたした。

    そこで今回は、Checkpoint ず LoRA の自動遞別ロゞックを芋盎し、さらに「遞択したモデルの特性に合わせたプロンプト生成」たでを自動化する怜蚌を行いたす。
    日本語のニュアンス理解からモデル遞定、プロンプト構築たで、これたで以䞊に倚くの圹割を Gemma 2 に担わせるこずずなりたすが、果たしお「むメヌゞ通りの構図」を再珟できるようになるのか——ここが今回の最倧の怜蚌ポむントずなりたす


    2. Checkpoint の遞定

    では、耇雑な日本語指瀺からむメヌゞ通りの画像を生成するためには、どの Checkpoint画像生成モデルを遞べばよいでしょうか この点に぀いお Gemini で察話を重ねお怜蚌した結果をたずめたした。

    今回はノヌトPC環境が RTX 5070 系の最新GPU詳しくは 【#1】 本怜蚌の環境スペックを参照を䜿甚しおいるため、モデルによっおは「黒画像NaN゚ラヌ」が出力されたり、画面党䜓が「砂嵐ノむズ」になったりず、安定しお動䜜するモデルを探すだけでも䞀苊劎でした。

    ① FLUX.1 系のモデル䞍採甚
    モデルサむズ自䜓が非垞に倧きいこずに加え、軜量版などのモデルでは VAE画像の圧瞮・埩元を行う機胜 や UNetノむズを陀去しお絵を描くメむン凊理゚ンゞン の挔算時に桁あふれオヌバヌフロヌによる NaNNot a Number蚈算䞍胜な無効倀゚ラヌが発生し、画像が真っ黒になっおしたう珟象が倚発したため、今回は採甚を断念したした。

    ② playground-v2.5 系のモデル䞍採甚
    以䞋の掚奚蚭定で怜蚌したものの、生成結果はノむズ砂嵐のたたでした。
    ・CFG Scaleプロンプトぞの远埓床3.0
    ・Sampling Method暙準的なノむズ陀去アルゎリズムEuler
    ・Schedule Typeノむズの枛らし方を制埡するスケゞュヌラヌKarras
    ・Steps画像の描き蟌み回数30

    本来は UNetノむズ陀去゚ンゞン が砂嵐から少しず぀絵を浮き䞊がらせお画像を䜜りたすが、モデル内郚の特定の挔算が fp1616bit浮動小数点数の衚珟限界蚱容倀を超えおしたい、「非数NaN」ぞず化けおしたった結果、ノむズ陀去の凊理が完党にクラッシュし、画面が砂嵐のたた停止しおしたったず掚枬されたす。

    ③Animagine XL V3.1採甚
    このモデルは VAE が内包されたオヌルむンワン型のモデルで、RTX 5070 系の最新 GPU 環境でも゚ラヌを起こさず、正垞か぀スムヌズに画像が生成できたした。


    3. Forge に Animagine XL V3.1 のモデルを取り蟌む

    耇雑な日本語入力の構文を理解できるモデルずしお、Animagine XL V3.1 を早速取り蟌んでいきたす。

    モデルの入手先
    ・Animagine-xl-v31animagineXLV31_v31
    animagineXLV31_v31
    ➔ 「Download」ボタンをクリック6.46GB

    配眮堎所
    ダりンロヌドした animagineXLV31_v31.safetensors ファむルを、ForgeStability Matrixの Checkpoint フォルダ以䞋の配眮パスに配眮したす。

    📁配眮パス
    StabilityMatrix-win-x64\Data\Models\StableDiffusion
    ファむルを配眮埌、Forge 偎でモデル䞀芧を再読み蟌み曎新ボタンをクリック、たたは WebUI をリロヌドすれば準備完了です。


    4. 自動遞別したモデル向けのプロンプトで画像生成する

    それでは、耇雑な日本語入力から適切な Checkpoint ず LoRA を刀別し、そのモデルに最適化された JSON 圢匏の英語プロンプトを生成する凊理を実装しおいきたす。

    #3-1 で䜜成した「OllamaGemma 2を甚いお日本語入力から Forge 向け英語プロンプトを生成するプログラムollama_forge_create_picture_4.pyをベヌスに、今回採甚した Animagine XL V3.1 に察応できるよう機胜を拡匵したす。

    1.怜蚌プログラムの䜜成
    Gemini に以䞋の指瀺を出しおプログラムを䜜成・拡匵したした。

    Gemini ぞの指瀺文プロンプト:
    自䜜パむプラむンスクリプトollama_forge_create_picture_4.py をベヌスに、耇雑な日本語入力から Checkpoint ず LoRA を自動刀定し、各モデルに察応した最適な JSON 圢匏の英語プロンプトぞず倉換しお Forge に連携できるように改修しおください。

    この回答を基に䜜成したコヌドを ollama_gemma_forge_create_picture_1.pyずしお保存したした。

    2.動䜜確認
    䜜成した ollama_gemma_forge_create_picture_1.py を実際に動かし、#3-1で入力した日本語入力を行い、どのような画像ができるか確認しおみたす。
    ・Stability Matrix の事前蚭定
    巊メニュヌの「Packages」から Stable Diffusion WebUI Forge - Neo の蚭定ボタンをクリック
    → Extra Launch Arguments に --api を远加
    → LanchボタンをクリックしおForge起動

    🔹入力䟋#3-1の蚘事ず同様
    「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。」

    C:XXX>python ollama_gemma_forge_create_picture_1.py
    【LLMモデル】: gemma2
    【入力した日本語】: noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。
    【LLM提案サむズ】: 1216x684 ➔ 【補正埌サむズ】: 1216x704
    【刀定モデルキヌ】: animagine-xl-v31
    【刀定LoRAキヌ】  : none
    【刀定サむズ】    : 幅:1216 x 高さ:704
    【最終ポゞティブ】: masterpiece, best quality, highly detailed, 1boy, 17_years_old_boy, 1girl, 16_years_old_girl, standing, side by side, magician's assistant costume, stage lighting, large magic box, illusion props, dramatic spotlight
    【最終ネガティブ】: blurry, low quality, out of focus, distorted, smudged, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digits, fewer digits, cropped, worst quality, low quality
    🔄 Forge のモデルを sd\animagineXLV31_v31.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 1216x704)
       [Prompt]: masterpiece, best quality, highly detailed, 1boy, 17_years_old_boy, 1girl, 16_years_old_girl, standing, side by side, magician's assistant costume, stage lighting, large magic box, illusion props, dramatic spotlight
       [Negative Prompt]: blurry, low quality, out of focus, distorted, smudged, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digits, fewer digits, cropped, worst quality, low quality
    🎉 画像を保存したした: result.png

    前回の #3-1 の出力に比べるず、今回は2人の人物の配眮や、むリュヌゞョン甚の箱もしっかりず描写され、かなりむメヌゞに近い画像が生成されるようになりたした。

    泚目すべきは、LLMGemma 2が日本語の文脈を分析し、以䞋の刀断をすべお自埋的に行っおいる点です。
    ・🎯 最適モデルの遞定: 意図を汲み取り、animagine-xl-v31 を的確に遞定
    ・📐 解像床の自動蚈算: 「noteのヘッダヌ甚暪長」ずいう指瀺から SDXL に適した 1216×704 を導出
    ・🔀 プロンプト構文の動的切り替え: 遞んだモデルに合わせ、JSON 出力内のプロンプト圢匏Danbooruタグ圢匏たで自動最適化

    💡 補足なぜ「1216 x 704」が最適解なのか
    䞊蚘で採甚しおいる animagine-xl-v31 などの「SDXLStable Diffusion XL」䞖代のモデルは、埓来の旧䞖代モデルSD 1.5ずは異なり、最初から「玄100䞇画玠1024 X 1024 前埌」か぀「倚様な瞊暪比」に察応できるよう蚭蚈されおいたす。 LLMGemma 2はシステムプロンプトに仕蟌たれたこの「モデルの物理限界ルヌル」を忠実に守り、総画玠数が玄85䞇画玠100䞇画玠以䞋に収たる比率ずしお、この絶劙な解像床を自埋的に蚈算しお出力しおくれおいたす。

    䞀方で、背景の「脱出むリュヌゞョン甚の倧きな箱」のデザむンや、人物の现郚目元などの描写に関しおは、䟝然ずしおクオリティの面で課題が残っおいたす。
    日本語指瀺から英語プロンプトの生成はGemma 2に倉えおかなり正確に行われおいるものの、それでも発生しおしたうこの「画像生成特有のディテヌル厩れ背景の倧きな箱の倧きさや、人物の目元などの描写」をどう克服するか――。
    プロンプトの最適化だけでは届かないこの領域は、次回以降のテヌマずしお、システム党䜓で解決するアプロヌチを深く掘り䞋げおいきたす。

    画像

    5. Python プログラムの凊理抂芁

    今回の怜蚌で䜜成した ollama_gemma_forge_create_picture_1.py は、耇雑な日本語から適切な英語プロンプトや蚭定を䜜るため、前回の #3-1 から以䞋の凊理を倧幅に匷化しお自動化しおいたす。

    ・Ollama ぞの圹割付䞎ず指瀺LLM指瀺文の定矩
    OllamaGemma 2に察しお「プロンプト゚ンゞニア å…Œ ビゞュアルディレクタヌ」ずしおの圹割を厳栌に付䞎。単なる盎蚳ではなく、日本語のリク゚ストを単語単䜍に分解・分析し、「優先床の高い重芁オブゞェクト」をプロンプトの先頭偎に配眮する指瀺文に改良し、構図を安定させたした。

    ・コンテキストによる「数量・個数」の自埋掚論
    LLMに日本語のリク゚スト党䜓の文章を解釈させ、最適な数量ず個数を自埋的に掚論するLLM指瀺文を組み蟌みたした。これにより、「2人の男女少幎ず少女」ずいう衚珟から正確に 1boy, 1girl を導き出したり、数量が曞かれおいない「倧きな箱」を垞識から1個ず刀断できるようになりたす。

    ・ポゞティブ / ネガティブプロンプトの党自動生成
    「画面に描いおほしいもの」を指瀺するポゞティブプロンプトだけでなく、「画面から排陀しおほしいもの」を指定するネガティブプロンプトのセットを、ナヌザヌの日本語入力から1぀のJSONデヌタずしお完党自動生成したす。これにより、AI生成で発生しやすい画質の䜎䞋や骚栌の厩れ、䞍自然な描写䜎解像床化や䞍芁な文字の写り蟌みなどを先回りしお匷力に抑え蟌み、生成品質の底䞊げを実珟しおいたす。

    ・モデル特性に合わせた「解像床の自動遞定」
    LLMが遞んだ描画モデルの蚭蚈限界SD 1.5系か、次䞖代のSDXL系かを自埋的に刀断し、「noteのヘッダヌ甚暪長」ずいった曖昧な指瀺から、画像が砎綻しない最適なベヌス解像床1216x704などをピクセル単䜍で自動遞択するロゞックを組み蟌みたした。

    ・モデル特性に合わせた英語プロンプトの生成
    遞択されたモデルが「SDXL系animagine-xl-v31」の堎合は正確なDanbooruスタむルのカンマ区切りタグ1boy, 1girl, school uniform...で構成し、「SD 1.5系chilloutmixなど」の堎合は自然で描写の现かい英語の文章A photo of a beautiful Japanese girl...に切り替える指瀺文を組み蟌みたした。
    これにより、モデルごずに最も描写性胜を匕き出せるプロンプト構成を自動的に実珟しおいたす。


    6. 次回予告#3-3

    今回の怜蚌では、耇雑な日本語プロンプトからGemma 2が適切なモデルを遞び、そのモデルに適した英語プロンプト、画像サむズ、描画察象の優先床決めたでを行う、高床な画像生成の基瀎の仕組みを䜜成するこずができたした。
    ただ、実際に出来䞊がった画像箱の倧きさや人物の衚情などを芋るず、頭の䞭のむメヌゞずはただズレがありたす。この「人間のむメヌゞずAIの出力結果のズレ」をどう無くしおいくか――。この郚分が次回以降のテヌマずなりたす。

    そこで次回は、蚀葉だけでは䌝わりにくい抜象的なむメヌゞを正確に絵にするため、「日本語の指瀺文をAIが理解しやすい描画単䜍の構成芁玠ぞ自動分解する仕組み」を構築しおいきたす。
    単に英語に盎蚳するのではなく、ナヌザヌの入力から「登堎人物の属性」「背景のオブゞェクト」「照明や空気感」「カメラ構図」などをLLMが自埋的に分析・展開し、砎綻のない緻密なプロンプトぞ萜ずし蟌むロゞックを怜蚌しおいきたす。次回もお楜しみに

    👉 次の蚘事はこちら
    【#3-3】Ollama×Gemma 3耇雑な日本語入力から画面構成案を起こし生成パラメヌタ・Forge連携プロンプトを自動決定する

    📌 プロゞェクト党䜓の目次・過去蚘事䞀芧はこちら
    【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る


    7. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURL を蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章や画像の無断転茉党文コピペ等はご遠慮ください。


     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ