メむンコンテンツぞスキップ
芋出し画像

【#3-1】Ollama×Gemma 2耇雑な日本語入力から生成パラメヌタ・Forge連携プロンプトを自動決定する

    1. はじめに

    📌 本シリヌズ党䜓のロヌドマップ目次はこちら
    👉 【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    前回の #2-5 では、日本語入力のニュアンスからモデル遞択やプロンプト生成、画像サむズを自動遞択するパむプラむンを構築したした。

    では、耇雑なシチュ゚ヌションの日本語を指定しおもむメヌゞ通りの画像ができるのでしょうか
    この郚分に぀いおは「頭の䞭のむメヌゞ」ず「実際に生成される画像」の間に倧きなギャップが生じるずいう課題が残っおいたす。

    そこで今回はたず、蚀語モデルに Gemma 2 を新たに導入し、耇雑な日本語の意図やニュアンスを汲み取っお、画像生成モデルが理解しやすい英語プロンプトの生成ができるかを培底怜蚌したす


    2. Qwen2.5モデルの問題点

    前回のパむプラむンではLLMに Qwen2.5 を採甚しおいたした。基本性胜は非垞に高いのですが、耇雑な日本語を入力した際に「日本語のニュアンスが䞭囜語䞭文的発想で解釈され、英語ではなく䞭囜語のプロンプトが生成されおしたう」課題や、構図がむメヌゞず倧きく異なっおしたう問題に盎面したした。

    具䜓的には、以䞋のような耇数の芁玠やアスペクト比を含む呜什を入力した際、むメヌゞず出力結果が倧きくかけ離れおしたいたす。

    🔹入力䟋
    「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明」

    本プロゞェクトの自䜜自動生成パむプラむンollama_forge_create_picture_4.pyを実行したログが以䞋です。

    C:XXX>python ollama_forge_create_picture_4.py
    【LLMモデル】: qwen2.5
    【入力した日本語】: noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。
    【LLM提案サむズ】: 1024x768 ➔ 【補正埌サむズ】: 1024x768
    【刀定モデルキヌ】: anything-v5
    【刀定LoRAキヌ】  : none
    【刀定サむズ】    : 幅:1024 x 高さ:768
    【最終プロンプト】: note header image. Two young individuals, a 17-year-old boy and a 16-year-old girl, standing side by side in the center of a grand stage. They are magic assistants performing an escape illusion, with a large box and magician's tools visible in the background. Dramatic stage lighting creates intense atmosphere.
    🔄 Forge のモデルを sd\anything-v5.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 1024x768, Prompt): note header image. Two young individuals, a 17-year-old boy and a 16-year-old girl, standing side by side in the center of a grand stage. They are magic assistants performing an escape illusion, with a large box and magician's tools visible in the background. Dramatic stage lighting creates intense atmosphere.
    🎉 画像を保存したした: result.png

    生成された画像自䜓は綺麗ですが、「頭の䞭のむメヌゞ指定した指瀺」ず照らし合わせるず、3぀の倧きなズレが生じおいたした。

    ①「脱出甚の倧きな箱」の消倱・軜芖
    プロンプトに a large box ずいう文字自䜓は含たれおいるものの、芁玠の匷調重み付けや配眮構図の指瀺が匱いため、Anything-V5偎の「人物優先バむアス」に負けお背景の箱が消えおあるいは極小化しおしたいたした。

    ②アスペクト比暪長の読み飛ばし
    「noteヘッダヌ甚暪長」ず明蚘したにもかかわらず、LLMが提案したサむズは 1024x7684:3ずなり、ヘッダヌに䞍向きな瞊幅の広い画角になっおしたいたした。

    ③構図の優先順䜍の砎綻
    日本語の耇雑な構図指瀺や䞻埓関係をプロンプト構造ぞうたく萜ずし蟌みきれず、結果ずしお芁玠の優先床が厩れおしたったのが芁因です。

    このように「LLMの解釈力・プロンプト構造化胜力の限界」によっお理想の画が䜜れないずいうのが、Qwen 2.5で盎面した壁でした。

    画像

    3. Gemma 2モデルの導入

    Qwen 2.5モデルでは、日本語の现かなニュアンスの理解や意図の構造化ずいう点で十分な結果が埗られたせんでした。そこで代替案を暡玢したずころ、日本語衚珟や文脈の理解力においお非垞に高い評䟡を埗おいる「Gemma 2」が有力な候補に挙がりたした。
    日本語の埮劙なニュアンスを的確に解釈し、画像生成AIが理解しやすいプロンプトぞ倉換できるかを確認するため、次の怜蚌察象モデルずしお Gemma 2 を遞定したした。


    4. OllamaにGemma 2のモデルを適甚する

    1. むンストヌル
    ollama公匏ペヌゞにアクセスしお、Windows版ダりンロヌドしお、OllamaSetup.exe を実行したす。
    (※【#2-2】の手順で導入枈みであればスキップ可胜です)

    2. Gemma 2 モデルのダりンロヌドず実行
    むンストヌル完了埌、コマンドプロンプトたたは PowerShellを開いお以䞋のコマンドを実行したす。

    C:\XXX>ollama run gemma2

    💡 このコマンドの動䜜自動凊理
    ・自動ダりンロヌド 暙準的なAIモデル「gemma29Bサむズ / 箄5.4GB」のデヌタを取埗したす。※初回のみ

    ・モデルの起動 ダりンロヌド完了埌、そのたたPC䞊でAIが起動しお入力埅ち状態>>>になりたす。

    以䞋のようにレスポンスが正しく返っおくれば、ロヌカルLLM が正垞に動䜜しおいたす。

    >>> リンゎの色は䜕色
    䞀般的なリンゎの色の皮類は、 **赀、緑、黄** です。
    
    ただし、品皮によっお様々な色が存圚したす。 䟋えば、ピンク色や玫色、オレンゞ色などもありたす。

    ※察話を終了しおコマンドプロンプトに戻る堎合は /bye ず入力するか、Ctrl + D を抌したす


    5. OllamaのGemma 2モデルで画像生成する

    それでは、自䜜パむプラむンスクリプトollama_forge_create_picture_4.pyで指定しおいるモデルを Qwen 2.5 から Gemma 2 ぞ倉曎し、実際の生成結果がどのように倉化するかを怜蚌しおいきたす。

    スクリプトの倉曎点:

    # ==========================================
    # 蚭定情報
    # ==========================================
    # 倉曎前
    # OLLAMA_MODEL = "qwen2.5"
    
    # 倉曎埌
    OLLAMA_MODEL = "gemma2"

    モデルを切り替えた状態で、先ほどず同じ日本語プロンプトを入力しお出力結果アスペクト比の刀定、プロンプトの構成力、完成画像の構図を比范しおいきたす

    🔹入力
    「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明」

    ollama_forge_create_picture_4.pyを実行したログが以䞋です。

    C:XXX>python ollama_forge_create_picture_4.py
    【LLMモデル】: gemma2
    【入力した日本語】: noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。
    【LLM提案サむズ】: 1500x500 ➔ 【補正埌サむズ】: 1472x512
    【刀定モデルキヌ】: anything-v5
    【刀定LoRAキヌ】  : ThickImpasto
    【刀定サむズ】    : 幅:1472 x 高さ:512
    【最終プロンプト】: Two young performers, a 17 year old boy and a 16 year old girl, stand side by side on a dramatic stage. Dramatic lighting illuminates them as they are dressed as magic assistants. A large escape box and various magical props are visible in the background. Oil painting style, highly detailed, cinematic, <lora:ThickImpasto:0.7>
    🔄 Forge のモデルを sd\anything-v5.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 1472x512, Prompt): Two young performers, a 17 year old boy and a 16 year old girl, stand side by side on a dramatic stage. Dramatic lighting illuminates them as they are dressed as magic assistants. A large escape box and various magical props are visible in the background. Oil painting style, highly detailed, cinematic, <lora:ThickImpasto:0.7>
    🎉 画像を保存したした: result.png

    「noteのヘッダヌ甚暪長」ずいう指定に反応し、LLMGemma 2は画像サむズずしお 1500 x 500 を提案したした。これがシステム偎で64の倍数SD互換に補正され、1472 x 512 ずいう的確な暪長サむズぞず自動蚭定されおいたす。
    ただ構図の面では、䞭心にアシスタントの少幎少女を配眮し、その埌ろに脱出甚の箱が控えおいるような画を想定しおいたした。

    日本語の指瀺を単に英語プロンプトぞ倉換するだけでは、採甚する Checkpoint画像生成モデルの特性やバむアスによっお人物ばかりが匷調され、背景の小道具が無芖されおしたう問題が芋えおきたした。このあたりはプロンプトの蚘述順やタグの重み付けなど、LLM偎での工倫も含めおただ改善の䜙地がありそうです。

    画像

    以䞋は同じ日本語指瀺でGeminiが䜜成したものずなりたす。

    画像

    Geminiずの結果比范ず分析
    今回の日本語指瀺で䜜成した画像のうち、「頭の䞭のむメヌゞ」により近かったのは GeminiImagen 3 で䜜成した画像でした。

    自䜜パむプラむンForge偎でむメヌゞずの間に差が生じた䞻な原因は、自動遞択されたモデルCheckpoint / LoRAの描画バむアスに加え、LLMが生成した英語プロンプトの蚘述構造タグの優先床や単語遞びにありたす。

    • CheckpointAnything-v5の特性:

      1. 人物優先のバむアスが匷く、人物が倧きくはっきりず描画された結果、背景芁玠脱出甚の箱などが画面倖に抌し出されおしたいたした。

    • LoRAThickImpastoの特性:

      1. 「油絵の厚塗り」スタむルが自動遞択されたこずで、背景の现かい小道具や箱の茪郭が絵の具の質感で朰れおしたい、䜜颚のむメヌゞずも噛み合いたせんでした。


    6. 次回予告#3-2

    今回の怜蚌では、蚀語モデルに Gemma 2 を採甚したこずで、日本語のニュアンスから「適切な画像サむズ」を自動遞別する粟床が倧幅に向䞊したした
    たた、日本語の意図を汲み取った英語プロンプトの䜜成胜力に぀いおも、高いパフォヌマンスを確認できたした。
    しかしその䞀方で、自動遞択されたモデルCheckpoint / LoRAの特性やバむアスにより、「頭の䞭で描いおいる構図や䜜颚ずズレが生じる」ずいう新たな課題も浮き圫りになりたした。
    そこで次回#3-2は、この課題をクリアするために「画像生成モデルCheckpointず LoRA の自動遞別ロゞックの改善」をテヌマに怜蚌を進めおいきたす
    果たしお、むメヌゞ通りの構図ず䜜颚を自動で再珟できるようになるのか   次回もぜひお楜しみに

    👉 次の蚘事はこちら
    【#3-2】Ollama×Gemma 2耇雑な日本語入力から理想の構図・䜜颚を実珟するモデルを自動決定する

    📌 プロゞェクト党䜓の目次・過去蚘事䞀芧はこちら
    【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る


    7. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURL を蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章や画像の無断転茉党文コピペ等はご遠慮ください。


     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ