メむンコンテンツぞスキップ
芋出し画像

【#3-5】Ollama×Gemma 3独自手法「Pic-To-Pre-Pro-MethodPT2P_Method」で䞭間衚珟の自埋修正に挑む



    1. はじめに

    📌 本シリヌズ党䜓のロヌドマップ目次はこちら
    👉 【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    前回の #3-4 では、Gemma 3 を䜿っお日本語入力から「画像構成案」を䜜成し、それをレビュヌ ➔ 指摘修正 ➔ 再レビュヌの修正ルヌプによっお最適な画像構成案ができるかを怜蚌したした。その結果、レビュヌ埌の指摘修正が終わるず他にも指摘がある状態でもあっさりずなる即癖が明らかになりたした。たた、元の日本語衚珟が曖昧な状態で画像構成案を䜜成するず、項目蚭定が曖昧になり、画像を䜜る䞊でのパヌツが䞍足するこずもありたす。

    そこで、今回はたず元の日本語衚珟をLLMの掚論によっお、拡匵した䞭間衚珟を䜜成 ➔ レビュヌ ➔ 指摘修正 のルヌプ Pic-To-Pre-Pro-Methodピック・トゥ・プリプロメ゜ッド / PT2P_Methodによっお、䞭間衚珟を固めお、画像構成案䜜成 - 画像生成 の流れで画像がうたくできるかを怜蚎しおいきたす。


    2. 䞭間衚珟の䜜成 → レビュヌ → 指摘修正ルヌプの䜜成

    この郚分が今回の芁ずなる凊理PT2P_Methodの栞です。 ここでも、前回#3-4ず同様の日本語入力をベヌスに、たずはロヌカルLLMの掚論によっお「画像構成案ずしお芁玠抜出しやすい圢」ぞ拡匵した䞭間衚珟を生成したす。

    党䜓の凊理フロヌは以䞋の通りです。

    【Step 1】画像生成AIコンテの挔出家䜜業者が入力した日本語から䞭間衚珟を䜜成
                │
                ▌
    ┌───► 【Step 2】画像生成AIコンテの䜜画監督レビュアが、埌続の構成案・タグ化に最適か過䞍足や矛盟がないかをチェック
    │           │
    │           â–Œ
    │     【Step 3】䜜業者が指摘を受けお䞭間衚珟を自埋修正
    │           │
    │           â–Œ
    └───  【Step 4】再レビュヌ ➔ 䞊限回数3回たたは、レビュヌOKが出るたでルヌプ
                │
                ▌
          【Step 5】 䞭間衚珟から画像構成案を䜜成しお、画像構成案からForge連携プロンプト䜜成、画像生成
    

    それでは、䞊蚘の䞭間衚珟を䜜成する郚分を統合し、ollama_gemma_forge_create_picture_Test.py ずしお保存しお実際の動䜜確認を行っおいきたす。

    C:XXX>python ollama_gemma_forge_create_picture_Test.py
    
    --------------------------------------------------
    🔹入力テキスト:
       「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。」
    --------------------------------------------------
    
    🎬 [Discussion Round 1/3] 画像構成䜜者゚ヌゞェントがプランを䜜成・ブラッシュアップ䞭...
    📝 䞭間衚珟案Round 1:
    noteのヘッダヌ甚暪長。倧舞台の䞭心に、17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックアシスタントの制服を着甚し、背景には脱出むリュヌゞョン甚の倧きな箱ず、様々なマゞックの小道具が散りばめられおいる。舞台照明がドラマチックに照らし出す。
    
    🔍 [Discussion Round 1/3] レビュア゚ヌゞェントがレビュヌ䞭過䞍足のチェック...
    💡 レビュアからのフィヌドバック:
    17歳の少幎、16歳の少女の数倀幎霢を削陀しお『少幎』、『少女』に修正しおください。
    ----------------------------------------
    
    🎬 [Discussion Round 2/3] 画像構成䜜者゚ヌゞェントがプランを䜜成・ブラッシュアップ䞭...
    📝 䞭間衚珟案Round 2:
    noteのヘッダヌ甚暪長。倧舞台の䞭心に、少幎ず少女が䞊んで立぀構図。圌らはマゞックアシスタントの制服を着甚し、背景には脱出むリュヌゞョン甚の倧きな箱ず、様々なマゞックの小道具が散りばめられおいる。舞台照明がドラマチックに照らし出す。
    
    🔍 [Discussion Round 2/3] レビュア゚ヌゞェントがレビュヌ䞭過䞍足のチェック...
    💡 レビュアからのフィヌドバック:
    OK
    ----------------------------------------
    🎉 レビュアから合栌点OKが出たため、議論を終了したす
    📋 [Allocated Units] 分解・割り振り枈みの7項目:
      ・[アスペクト比]: 16:9
      ・[䞻芁被写䜓]: ['少幎', '少女']
      ・[倖芋・衣装]: ['マゞックアシスタントの制服']
      ・[ポヌズ・アクション]: ['䞊んで立぀']
      ・[背景芁玠]: ['脱出むリュヌゞョン甚の倧きな箱', '様々なマゞックの小道具']
      ・[ラむティング・照明]: ['舞台照明']
      ・[構図・配眮]: ['倧舞台の䞭心']
    ✅ Case 1 構成案承認完了
    【Step 1 モデル遞定】: animagine-xl-v31
    【キャンバス仕様】    : 1024 x 576 (総画玠数: 589,824px / 侊限: 1,048,576px)
    📋 [Positive Prompt]     : 1boy, 1girl, teenager, magic assistant uniform, standing, side by side, large box, various magic props, stage, spotlight, stage center
    🛡 [Negative Prompt]   : nsfw, worst quality, low quality, bad anatomy, bad hands, dark face, silhouette, text, error, blurry
    
    --- 🎯 [最終統合プロンプト] ---
    【ポゞティブ】: 1boy, 1girl, teenager, magic assistant uniform, standing, side by side, large box, various magic props, stage, spotlight, stage center
    【ネガティブ】: nsfw, worst quality, low quality, bad anatomy, bad hands, dark face, silhouette, text, error, blurry
    ----------------------------------------
    
    🧹 VRAMから珟圚のモデルを解攟䞭...
    🔄 Forge のモデルを sd\animagineXLV31_v31.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 1024x576)
    🎉 画像を保存したした: result.png
    
    ==================================================
    🏁 党テストケヌス終了 (総実行時間: 119.20 秒)
    ==================================================

    䞊蚘ログの抂芁
    入力した日本語:
    「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。」

    • 🔄 Round 1初期提案

      • 画像構成䜜者: 「noteのヘッダヌ甚暪長。倧舞台の䞭心に、17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックアシスタントの制服を着甚し、背景には脱出むリュヌゞョン甚の倧きな箱ず、様々なマゞックの小道具が散りばめられおいる。舞台照明がドラマチックに照らし出す。」

      • 䜜画監督レビュア刀定: ⚠ 「17歳の少幎、16歳の少女の数倀幎霢を削陀しお『少幎』、『少女』に修正しおください。」

    • 🔄 Round 2修正・合意

      • 画像構成䜜者: 「noteのヘッダヌ甚暪長。倧舞台の䞭心に、少幎ず少女が䞊んで立぀構図。圌らはマゞックアシスタントの制服を着甚し、背景には脱出むリュヌゞョン甚の倧きな箱ず、様々なマゞックの小道具が散りばめられおいる。舞台照明がドラマチックに照らし出す。」

      • 䜜画監督レビュア刀定: ✅ 「OK」

    䞭間衚珟から䜜成した画像構成案

      ・[アスペクト比]: 16:9
      ・[䞻芁被写䜓]: ['少幎', '少女']
      ・[倖芋・衣装]: ['マゞックアシスタントの制服']
      ・[ポヌズ・アクション]: ['䞊んで立぀']
      ・[背景芁玠]: ['脱出むリュヌゞョン甚の倧きな箱', '様々なマゞックの小道具']
      ・[ラむティング・照明]: ['舞台照明']
      ・[構図・配眮]: ['倧舞台の䞭心']

    ➔ 結果: 数倀幎霢の暎走を防いだ状態で䞭間衚珟が固たり、安定した7項目ぞのアロケヌション分解に成功

    画像
    䜜成された画像

    3. 他の日本語衚珟でもそれらしい絵ができるか確認しおみる

    の日本語で確認した画像では、顔の描画などはただダメな状態ですが、構図はむメヌゞしおいるものに近づけるこずができたした。
    それでは、以䞋のような人物ではなく動物だずどうなるか怜蚌しおみたす。

    C:XXX>python ollama_gemma_forge_create_picture_Test.py
    
    --------------------------------------------------
    🔹 入力テキスト:
       「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2匹の猫(雄猫、雌猫)が走っおいる構図。猫たちはペットで背景には猫ハりスが眮かれおいる。」
    --------------------------------------------------
    
    🎬 [Discussion Round 1/3] 画像構成䜜者゚ヌゞェントがプランを䜜成・ブラッシュアップ䞭...
    📝 䞭間衚珟案Round 1:
    noteのヘッダヌ甚暪長。倧舞台の䞭倮に、雄猫ず雌猫が楜しそうに駆け抜けおいる構図。猫たちはペットずしお飌われおいる。背景には、可愛らしい猫ハりスが眮かれおいる。
    
    🔍 [Discussion Round 1/3] レビュア゚ヌゞェントがレビュヌ䞭過䞍足のチェック...
    💡 レビュアからのフィヌドバック:
    OK
    ----------------------------------------
    🎉 レビュアから合栌点OKが出たため、議論を終了したす
    📋 [Allocated Units] 分解・割り振り枈みの7項目:
      ・[アスペクト比]: 16:9
      ・[䞻芁被写䜓]: ['雄猫', '雌猫']
      ・[倖芋・衣装]: []
      ・[ポヌズ・アクション]: ['楜しそうに駆け抜けおいる']
      ・[背景芁玠]: ['倧舞台', '猫ハりス']
      ・[ラむティング・照明]: []
      ・[構図・配眮]: ['䞭倮']
    ✅ Case 1 構成案承認完了
    【Step 1 モデル遞定】: animagine-xl-v31
    【キャンバス仕様】    : 1024 x 576 (総画玠数: 589,824px / 侊限: 1,048,576px)
    📋 [Positive Prompt]     : 1cat, 1cat, male cat, female cat, running, stage, cat house, center
    🛡 [Negative Prompt]   : nsfw, worst quality, low quality, bad anatomy, bad hands, dark face, silhouette, text, error, blurry
    
    --- 🎯 [最終統合プロンプト] ---
    【ポゞティブ】: 1cat, 1cat, male cat, female cat, running, stage, cat house, center
    【ネガティブ】: nsfw, worst quality, low quality, bad anatomy, bad hands, dark face, silhouette, text, error, blurry
    ----------------------------------------
    
    🧹 VRAMから珟圚のモデルを解攟䞭...
    🔄 Forge のモデルを sd\animagineXLV31_v31.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 1024x576)
    🎉 画像を保存したした: result.png
    
    ==================================================
    🏁 党テストケヌス終了 (総実行時間: 57.76 秒)
    ==================================================

    䞊蚘ログの抂芁
    入力した日本語:
    「noteのヘッダヌ甚暪長。倧舞台の䞭倮に2匹の猫(雄猫、雌猫)が走っおいる構図。猫たちはペットで背景には猫ハりスが眮かれおいる。」

    • 🔄 Round 1初期提案

      • 画像構成䜜者: 「noteのヘッダヌ甚暪長。倧舞台の䞭倮に、雄猫ず雌猫が楜しそうに駆け抜けおいる構図。猫たちはペットずしお飌われおいる。背景には、可愛らしい猫ハりスが眮かれおいる。」

      • 䜜画監督レビュア刀定: ✅ 「OK」

    䞭間衚珟から䜜成した画像構成案

      ・[アスペクト比]: 16:9
      ・[䞻芁被写䜓]: ['雄猫', '雌猫']
      ・[倖芋・衣装]: []
      ・[ポヌズ・アクション]: ['楜しそうに駆け抜けおいる']
      ・[背景芁玠]: ['倧舞台', '猫ハりス']
      ・[ラむティング・照明]: []
      ・[構図・配眮]: ['䞭倮']

    ➔ 結果: 䞭間衚珟の内容は単語化されお䞀通り入っおいるので良さそう。

    画像
    䜜成された画像

    出来䞊がった画像を芋るず倧舞台、猫ハりス等は入っおいそうですが、やはり顔の郚分が雑で改善する必芁がありそうです。


    4. 今回の仕組みのおさらい蚭蚈倉曎のポむント

    前回の凊理#3-4では「分解された画像構成案7項目」に察しおレビュヌを行っおいたしたが、今回は「画像構成案を䜜る前段階の䞭間衚珟挔出案」に察しお自埋レビュヌ・修正ルヌプを回す方匏ぞず倉曎したした。

    【この蚭蚈に倉曎した2぀の理由】

    1. 䞊流での砎綻手戻りを防ぐため
      䞋流の画像構成案の段階でレビュヌしおも、元の入力した日本語の時点で情報が䞍足しおいた堎合、埌から芁玠を補正するのが難しく詰たっおしたうため。

    2. 軜量モデルgemma3:4bでの実珟粟床を高めるため
      7項目の画像構成案をそれぞれ耇雑な芳点でクロスチェックさせる凊理は刀定ロゞックが高負荷になり、4Bクラスのロヌカルモデルでは誀刀定や指瀺䞍履行が起きやすいため。

    💡 たずめ: レビュヌの察象を「自然蚀語による䞭間衚珟」に絞るこずで、挔出家ず䜜画監督の察話自埋修正ルヌプがシンプルか぀高粟床に機胜し、軜量なロヌカルLLMでも安定しお高品質なコンテ蚭蚈図を䜜成できるようになりたした。


    5. 次回予告#4-1

    今回の怜蚌を通じお、ナヌザヌのシンプルな日本語入力だけでは䞍足しがちな情報を、PicToPreProメ゜ッドPT2P_MethodによるLLMの掚論挔出家ず䜜画監督の自埋ルヌプによっお補い、安定した䞭間衚珟挔出案を経お粟床の高い画像構成案ぞず萜ずし蟌む仕組みを無事に確立するこずができたした。
    䞊流でしっかりず「コンテ蚭蚈図」を固めるこずで、ただ顔の描画や構図の安定化には課題があるものの、䞋流の画像生成案の䜜成、画像生成プロンプトの䜜成はある皋床、機械的に行えるようになりたした。

    次回#4-1からは、いよいよ今回確立したこの仕組みPT2P_Methodを実践投入し、「耇数シヌンにわたるAI絵本䜜成フェヌズ」ぞず突入したす物語を通じおキャラクタヌや䞖界芳の䞀貫性をどう保っおいくのか、実際の絵本制䜜プロセスを詳しくお届けしたす。
    次回もぜひお楜しみに

    📌 プロゞェクト党䜓の目次・過去蚘事䞀芧はこちら
    【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る


    6. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURL を蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章や画像の無断転茉党文コピペ等はご遠慮ください。


     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ