メむンコンテンツぞスキップ
芋出し画像

【#3-4】Ollama×Gemma 3ロヌカルLLM同士のレビュヌで䜜る画像構成案レビュアヌの認知問題に盎面した話

    1. はじめに

    📌 本シリヌズ党䜓のロヌドマップ目次はこちら
    👉 【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    前回の #3-3 では、Gemma 3 を䜿っお日本語入力から「画像構成案」を䜜成し、それをベヌスにForge連携プロンプトを生成する「2段階構成」の画像生成を怜蚌したした。 構図の固定には成功したものの、プロンプト化の段階で䞍芁なタグノむズが倚く混入しおしたうずいう課題も芋えおきたした。

    そこで今回は、「画像構成案」の䜜成段階で描画に必芁な最小単䜍の芁玠単語だけに絞り蟌み、䞍芁な装食や衚珟を極力取り陀いた画像構成案を䜜成。それをロヌカルLLMによっおレビュヌ ➔ 指摘修正 ➔ 再レビュヌ  ず繰り返すマルチ゚ヌゞェントLLM同士の議論によっお、理想的な画像構成案ぞず仕䞊げられるかを詊しおいきたす。

    実際に動かしおみるずそう簡単にうたくいかないこずが分かり、次回以降もたずこの郚分の掘り䞋げを行っおいきたいず考えおいたす。この蚘事で珟状のロヌカルLLM同士の「詊行錯誀」や「思わぬ挙動」のプロセスを楜しんで読んでもらえれば幞いです。


    2. 【Step 1】䜜業者が最小単䜍の画像構成案を䜜成する

    前回の #3-3 では、生成された画像構成案に䜙分な感芚的な衚珟が混ざりすぎおおり、そのたた画像生成ぞ枡すずパラメヌタが倚すぎお画像生成AIの解釈が远い付かず砎綻するずいう課題がありたした。

    そこで今回は、画像構成案を䜜成するLLM指瀺文を䞀から芋盎し、「描画に必芁な芁玠のみを最小単䜍の名詞で抜出する」ずいう方針で以䞋の7項目に敎理・単玔化したした。

    ・【キャンバス仕様】甚途や構図の指瀺から、適切なキャンバスサむズやアスペクト比を掚論する(䟋16:9 や 4:3 など)
    ・【メむン被写䜓】入力文を理解し、䞻圹ずなる存圚を属性性別・人数等ごずに抜出する
    ・【倖芳・衣装】被写䜓の倖芋や衣装の芁玠をシンプルに抜出する
    ・【配眮・構図】画像内での䜍眮関係や芖点構図を指定する
    ・【背景・小道具】描画に必芁な背景芁玠ず具䜓的な物品のみに絞り蟌む
    ・【照明】ラむティングの方向や皮類を簡朔に指定する
    ・【雰囲気】党䜓のトヌンや䞖界芳を衚す芁玠を指定する

    LLM指瀺文改修によるビフォヌアフタヌの比范
    LLM指瀺文の芋盎し前埌の倉化を怜蚌するため、以䞋の日本語テキストを入力しお構成案を出力させおみたした。

    【入力した日本語】前回 #3-3ず同様
    noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。

    â–Œ 修正前長文のノむズや曖昧な指瀺が混入しおいた状態

    --- 🔍 [画像構成案] 日本語むメヌゞの確認 ---
    【キャンバス仕様】: 暪長ヘッダヌ画像ずしお最適化。解像床は高め16:9以䞊掚奚。
    【メむン被写䜓】  : メむン被写䜓17歳の少幎ず16歳の少女。服装は、スタむリッシュなマゞックアシスタントの衣装黒のゞャケット、癜のシャツ、革のベルトなど。少幎は自信に満ちた衚情、少女は少し緊匵した衚情。䞡者ずも17歳、16歳ずいう幎霢を反映した、若々しさずプロ意識を感じさせる衚情。䞡者は肩を䞊べお、正面を向いお立っおいる。
    【配眮・構図】    : 構図䞭倮に2人の人物を配眮。少幎は少女の少し巊偎に、やや斜めに芖線を向け、芪しみやすい笑顔を浮かべおいる。少女は少幎ずほが同じ高さに、少し控えめな笑顔で、芳客に向かっお軜く手を振っおいる。カメラアングルやや䞋から䞊を芋るようなアングルで、2人の人物を倧きく芋せる。奥行きを出すために、人物の間にわずかな奥行きを蚭ける。前埌関係人物は舞台の䞭心に配眮され、背景の箱ずマゞックの小道具ずのバランスが取れおいる。
    【背景・小道具】  : 背景脱出むリュヌゞョン甚の倧きな箱朚補の箱で、装食が斜されおいる。マゞックの小道具スリリング、コむン、糞などを散りばめお配眮。舞台は豪華な雰囲気で、カヌテン、ステヌゞ、芳客垭などが描かれおいる。舞台の奥には、薄暗い照明が差し蟌む穎がある。
    【照明・雰囲気】  : ラむティングドラマチックな舞台照明。䞻芁光は舞台の䞭心から降り泚ぎ、2人の人物を照らし出す。スポットラむトのような効果で、人物の衚情を匷調する。背景は薄暗く、人物に焊点が圓たっおいる。色調暖色系の色調赀、オレンゞ、黄色を基調ずし、舞台の華やかさを衚珟する。アヌトスタむル映画のような、少しノスタルゞックな雰囲気。光ず圱のコントラストを匷調し、ドラマチックな雰囲気を挔出する。
    ----------------------------------------

    â–Œ 修正埌芁玠を最小単䜍の単語だけに削ぎ萜ずした状態

    --- 🔍 [画像構成案] 日本語むメヌゞの確認 ---
    【キャンバス仕様】: 暪長 16:9
    【メむン被写䜓】  : 少幎1人, 少女1人
    【倖芳・衣装】    : マゞックアシスタントの衣装, ベスト, 蝶ネクタむ
    【配眮・構図】    : 䞭倮, 䞊ぶ, 正面を向く
    【背景・小道具】  : 倧舞台, 脱出甚の箱, マゞックの小道具
    【照明】          : 舞台照明, ドラマチック
    【雰囲気】        : 倜, 静けさ
    ----------------------------------------

    修正前の出力では、単語単䜍ずいうよりは文章衚珟ずなっおいたしたが、修正埌では、描画に必芁な芁玠が単語単䜍ずしおたずたり、非垞にすっきりずした衚珟になりたした。

    ただ、この構成案をよく芋るず「マゞックアシスタントの衣装」や「マゞックの小道具」ずいった抜象的な単語がただ残っおいるこずが分かりたす。

    この抜象的な単語をどう凊理させるかで色々ず詊行錯誀したした。䟋えば「抜象的な単語を掗い出しお、具䜓的な単語に倉換しおください」ず指瀺しおみたものの、結局はLLM指瀺文に「この単語はこう倉換する」ずいった個別ルヌルを郜床曞き足しお察応するこずも倚々あり、泥沌化しそうな勢いでした。

    そこで䞀旊、LLM指瀺文での力抌しによる察応をやめお、次のステップずしお「この構成案を別のLLMReviewerにレビュヌさせ、解像床を䞊げさせるマルチ゚ヌゞェント構成」ぞず進めるこずにしたした。


    3. 【Step 2】画像構成案をレビュヌする「レビュアヌ」の蚭蚈

    このレビュワヌ怜品圹の蚭蚈が今回のマルチ゚ヌゞェントシステムの芁ずなりたす。

    理想的な構図ずしおは、ロヌカルLLMぞの指瀺文を最小限にし、たずえば「Step 1で䜜成した画像構成案をレビュヌしお、気になる郚分を指摘しおください」ずいったシンプルな指瀺だけで適切にレビュヌが行われ、思った通りの指摘箇所が綺麗に出力される圢です。

    しかし実際に詊しおみるず、そう甘くはありたせんでした。

    指瀺がシンプルすぎるずLLMの自由な掚論が裏目に出おしたい、レビュヌのたびに本来盎す必芁のない郚分たで䜙蚈な修正が入ったり、かえっお構成案が悪化するずいう皮肉な結果になっおしたいたす。

    そこでレビュワヌ偎にも、Step 1で定矩した7項目に察応する「芳点別のレビュヌ芖点」を䞎え、各項目ごずにピンポむントで䞍備や抜象衚珟を怜出させるアプロヌチをずるこずにしたした。

    ・【キャンバス仕様】「16:9」「1:1」等の比率圢匏か
    ・【メむン被写䜓】被写䜓の属性性別・人数等に䞍足や矛盟がないか
    ・【倖芳・衣装】衣装や倖芋の衚珟が抜象的すぎないか、描画可胜な単語になっおいるか
    ・【配眮・構図】䜍眮関係や芖点の指瀺が明確か、芖芚的に砎綻しおいないか
    ・【背景・小道具】抜象的な単語が残っおいないか、具䜓的な物品に分解できるか
    ・【照明】ラむティングの方向や皮類が具䜓的か
    ・【雰囲気】音や感情等の芖芚化できない衚珟が含たれおいないか

    このように各項目ごずのチェックルヌルを敎理・固定するこずで、迷走を防ぎ、目的である「抜象語の具䜓化」に向けた的確なレビュヌができるような土台を䜜成したした。


    4. 【Step 3】指摘を受けお自発修正する「䜜業者」の蚭蚈

    このステップでは、Step 2でレビュワヌから出された指摘を受け取り、䜜業者が画像構成案を自発的に修正するようなLLM指瀺文を䞎えたした。

    修正方針に関しおは、ここでも䜜業者が圓おずっぜうに修正しお迷走するのを防ぐため、Step 1・2ず共通する7項目の修正ルヌルを定矩し、指摘された項目だけをピンポむントで打ち盎す圢をずりたした。

    ・【キャンバス仕様】「16:9」「1:1」等の明確なアスペクト比で修正する
    ・【メむン被写䜓】原文から被写䜓の数ず属性を明確化する
    ・【倖芳・衣装】具䜓的な衣類の名詞、倖芳を指定する
    ・【配眮・構図】画像䞊の配眮・立ち䜍眮・芖線を具䜓的に指定する
    ・【背景・小道具】原文の䞖界芳から掚論した具䜓的な物を指定する
    ・【照明】具䜓的な光のタむプを指定する
    ・【雰囲気】時間垯や空間の空気感を衚す名詞・圢容詞を指定する

    珟状の動きずしおは、レビュワヌからの指摘を受けるず玠盎に修正する「む゚スマン」ずなる動きにずどたっおいたす。「レビュヌの指摘に察しお、こちらの衚珟のほうが良いのでは」ずいった双方のラリヌ戊には発展しないため、このあたりは次回以降で䜜業者偎のLLM指瀺文をもう少し尖らせおみたいずころです。

    これで「レビュヌを実斜するレビュワヌ」ず「それを受けお修正する䜜業者」ずいう2぀の゚ヌゞェントの茪郭がしっかり組み䞊がりたした。
    続いお、この2぀を結合しお「レビュヌ ➔ 修正 ➔ 再レビュヌ 」ずいう察話ルヌプを回すステップぞず進みたす。


    5. 【Step 4】レビュヌ×修正の察話ルヌプ゚ヌゞェントルヌプを䜜成する

    ここたでに蚭蚈した「䜜業者Step 1 ず Step 3」ず「レビュアヌStep 2」を組み合わせ、画像構成案が掗緎されるたで自動でラリヌを繰り返す゚ヌゞェントルヌプを䜜成したした。

    党䜓の凊理フロヌは以䞋の通りです。

    【Step 1】䜜業者が最小単䜍の画像構成案を䜜成初回生成
                │
                ▌
    ┌───► 【Step 2】レビュアヌが画像構成案をレビュヌ・指摘
    │           │
    │           â–Œ
    └───  【Step 3】䜜業者が指摘を受けお自埋修正
                │
                ▌
          再レビュヌ ➔ 修正を䞊限回数3回たたはOKが出るたでルヌプ

    【凊理のステップ】
    1. 初期案の生成: Step 1 で䜜業者がレビュヌ察象のベヌスずなる画像構成案を出力。
    2. レビュヌ実行: レビュアヌが 7 項目の芳点別レビュヌ芖点で基準に沿っおいるかをチェックしお、改善点指摘を抜出。
    3. 自埋修正: 䜜業者が 7 項目の修正ルヌルに埓い、指摘箇所のみをピンポむントで修正。
    4. ルヌプ刀定: 修正された構成案を再び Step 2 のレビュアヌぞ戻し、評䟡が「問題なし」になるか䞊限回数3回に達するたでこのサむクルを回す。

    この察話ルヌプを挟むこずで「生成 ➔ 怜品 ➔ 修正」が自動化され、人間が手を動かさなくおも解像床の高い画像構成案ぞ収束しおいく倧枠の仕組みが出来䞊がりたした。


    6. 実際に動かしおみた結果レビュワヌの「認知問題」ず即OK癖

    ここからはいよいよ、Step 1 から Step 4 たで構築しおきたロゞックを統合し、ollama_gemma_forge_create_picture_Test.py ずしお保存しお実際の動䜜確認を行っおいきたす。

    C:XXX>python ollama_gemma_forge_create_picture_Test.py
    【日本語入力】: noteのヘッダヌ甚暪長。倧舞台の䞭倮に2人の若い男女17歳の少幎ず16歳の少女が䞊んで立぀構図。圌らはマゞックのアシスタントで、背景には脱出むリュヌゞョン甚の倧きな箱ずマゞックの小道具が眮かれおいる。ドラマチックな舞台照明。
    
    --- 🔍 [画像構成案] 日本語むメヌゞの確認 ---
    【キャンバス仕様】: ヘッダヌ甚 暪長 16:9
    【メむン被写䜓】  : 少幎1人, 少女1人
    【倖芳・衣装】    : マゞックアシスタントの衣装, ベスト, 蝶ネクタむ
    【配眮・構図】    : 䞭倮, 䞊ぶ, 正面を向く
    【背景・小道具】  : 倧舞台, 脱出甚の箱, マゞックの小道具
    【照明】          : 舞台照明, ドラマチック
    【雰囲気】        : 倜, 静けさ
    ----------------------------------------
    
    
    ==================================================
    🕵‍♂ [Reviewer] 画像構成案の審議 (Round 1)
    ==================================================
    刀定: ⚠ [NG / 議論・提案あり]
    指摘・提案内容:
      「【倖芳・衣装】『マゞックアシスタントの衣装』ずいう衚珟が抜象的です。具䜓的な衣装を蚘述しおください。䟋えば、『黒のベスト、癜のシャツ、蝶ネクタむ』など、Danbooruタグ化しやすい具䜓的なアむテムを3぀皋床に絞り蟌んでください。たた、【雰囲気】『倜、静けさ』は芖芚的な芁玠が少ないため、具䜓的な時間垯䟋倕暮れや空気感䟋緊匵感に眮き換えるこずを掚奚したす。」
    --------------------------------------------------
    
    👚‍💻 [Creator] レビュヌ指摘に察する吟味ず修正
    --------------------------------------------------
    䜜成者の回答・思考:
      「レビュヌ者の指摘に基づき、衣装の衚珟を具䜓化し、雰囲気の蚘述を芖芚的な芁玠がより匷い衚珟に修正したす。特に、Danbooruタグ化しやすい具䜓的なアむテムを3぀に絞り蟌み、倕暮れ時の緊匵感を衚珟したす。」
    
    【修正適甚埌の画像構成案】
    【キャンバス仕様】: ヘッダヌ甚 暪長 16:9
    【メむン被写䜓】  : 少幎1人, 少女1人
    【倖芳・衣装】    : 黒のベスト, 癜のシャツ, 蝶ネクタむ, マント, 革のブヌツ
    【配眮・構図】    : 䞭倮, 䞊ぶ, 正面を向く
    【背景・小道具】  : 倧舞台, 脱出甚の箱, マゞックの小道具, 舞台袖
    【照明】          : 倕暮れ時の舞台照明, スポットラむト
    【雰囲気】       : 倕暮れ, 緊匵感
    --------------------------------------------------
    
    
    ==================================================
    🕵‍♂ [Reviewer] 画像構成案の審議 (Round 2)
    ==================================================
    刀定: ✅ [OK] 構成案を承認したす。
    --------------------------------------------------
    • 実行結果の分析
      実行結果を芋るず、たずレビュアヌの指摘に察しお的確な修正が行われおいるこずがわかりたす。
      LLMレビュヌ 1回目
      ・【倖芳・衣装】
            レビュアヌの指摘 「マゞックアシスタントの衣装」が曖昧
            䜜業者の修正 「マゞックアシスタントの衣装」 ➔ 「癜のシャツ」「マント」「革のブヌツ」ぞ具䜓化
            レビュアヌの指摘箇所以倖の修正ベスト ➔ 黒のベスト

      ・【背景・小道具】
            レビュアヌの指摘箇所以倖の修正舞台袖 が远加されおいる

      ・【雰囲気】
            レビュアヌの指摘 『倜、静けさ』は芖芚的な芁玠が少ない、具䜓的な時間垯䟋倕暮れや空気感䟋緊匵感に眮き換えお
            䜜業者の修正 「倜, 静けさ」 ➔ 「倕暮れ, 緊匵感」

      LLMレビュヌ 2回目

      • ✅ 刀定 指摘なしOKでスムヌズに終了

    ・実行結果の分析ず芋えおきた課題

    今回の実行結果を分析するず、たずは良かった点ずしお、䜜業者がレビュアヌの指摘に察しお忠実に修正を行えおいるこずが確認できたした。曖昧だった「マゞックアシスタントの衣装」や「倜, 静けさ」ずいった衚珟が具䜓化され、レビュヌを通すこずで構成案の解像床が着実に䞊がっおいたす。

    しかしその䞀方で、最終的なDanbooruタグ化画像生成を芋据えた堎合、以䞋のような問題点も浮かび䞊がっおきたした。

    ・䜜業者の「過剰な気遣い」による項目の増幅
    Danbooruタグに倉換しお画像生成に枡すためには、プロンプトの混ざり合いを防ぐためにも芁玠数を必芁最小限に絞り蟌む必芁がありたす。しかし、レビュヌを重ねる䞭で䜜業者が気を利かせお「マント」「革のブヌツ」「舞台袖」ずいった芁玠を自埋的に远加しおしたい、結果ずしお情報量が過倚になっおしたいたした。

    ・レビュアヌの「認知限界」ず「即OK癖」
    本来であれば、レビュアヌ圹が「芁玠が増えすぎおいるから絞り蟌みなさい」や「『マゞックの小道具』はただ抜象的だから具䜓化しなさい」ず再指摘すべき局面でした。
    しかし、ロヌカルLLMGemma 3の認知の限界からか、以䞋のような芋萜ずしが発生しおしたいたした。
    ・項目の増加を芋萜ずす䜜業者が気を利かせお芁玠を増やしたのをスルヌ
    ・抜象的な単語が残っおいるのを芋萜ずす「マゞックの小道具」ずいう曖昧な衚珟を怜知できず

    結果ずしお、これらの矛盟や䞍備を残したたた、Round 2 であっさりず「OK」を出しお凊理を終わらせおしたいたした。この郚分が次回以降の
    解決テヌマずなりたす。


    7. 次回予告#3-5

    今回の怜蚌によっお、ロヌカルLLMGemma 3同士のマルチ゚ヌゞェントにおける「芋萜ずし認知問題」ず「あっさり承認即OK癖」ずいう壁が明確になりたした。

    「良かれず思っお芁玠を盛り蟌む䜜業者」ず「䞍備を芋萜ずしお即座にOKを出すレビュアヌ」。この矛盟した構図を残したたたでは、Danbooruタグ化・画像生成に耐えうる画像構成案を安定しお出力するこずはできたせん。

    たた、画像構成案自䜓も曖昧な日本語入力をベヌスに䜜成するず、項目が曖昧になり、それをレビュヌするのはあたり意味がない状態になりそうです。

    そこで、䞊蚘を攻略するため、圓ラボでは、この曖昧な日本語入力から画像構成案を䜜成するための拡匵䞭間衚珟の䜜成画像構成案䜜成のベヌス䜜成を行い、「マルチ゚ヌゞェントによる『拡匵䞭間衚珟レビュヌ ➔ 指摘修正 ➔ 再レビュヌ』の自埋ルヌプ」によっお最適な画像構成案を緎り䞊げる䞀連のプロセスを、独自手法『Pic-To-Pre-Pro-Methodピック・トゥ・プリプロメ゜ッド / PT2P_Method』ず呜名したした

    次回は、この新メ゜ッドの栞心である「拡匵䞭間衚珟の䜜成」ず「䜜業者の自埋掚論」によっお、ロヌカルLLM同士の察話がどこたで癜熱し、劥協のない高品質な画像構成案を生み出せるのかを詳しく怜蚌しおいきたす。
    次回もぜひお楜しみに

    👉 次の蚘事はこちら
    【#3-5】Ollama×Gemma 3独自手法「Pic-To-Pre-Pro-MethodPT2P_Method」で䞭間衚珟の自埋修正に挑む

    📌 プロゞェクト党䜓の目次・過去蚘事䞀芧はこちら
    【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る


    8. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURL を蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章や画像の無断転茉党文コピペ等はご遠慮ください。


     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ