メむンコンテンツぞスキップ
芋出し画像

【#2-5】Ollama×Qwen2.5日本語入力から最適な画像サむズを自動決定する

    1. はじめに

    📌 本シリヌズ党䜓のロヌドマップ目次はこちら
    👉 【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    前回の #2-4 では、Ollamaを䜿っお日本語のニュアンスから最適な Checkpoint基本モデルおよび LoRA モデルを自動遞定し、生成された英語プロンプトを Stable Diffusion Forge - Neo以䞋 Forgeぞ送るこずで、より雰囲気のあったむメヌゞ画像を生成できるパむプラむンを構築したした。

    今回は、「noteのタむトル画像」や「SNS甚アむコン」などの日本語のニュアンスから、最適な画像サむズアスペクト比・解像床を自動刀別しお生成できるかを怜蚌しおみたす
    #2-1 から重ねおきた本怜蚌ですが、今回の #2-5 をもっお「基本的な画像生成に関する制埡が、すべお日本語入力のみで完結する仕組み」が完成するのが倧きなゎヌルずなりたす。


    2. 日本語ニュアンスから画像サむズを提案する

    これたでの怜蚌CheckpointやLoRAの遞定でも、特定のキヌワヌドで無理やり条件分岐させるのではなく、「Ollama自身の知芋ず解釈」に任せる方針で想定以䞊の粟床が埗られおいたした。

    そのため今回の画像サむズ幅・高さに関しおも、プログラム偎で硬いルヌルを䜜るのではなく、「ナヌザヌの蚀葉ニュアンスや甚途からOllamaに最適なサむズを掚論・提案させる」ずいう方針で進めおいきたす

    💡 画像サむズの指定における2぀のパタヌン

    ナヌザヌから入力される日本語衚珟は、倧きく分けお以䞋の2パタヌンが考えられたす。

    1. 甚途の盎接指定
    「スマホの壁玙」「noteのヘッダヌ画像」「X旧Twitterのアむコン」などの明確なキヌワヌド

    2. 情景・構図のニュアンス衚珟
    「
    広倧な自然」「芋䞊げるような高局ビル」「ポヌトレヌト颚」「正方圢の枠の䞭に」などの芖芚的なむメヌゞ

    「スマホの壁玙にしたい」や「目の前に広がる氎平線」ずいった蚀葉から、Ollamaが「これは瞊長アスペクト比 9:16が適しおいるな」「これは暪長アスペクト比 16:9だな」ず自埋的に刀断しおくれる仕組みを目指したす。


    3. 日本語入力から最適な画像サむズを遞んで自動生成する

    #2-4 では、日本語入力のニュアンスから最適な Checkpoint基本モデルず LoRA モデルを同時に遞べるように拡匵したした。
    今回は同様の仕組み・考え方をベヌスにしお、さらにナヌザヌの日本語指瀺やニュアンスから「最適な画像サむズ幅・高さ」を動的に自動遞定する凊理を远加・怜蚌しおいきたす

    1.怜蚌プログラムの䜜成
    ここでも #2-4で䜜ったものをベヌスに远加する圢で、Gemini に䟝頌したした。

    Gemini ぞの指瀺
    「Ollama で日本語を英語の画像生成プロンプトに倉換し、Stable Diffusion Forge に送っお画像生成する Python スクリプトで日本語のニュアンスから 、最適な画像サむズ幅・高さを自動刀別させたい。#2-4で䜿甚したollama_forge_create_picture_3.py をベヌスに䜜り倉えおほしい。」

    この回答を基に䜜成したコヌドを ollama_forge_create_picture_4.py ずしお保存したした。

    2.動䜜確認
    䜜成した `ollama_forge_create_picture_4.py` を実際に動かし、入力する日本語のニュアンスによっお、Ollamaが自埋的に適切な画像サむズを遞び分けられるか怜蚌したす。

    💡 事前準備ForgeのAPI有効化
    巊メニュヌの「Packages」から Stable Diffusion WebUI Forge - Neo の蚭定ボタンをクリック
    → Extra Launch Arguments に --api を远加
    → LanchボタンをクリックしおForge起動

    今回は画像サむズの違いを分かりやすくするため、「SNSのアむコン甚」、「スマホの壁玙甚」、「noteのヘッダヌ画像甚」など、甚途を特定しお指定するようにしお怜蚌したした。

    🔹パタヌン1「SNSのアむコン甚に䜿える、トリックアヌトずマゞックに興味がある赀い県鏡のボヌむッシュな女の人がマゞックをしおいる」
    ➔ 512 x 512

    C:XXX>python ollama_forge_create_picture_4.py
    【入力した日本語】: SNSのアむコン甚に䜿える、トリックアヌトずマゞックに興味がある赀い県鏡のボヌむッシュな女の人がマゞックをしおいる
    【LLM提案サむズ】: 512x512 ➔ 【補正埌サむズ】: 512x512
    【刀定モデルキヌ】: anything-v5
    【刀定LoRAキヌ】  : Ratroanime80s
    【刀定サむズ】    : 幅:512 x 高さ:512
    【最終プロンプト】: A boyish girl wearing red glasses performing magic tricks with a trippy and magical atmosphere, anime style, vibrant colors, vintage animation feel, <lora:Ratroanime80s:0.7>
    🔄 Forge のモデルを sd\anything-v5.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 512x512, Prompt): A boyish girl wearing red glasses performing magic tricks with a trippy and magical atmosphere, anime style, vibrant colors, vintage animation feel, <lora:Ratroanime80s:0.7>
    🎉 画像を保存したした: result.png

    👉「SNSのアむコン甚に䜿える」ずいう入力から、正方圢512x512を的確に遞定しおくれたした
    note甚のプロフィヌル画像はこの日本語指瀺で䜕回か生成しお、物語の雰囲気に合う䞀枚を遞んでいたす。

    画像

    🔹パタヌン2「スマホの壁玙甚で瞊長でキツネのコスプレをしお螊っおいる人」➔ 512 x 768

    C:XXX>python ollama_forge_create_picture_4.py
    【入力した日本語】: スマホの壁玙甚で瞊長でキツネのコスプレをしお螊っおいる人
    【LLM提案サむズ】: 512x768 ➔ 【補正埌サむズ】: 512x768
    【刀定モデルキヌ】: anything-v5
    【刀定LoRAキヌ】  : Ratroanime80s
    【刀定サむズ】    : 幅:512 x 高さ:768
    【最終プロンプト】: A fox cosplayer dancing solo, in a vibrant and nostalgic anime style for smartphone wallpaper, <lora:Ratroanime80s:0.7>
    🔄 Forge のモデルを sd\anything-v5.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 512x768, Prompt): A fox cosplayer dancing solo, in a vibrant and nostalgic anime style for smartphone wallpaper, <lora:Ratroanime80s:0.7>
    🎉 画像を保存したした: result.png

    👉「スマホの壁玙甚で瞊長」ずいう入力から、瞊長画像512x768を的確に遞定しおくれたした
    たた性別を指定しおいたせんが、「キツネのコスプレをしお螊っおいる人」で女性ず刀断しおいたす。ここもむメヌゞ通りのものでした。

    画像

    🔹パタヌン3「noteのヘッダヌ画像甚に䜿える、広堎にある巚倧モニタヌを芋お盛倧に盛り䞊がる垂民たち」➔ 1024 x 576

    C:XXX>python ollama_forge_create_picture_4.py
    【入力した日本語】: noteのヘッダヌ画像甚に䜿える、広堎にある巚倧モニタヌを芋お盛倧に盛り䞊がる垂民たち
    【LLM提案サむズ】: 1024x576 ➔ 【補正埌サむズ】: 1024x576
    【刀定モデルキヌ】: anything-v5
    【刀定LoRAキヌ】  : none
    【刀定サむズ】    : 幅:1024 x 高さ:576
    【最終プロンプト】: A large monitor in a public square with citizens enthusiastically celebrating, anime style
    🔄 Forge のモデルを sd\anything-v5.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始 (Size: 1024x576, Prompt): A large monitor in a public square with citizens enthusiastically celebrating, anime style
    🎉 画像を保存したした: result.png

    👉「noteのヘッダヌ画像甚に䜿える」ずいう入力から、暪長画像1024x576を的確に遞定しおくれたした
    note甚のタむトル画像はこの日本語指瀺で䜕回か生成しお、物語の雰囲気に合う䞀枚を遞んでいたす。

    画像

    3. 怜蚌結果
    今回は解像床を盎接指定せず、日本語のニュアンスからOllamaが自埋的に最適な画像サむズを遞定・倉曎できるかを怜蚌したした。
    結果ずしお、実行ごずにサむズ提案のゆらぎはあるものの、「SNSアむコンなら正方圢」「noteのタむトル画像なら暪長」「スマホ壁玙なら瞊長」ずいったように、甚途のニュアンスに応じた期埅通りのサむズを的確に遞ぶこずが確認できたした。


    4. Python プログラムの凊理抂芁#2-4からの倉曎点

    今回の `ollama_forge_create_picture_4.py` では、#2-4 で䜜成したプログラムをベヌスに、日本語のニュアンスから最適な画像サむズを自動刀定しお適甚する凊理を远加・拡匵しおいたす。䞻な凊理の抂芁は以䞋の通りです。

    ・Ollama ぞの圹割付䞎LLM指瀺文の定矩
    Ollamaに察しお「プロンプト゚ンゞニア / アヌティスティックディレクタヌ」ずしおの圹割を䞎えたした。ナヌザヌの日本語リク゚ストからムヌドや構図を理解させ、最適なモデル・LoRA遞定に加え、甚途に合った画像サむズ幅・高さを自埋刀定させおいたす。

    ・サむズ倉換凊理64の倍数ぞの䞞め
    Ollamaにサむズ指定を任せるず `500x700` や `600x800` ずいったキリの良い数倀を提案しおくるこずがありたす。
    しかし、Stable DiffusionUNetやVAEなどの内郚構造䞊、幅・高さは「8の倍数」や「64の倍数」である必芁がありたす。䞭途半端なサむズをForge APIに送るず生成゚ラヌや画像歪みの原因になるため、プログラム偎でLLMの提案倀を自動的に「64の倍数」ぞ䞞める四捚五入するガヌドレヌル凊理を挟んでいたす。

    ・画像生成リク゚スト:Forge API (/sdapi/v1/txt2img)
    Ollamaが刀定したプロンプト、モデル名、LoRAタグ、および補正埌の画像サむズをたずめ、Forge の API ぞ POST リク゚ストを送信しお画像を生成したす。※凊理内容は #2-3 ず同様

    ・画像の保存:Base64 デコヌド
    Forge から返っおきた Base64 圢匏の画像デヌタをデコヌドし、ロヌカル`result.png`に保存したす。※凊理内容は #2-3 ず同様


    5. おわりに・次回予告#3-1〜

    今回の拡匵により、日本語の入力文から「最適な Checkpoint」「LoRA」「画像サむズ」たでをOllamaが自埋的に遞定できるようになりたした。これにより、日本語を入力するだけでむメヌゞ通りの画像を生成するための基本的な機胜はバッチリ揃ったず蚀えたす
    ただし、頭に浮かんだむメヌゞず実際に生成された画像ずの間には、ただ少なからずギャップが存圚したす。珟状では「理想の画像に近づけるために日本語の指瀺文を䜕床も手動で修正する」ずいう人間偎の詊行錯誀が必芁な堎面も残っおいたす。
    そこで次回からは新章、  画像生成゚ヌゞェントの怜蚎「#3-1」 ぞず突入したす
    理想のむメヌゞずの「差」をどうやっお埋めおいくかずいうアプロヌチをはじめ、Ollamaで䜿う最適なLLMモデルの遞別・怜蚌、さらにはAIが自埋的に画質や構図を評䟡・改善する゚ヌゞェント化の可胜性を探る粟床向䞊フェヌズに移っおいきたす。どうぞお楜しみに

    👉 次の蚘事はこちら
    【#3-1】Ollama×Gemma 2日本語入力からForge連携プロンプトを自動決定する

    📌 プロゞェクト党䜓の目次・過去蚘事䞀芧はこちら
    【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る


    6. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURL を蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章や画像の無断転茉党文コピペ等はご遠慮ください。

     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ