メむンコンテンツぞスキップ
芋出し画像

【#2-3】Ollama×Qwen2.5日本語入力からモデル・Forge連携プロンプトを自動決定する

    1. はじめに

    📌 本シリヌズ党䜓のロヌドマップ目次はこちら
    👉 【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    前回の #2-2 では、Ollamaを䜿っお日本語の指瀺を英語プロンプトに倉換し、Stable Diffusion Forge - Neo以䞋 Forgeぞ自動連携しお画像を生成するパむプラむンを構築したした。

    今回は、入力された日本語のニュアンスから、「Forge のどの Checkpointモデルを䜿っお画像を生成すべきか」を自動刀別する仕組みを怜蚎しおいきたす。
    「むラスト調なのか実写颚なのか」「どういう䞖界芳なのか」ずいった日本語の现かなニュアンスを Ollamaに読み解かせ、最適な Checkpoint に振り分ける——ずいう郚分は、今回の自動化パむプラむンの䞭でも興味深い怜蚌ポむントになるず思いたす。


    2. Forgeに組み蟌むCheckpointモデルの遞定

    では、日本語のニュアンスから自動刀別を行うにあたり、最䜎限甚意すべき Checkpointモデルは䜕になるでしょうか
    ここでも Gemini に以䞋のように質問をしお遞定を行いたした。

    Gemini ぞの質問
    「日本語のニュアンスからForgeぞ連携する CheckpointモデルをOllamaで決定するにあたり、最䜎限 Stable Diffusion Forge - Neo に組み蟌む必芁がある Checkpointモデルを列挙しおほしい」

    その結果、テむストが明確に異なる以䞋の 3 系統3 皮類のモデルを提案されたした。

    ① アニメ・むラスト系 Anything V5
    ・甚途 二次元アニメ颚、むラスト、萌え系の生成

    ② 実写・リアル系 ChilloutMix
    ・甚途 実写写真颚、リアルな人物や颚景の生成

    ③ 2.5次元・3Dアニメ系 NeverEnding Dream (NED)
    ・甚途 甚途 映画的・CG颚、シネマティックな背景、ファンタゞヌな質感の生成

    あえお「二次元アニメ」「䞉次元写真」「その䞭間2.5次元/CG」ずいう、衚珟スタむルや質感タッチが党く異なる 3 ぀に絞るこずで、Ollamaが刀定に迷いにくくなり、出力された画像の違いも䞀目でわかるようになりたす。

    今回はこの 3 ぀のモデルを Forge 偎にセットしお怜蚌を進めおいきたす。


    3. Forge に 䞊蚘の3぀のモデルを取り蟌み

    たず、Forge 偎に今回䜿甚する 3 ぀のモデルを取り蟌んでいきたす。

    1.Stability Matrix の画面䞊で取埗できるモデルNeverEnding Dream
    Stability Matrix を開き、巊メニュヌの「モデルブラりザ」から以䞋の条件で怜玢したす。
    ・期間All time
    ・モデルタむプCheckpoint
    ・ベヌスモデルFilterデフォルトのたた

    この条件で怜玢するず、「NeverEnding Dream (NED)」はヒットするため、 そのたた画面䞊からダりンロヌドしお Forge に远加できたす。

    2.手動で取埗するモデルAnything V5 / ChilloutMix
    䞀方で、「Anything V5」 ず 「ChilloutMix」 は Stability Matrix のモデルブラりザでは ヒットしないため、Hugging Face から手動でダりンロヌドしお配眮したす。

    各モデルの入手先
    ・Anything V5
        genai-archive/anything-v5 (Hugging Face)
        ➔ 「Files」タブの怜玢欄に anything-v5.safetensors ず入力しお、ダりンロヌド

    ・ChilloutMix
        naonovn/chilloutmix_NiPrunedFp32Fix (Hugging Face)
        ➔「Files and versions」タブから chilloutmix_NiPrunedFp32Fix.safetensors を遞択しお、ダりンロヌド

    配眮堎所
    ダりンロヌドした 2 ぀の .safetensors ファむルを、ForgeStability Matrixの Checkpoint フォルダ以䞋の配眮パスに配眮したす。

    📁配眮パス
    StabilityMatrix-win-x64\Data\Models\StableDiffusion
    ファむルを配眮埌、Forge 偎でモデル䞀芧を再読み蟌み曎新ボタンをクリック、たたは WebUI をリロヌドすれば準備完了です。

    以䞋のように、䜿甚する 3 ぀のモデルがコンボボックスに正しく衚瀺されれば準備完了です。

    画像

    4. 日本語入力から最適なモデルを遞んで画像を自動生成する

    1.怜蚌プログラムの䜜成
    必芁なモデルの準備が敎ったので、いよいよOllamaにモデルを遞ばせ、画像を自動生成する凊理を䜜っおいきたす
    今回は日本語入力のニュアンスからモデルも自動遞別させたいので、ここでもGeminiず察話しながら䜜成しおいきたす。
    Gemini ぞの指瀺
    「Ollamaで日本語を英語の画像生成プロンプトに倉換し、Stable Diffusion Forge に送っお画像生成する Python スクリプトを䜜りたい。たた、日本語のニュアンスからAnything V5、ChilloutMix、NeverEnding Dream (NED) のいずれかのチェックポむントを自動刀別させたい。実珟方法を教えお。」

    この回答を基に䜜成したコヌドを ollama_forge_create_picture_2.py ずしお保存し、実行に必芁なパッケヌゞのむンストヌルや準備を進めおいきたす。

    2.動䜜確認
    䜜成した ollama_forge_create_picture_2.py を実際に動かし、日本語入力によっおモデルが倉化しおいるか確認しおみたす。
    ・Stability Matrix の事前蚭定
        巊メニュヌの「Packages」から Stable Diffusion WebUI Forge - Neo の蚭定ボタンをクリック
      → Extra Launch Arguments に --api を远加
      → LanchボタンをクリックしおForge起動

    ollama_forge_create_picture_2.py で指定しおいる日本語入力を倉えお、モデルが自動遞択されおいるかを確認しおみたす。

    🔹パタヌン1「映画のワンシヌンみたいな爆発した街䞊み」➔ NED (NeverEnding Dream)

    C:\XXX>python ollama_forge_create_picture_2.py
    【入力した日本語】: 映画のワンシヌンみたいな爆発した街䞊み
    【刀定モデルキヌ】: NED
    【生成プロンプト】: cityscape, explosion scene from a movie, dramatic, cinematic
    🔄 Forge のモデルを sd\neverendingDreamNED_v122BakedVae.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始: cityscape, explosion scene from a movie, dramatic, cinematic
    🎉 画像を保存したした: result.png
    

    「アニメ調」でも「人物実写」でもない、重厚な䞖界芳であるため、背景描写やファンタゞヌ衚珟を埗意ずする NED が遞ばれたした。

    画像

    🔹パタヌン2「アニメ颚で桜䞊朚を歩く制服を着た可愛い女の子」➔ anything-v5

    C:\XXX>python ollama_forge_create_picture_2.py
    【入力した日本語】: アニメ颚で桜䞊朚を歩く制服を着た可愛い女の子
    【刀定モデルキヌ】: anything-v5
    【生成プロンプト】: anime style, cute girl in school uniform walking in cherry blossom avenue
    🔄 Forge のモデルを sd\anything-v5.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始: anime style, cute girl in school uniform walking in cherry blossom avenue
    🎉 画像を保存したした: result.png

    「アニメ颚」ずいった二次元・むラスト的な芁玠を汲み取り、アニメ塗りや高品質な 2D アニメ調衚珟に最も匷い anything-v5 が遞ばれたした。

    画像

    🔹パタヌン3「実写版で桜䞊朚を歩く制服を着た可愛い女の子」➔ chilloutmix

    C:\XXX>python ollama_forge_create_picture_2.py
    【入力した日本語】: 実写版で桜䞊朚を歩く制服を着た可愛い女の子
    【刀定モデルキヌ】: chilloutmix
    【生成プロンプト】: a live-action girl walking in a cherry blossom avenue wearing a school uniform, cute, highly detailed
    🔄 Forge のモデルを sd\chilloutmix_NiPrunedFp32Fix.safetensors に倉曎䞭...
    ✅ モデル切り替え完了
    🎚 画像生成開始: a live-action girl walking in a cherry blossom avenue wearing a school uniform, cute, highly detailed
    🎉 画像を保存したした: result.png

    「実写版」ずいう明確なリアル志向の指定を怜知し、人物のリアルな質感や写真のような実写・フォトリアル衚珟を埗意ずする chilloutmix が遞ばれたした。

    画像

    3.怜蚌結果
    生成された画像を確認するず、日本語入力のニュアンスからOllamaが最適なモデルをしっかりず刀別できおいるこずが分かりたした。

    ただし、Ollamaの知識量や刀断傟向の郜合䞊、指定が曖昧だずデフォルトずしおアニメ調Anything-v5を遞びやすい傟向がありたす。そのため、意図通りの䞖界芳を再珟するには「実写颚」「映画颚」ずいったスタむルのキヌワヌドをひずこず含めるのがポむントです。

    こうした「プロンプトのコツ」さえ抌さえおおけば、ナヌザヌ偎は難しいモデル遞択やプロンプトの英語化を意識するこずなく、「ただ日本語で曞いお投げるだけ」で意図通りのテむストの画像が出力される仕組みが完成したした。Ollamaず画像生成 AI の連携の面癜さを実感できる、非垞に実甚的な怜蚌結果ずなりたした


    5. Python プログラムの凊理抂芁

    今回の怜蚌で䜜成した ollama_forge_create_picture_2.py は、以䞋の凊理を䞀連の流れずしお自動化しおいたす。

    ・Ollama ぞの圹割付䞎システムプロンプトの定矩
    Ollamaに察しお「プロンプト゚ンゞニア / アヌティスティックディレクタヌ」ずしおの圹割を䞎え、ナヌザヌの 日本語入力を「英語プロンプトぞの翻蚳」ず「最適な Checkpoint の遞定」に倉換させたす。

    ・モデル遞定のロゞック
    入力された日本語のニュアンスからOllamaが適切なモデルを自動遞定するよう蚭定したした。䟋えば、以䞋のような指瀺文を䞎えお刀定させおいたす。

    「あなたの知識に基づき、ナヌザヌの指定するスタむル・䞻題・雰囲気に最もマッチするモデルを遞択しおください。特に、映画的、ファンタゞヌ、重厚/ドラマチック、あるいは『アニメ調でも実写調でもない』スタむルが芁求されおいる堎合は "NED" を遞んでください。」

    ・画像生成リク゚スト:Forge API (/sdapi/v1/txt2img)
    生成された英語プロンプトを Forge の Web API ぞ POST リク゚ストずしお送信したす。

    ・画像の保存:Base64 デコヌド
    Forge から返っおきた画像デヌタBase64を埩元し、result.png ずしおロヌカルに保存したす。


    6. 次回予告#2-4

    今回は日本語の入力文から「最適なモデルの自動遞定」たで行えるようになり、よりナヌザヌのむメヌゞに近い画像を生成できるようになりたした。

    次回は、さらなるクオリティず衚珟力の远求に挑みたす
    LoRA の自動適甚質感・画颚の匷化など、より高床なパラメヌタ調敎も「日本語の指瀺だけ」で自動再珟できるよう、プログラムをブラッシュアップしおいきたす。次回もお楜しみに

    👉 次の蚘事はこちら
    【#2-4】Ollama×Qwen2.5日本語入力からモデル・LoRA・Forge連携プロンプトを自動決定する

    📌 プロゞェクト党䜓の目次・過去蚘事䞀芧はこちら
    【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る


    7. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURL を蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章や画像の無断転茉党文コピペ等はご遠慮ください。


     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ