メインコンテンツへスキップ
見出し画像

【#2-4】Ollama×Qwen2.5:日本語入力からモデル・LoRA・Forge連携プロンプトを自動決定する

    1. はじめに

    📌 本シリーズ全体のロードマップ(目次)はこちら
    👉 【ロードマップ】ローカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを作る

    前回の #2-3 では、Ollamaを使って日本語の指示内容から最適モデルを選定し、生成された英語プロンプトを Stable Diffusion Forge - Neo(以下 Forge)へ送ることで、よりイメージに近い画像を生成できるパイプラインを構築しました。

    今回は、「noteのタイトル画像」や「SNS用アイコン」などに向けた次回への布石として、まずは日本語の細かなニュアンス(昭和風、重厚感、水彩風など)をどこまでOllamaが読み解き、適切なLoRA(モデル)を自律選択して画像を生成できるかを検証してみます!


    2. 「Checkpoint」と「LoRA」の違い

    ここでちょっと用語が色々出てきて分かり難くなってきた(筆者だけ?)ので、いったん簡単に整理していきます。

    💡 ざっくり理解する「Checkpoint」と「LoRA」の違い
    画像生成 AI(Stable Diffusion)の世界には、いくつかのモデル(データ)の種類が存在します。今回登場する Checkpoint と LoRA の違いを身近なものに例えると、以下のようなイメージです。

    🔹 Checkpoint(チェックポイント)
    ベースとなる「メインの画像生成モデル」です。
    料理で例えると: パスタの基本ベース(トマトソース / クリームソース)
    絵画で例えると: 画家自身の作風(油絵画家 / 水彩画家 / 漫画家)
    役割: 画像全体の「基礎となる画風・ジャンル」を決定します。
    代表例: `Anything V5`(アニメ調)、`ChilloutMix`(実写写真風)、`NED`(2.5次元・CG風)
    ※メインの土台となるデータなので、基本的に1回の生成で選ぶのは1つだけです。

    🔹 LoRA(ローラ)
    メインの Checkpoint に「特定の効果を追加する拡張データ」です。
    料理で例えると: 後からかけるトッピング(粉チーズ / タバスコ )
    絵画で例えると: 仕上げの特殊効果(ラメ入り絵の具 / 鉛筆の質感)
    役割: 描き込みの細かさ・水彩風の質感・光のエフェクトなど、特定のタッチや演出を上乗せします。
    代表例: `detail_tweaker`(細部の描き込みを増やす)、`watercolor`(水彩画風にする)
    ※トッピングのようなものなので、必要に応じてCheckpoint に重ねがけして使用します。

    整理できたところで、今回はOllamaに「ベースの Checkpoint(画風)」だけでなく、「日本語のニュアンスに合わせて適切な LoRA(トッピング)も自動で選ばせる」 仕組みを組み込んでいきます!


    3. Forgeに組み込むLoRA(モデル)の選定

    Checkpointと同様に、画風や特定の表現を補強する「LoRA」についても最低限何を入れておくべきか選定を行いました。
    日本語の細かなニュアンスをOllamaに汲み取らせ、最適なLoRAを選択・適用させる仕組みを想定して、Gemini に以下の質問を行いました。

    Gemini への質問①:
    「日本語のニュアンスからForgeへ連携する LoRA(モデル)をOllamaで決定するにあたり、最低限 Stable Diffusion Forge - Neo に組み込む必要があるものを列挙してほしい」

    💡 最初の結論:特定のLoRAを事前に入れる必要は「なし」
    Gemini からの回答は、「初期状態で Forge 側に特定のLoRAを固定追加する必要はない」という意外なものでした。

    ・Forge本体の標準機能で完結する
    特別なプラグイン不要で、プロンプトに `<lora:ファイル名:強度>` と書くだけで認識される

    ・LoRAの選定はOllamaの仕事
    「どのLoRAを使うか」の選定はOllamaの役割でForge側ではなく、Ollamaに「手持ちのLoRAリスト」を辞書として持たせるのが合理的なため

    ❓ 「手持ちのLoRAリスト」って何、気になったので追加質問してみた
    Gemini への質問②:
    「「手持ちのLoRAリスト」とは具体的に何を指すのか教えてほしい。また、Ollamaが日本語のニュアンスから正しくLoRAを選び分けられるかテストしたいので、最低限用意しておくべき(性質がハッキリ異なる)具体的なLoRAモデルと選定理由を教えてほしい。」

    1. 「手持ちのLoRAリスト」とは?
    Forgeの初期状態にはLoRAが入っていないため、「自分が Civitai 等からダウンロードして `models/Lora` フォルダに保存したファイル群とその特徴一覧」のことを指します。Ollamaではこの一覧の中から最適なものを選択させます。

    2. 最低限用意すべき具体例(3パターン)
    ユーザーの日本語(ニュアンス)を正しく読み取り、LoRAを選び分けられるかをテストするため、効果の差が目で見えて分かりやすい3つの系統を用意するのがベストという結論になりました。

    ①【画風変化系】水彩画風 LoRA (`watercolor_style.safetensors`)
    検証用ニュアンス:「手描きっぽい」「やさしいタッチで」「にじんだような」

    ②【塗り・質感系】厚塗り・油絵風 LoRA (`thick_impasto.safetensors`)
    検証用ニュアンス:「重厚感のある」「絵の具が乗ったような」「リアルな質感」

    ③【雰囲気・世界観系】80年代レトロアニメ風 LoRA (`retro_anime_80s.safetensors`)
    検証用ニュアンス:「ノスタルジックな」「昭和風の」「セル画っぽい」


    4. ForgeにLoRA(3つのモデル)を導入する

    3つのモデルは全て手動でダウンロードする必要があります。
    各モデルの入手先:
    ・【画風変化系】水彩画風 LoRA (`watercolor_style.safetensors`)
    watercolor_style.safetensors
    ➔ 「Download」ボタンを押す

    ・【塗り・質感系】厚塗り・油絵風 LoRA (`thick_impasto.safetensors`)
    thick_impasto.safetensors
    ➔「Download」ボタンを押す

    ・【雰囲気・世界観系】80年代レトロアニメ風 LoRA(`retro_anime_80s.safetensors`)
    retro_anime_80s.safetensors
    ➔「Download」ボタンを押す
    ➔ファイル名を Ratroanime80s.safetensors に変更する

    配置場所:
    ダウンロードした 3つの .safetensors ファイルを、Forge(Stability Matrix)の Loraフォルダ(以下の配置パス)に配置します。

    📁配置パス:
    StabilityMatrix-win-x64\Data\Models\Lora
    ファイルを配置後、Forge 側でモデル一覧を再読み込み(更新ボタンをクリック、または WebUI をリロード)すれば準備完了です。

    以下のように、使用する 3 つのLoraモデルがLoraタブで正しく表示されれば準備完了です。

    画像

    5. 日本語入力から最適なLoRAモデルを選んで画像を自動生成する

    #2-3 では日本語入力から最適な Checkpoint(基本モデル)を選べるようにしましたが、今回は同様の仕組みを使って、日本語のニュアンスから最適な「LoRAモデル」を動的に自動選定する処理を作成していきます。

    1.検証プログラムの作成
    #2-3 で作成したベースコード(`ollama_forge_create_picture_2.py`)を元に、LLM側で Checkpoint だけでなく LoRA も判別させるにはどう変更すればよいか、Gemini に相談しました。

    Gemini への指示:
    「Ollama で日本語を英語の画像生成プロンプトに変換し、Stable Diffusion Forge に送って画像生成する Python スクリプトで日本語のニュアンスから 、LoRA のいずれかのモデル(Ratoroanime80s、Thicklmpasto、Watercolor)を自動判別させたい。#2-3で使用したollama_forge_create_picture_2.py をベースに作り変えてほしい。」

    この回答を基に作成したコードを ollama_forge_create_picture_3.py として保存しました。

    2.動作確認
    作成した `ollama_forge_create_picture_3.py` を実際に動かし、入力する日本語のニュアンスによって、Ollamaが自律的に適切な LoRA を選び分けられるか検証します。

    💡 事前準備(ForgeのAPI有効化)
    左メニューの「Packages」から Stable Diffusion WebUI Forge - Neo の設定ボタンをクリック
    → Extra Launch Arguments に --api を追加
    → LanchボタンをクリックしてForge起動

    今回は効果をわかりやすく比較するため、「教室で席を立つ少女」という基本シチュエーションは固定し、雰囲気(ニュアンス)だけを変えた3つのパターンでテストを行いました。

    🔹パターン1:「放課後で誰もいない昔ながらの教室、沈む夕日の光が差し込む中、席を立つ少女」➔ Ratroanime80s

    C:\XXX>python ollama_forge_create_picture_3.py
    【入力した日本語】: 放課後で誰もいない昔ながらの教室、沈む夕日の光が差し込む中、席を立つ少女
    【判定モデルキー】: anything-v5
    【判定LoRAキー】  : Ratroanime80s
    【最終プロンプト】: 1girl, alone in an old classroom after school, sunset light streaming through the window, standing up from her seat, nostalgic and classic anime aesthetic, <lora:Ratroanime80s:0.7>
    🔄 Forge のモデルを sd\anything-v5.safetensors に変更中...
    ✅ モデル切り替え完了
    🎨 画像生成開始 (Prompt): 1girl, alone in an old classroom after school, sunset light streaming through the window, standing up from her seat, nostalgic and classic anime aesthetic, <lora:Ratroanime80s:0.7>
    🎉 画像を保存しました: result.png

    👉「昔ながらの教室」という部分に含まれるノスタルジックな気配を敏感に察知し、80年代風LoRAの Ratroanime80s が見事に選ばれました!

    画像

    🔹パターン2:「真夜中で誰もいない教室、真っ暗で重苦しい雰囲気の中、席を立つ少女」➔ ThickImpasto

    C:\XXX>python ollama_forge_create_picture_3.py
    【入力した日本語】: 真夜中で誰もいない教室、真っ暗で重苦しい雰囲気の中、席を立つ少女
    【判定モデルキー】: NED
    【判定LoRAキー】  : ThickImpasto
    【最終プロンプト】: 1girl, leaving the classroom at midnight, empty room, dark and heavy atmosphere, dramatic lighting, detailed expression, <lora:ThickImpasto:0.7>
    🔄 Forge のモデルを sd\neverendingDreamNED_v122BakedVae.safetensors に変更中...
    ✅ モデル切り替え完了
    🎨 画像生成開始 (Prompt): 1girl, leaving the classroom at midnight, empty room, dark and heavy atmosphere, dramatic lighting, detailed expression, <lora:ThickImpasto:0.7>
    🎉 画像を保存しました: result.png

    👉「真っ暗で重苦しい雰囲気」という情景から、重厚感や絵の具の深みを表現する ThickImpasto が的確にチョイスされました。(※Checkpointも自動でダークな世界観が得意な NED に切り替わっています!)

    画像

    🔹パターン3:「放課後で誰もいない現代風な教室、沈む夕日の光が差し込む中、席を立つ少女」➔ Watercolor

    C:\XXX>python ollama_forge_create_picture_3.py
    【入力した日本語】: 放課後で誰もいない現代風な教室、沈む夕日の光が差し込む中、席を立つ少女
    【判定モデルキー】: anything-v5
    【判定LoRAキー】  : Watercolor
    【最終プロンプト】: 1girl, leaving the classroom after school, empty modern room, sunset light flooding in, soft and delicate atmosphere, detailed, <lora:Watercolor:0.7>
    🔄 Forge のモデルを sd\anything-v5.safetensors に変更中...
    ✅ モデル切り替え完了
    🎨 画像生成開始 (Prompt): 1girl, leaving the classroom after school, empty modern room, sunset light flooding in, soft and delicate atmosphere, detailed, <lora:Watercolor:0.7>
    🎉 画像を保存しました: result.png

    👉「現代風な教室、夕日の光が差し込む」という描写から、透明感ややわらかな空気感(soft and gentle atmosphere)を感じ取り、水彩画風の Watercolor が自動選択されました!

    画像

    3. 検証結果
    今回は「教室で席を立つ少女」という基本的なシチュエーションをある程度固定した上で、文章に含まれる細かな情景や雰囲気(ニュアンス)の違いによって、Ollamaが適切なLoRAモデルを判定・選択できるかを検証しました。

    結果として、プロンプト内に特定のモデル名を直接指定しなくても、Ollama自身の知見と解釈に基づいて、文脈に最も適したLoRAを自動的に選び分けることがしっかりと確認できました!

    直感的な日本語の表現だけで、Checkpoint(基本モデル)だけでなくLoRA(画風・質感)まで含めた最適な画像生成環境をOllamaが自律的に構築してくれる仕組みが完成し、想定通りの納得いく検証結果となりました。


    6. Python プログラムの処理概要(#2-3からの変更点)

    今回の `ollama_forge_create_picture_3.py` では、#2-3 で作成したプログラムをベースに、日本語のニュアンスから最適な LoRA モデルを自動判定して適用する処理を追加・拡張しています。主な処理の概要は以下の通りです。

    ・Ollama への役割付与(システムプロンプトの定義)
    Ollamaに対して「プロンプトエンジニア / アーティスティックディレクター」としての役割を与えました。ユーザーの日本語によるリクエストを分析し、雰囲気・視覚的な好み・芸術的な印象を理解した上で、自身の知見と直感に基づいて最もマッチする LoRA モデルを自律的に選定する定義を追加しています。

    ・出力フォーマット(JSON)の拡張
    Ollamaから返ってくるレスポンスに `"lora": "Watercolor"` などの選定結果が含まれるよう、JSONの形式を拡張しました。
    選定されたLoRAに応じて、生成プロンプトの末尾に `<lora:ファイル名:強度>`(例: `, <lora:Watercolor:0.7>`)を自動的に結合して Forge へ送る処理を追加しています。

    ・画像生成リクエスト:Forge API (/sdapi/v1/txt2img)
    Ollama によって英訳・拡張されたプロンプト(LoRA タグ含む)やネガティブプロンプト、画像サイズなどのパラメータをまとめ、Forge の `txt2img` API へ POST リクエストを送信して画像生成を実行します。(※処理内容は #2-3 と同様です)

    ・画像の保存:Base64 デコード
    Forge からレスポンスとして返ってくる Base64 形式の画像データをバイナリにデコードし、指定したファイル名(`result.png`)でローカルに保存して表示します。(※処理内容は #2-3 と同様です)


    7. 次回予告(#2-5)

    今回は日本語の入力文から「最適な Checkpoint(基本モデル)」と「LoRA(画風・質感)」のダブル自動選定が行えるようになり、表現の幅が大きく広まりました。

    次回は、画像全体の印象や構図を左右する「画像サイズ(アスペクト比)」の自動判別に挑みます!
    「スマホの壁紙風に」「広大なパノラマ感を出して」「SNSアイコン用に」といった、日本語の表現に含まれる視覚的な構図や用途のニュアンスから、Ollama が最適な縦横サイズ(width / height)を自律的に判断して Forge へ指示を出す仕組みを作っていきます。
    プロンプトだけでなく構図・画角まで「日本語の指示だけ」でコントロールする、さらなる高度な連携をお楽しみに!

    👉 次の記事はこちら
    【#2-5】Ollama×Qwen2.5:日本語入力から最適な画像サイズを自動決定する

    📌 プロジェクト全体の目次・過去記事一覧はこちら
    【ロードマップ】ローカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを作る


    8. 💡 記事の引用・参考について

    本記事の内容やコードを試した結果などをご自身のブログや SNS等で紹介・参考とされる場合は、本記事へのリンク(URL) を記載していただければ事前連絡なしで自由に引用・参照いただいて構いません。
    ※文章や画像の無断転載(全文コピペ等)はご遠慮ください。


     
     
    AI環境構築と創作支援の技術ノートを中心に、 AIを利用したキャラクター作成やMV作成などの工程も発信できればと思います。

    あなたへのおすすめ