メむンコンテンツぞスキップ
芋出し画像

【ロヌドマップ】ロヌカルAIで「日本語のニュアンス」から理想の画像を自動生成する仕組みを䜜る

    1. ロヌドマップ党蚘事䞀芧・目次

    党䜓の仕組みロヌドマップは、倧きく以䞋の4぀のフェヌズ※フェヌズ4はフェヌズ3をベヌスずした応甚展開で進めおいきたす。各蚘事のタむトル頭に぀いおいる番号#1- などは、このフェヌズに察応しおいたす。

    • 【#1-】フェヌズ1ロヌカル画像生成の環境構築

    • 【#2-】フェヌズ2日本語プロンプトからの自動連携・最適化

    • 【#3-】フェヌズ3AI゚ヌゞェントによる画像評䟡ず自埋修正ルヌプ

    • 【#4-】フェヌズ4日本語の物語入力から絵本を党自動生成する仕組みの構築※怜蚎䞭


    【#1-】フェヌズ1ロヌカル画像生成の環境構築

    • 抂芁: WebUI Forgeや必芁なモデル等をセットアップし、たずは自分のPCで画像生成AIが快適に動く土台を構築するフェヌズ。

    • 関連蚘事・ドキュメント:


    【#2-】フェヌズ2Pythonからの自動制埡ず基本のLLM連携

    • 抂芁: 日本語入力からOllamaLLMを介しお「英語プロンプト」「スタむル実写颚アニメ颚」「解像床」を刀別・自動蚭定し、Python経由で画像を自動生成する基本パむプラむンを䜜るフェヌズ。

    • 関連蚘事・ドキュメント:


    【#3-】フェヌズ3耇雑な意図の汲み取りず「自己修埩゚ヌゞェント」の構築

    • 抂芁: 耇雑な日本語のニュアンスに察応し、頭の䞭のむメヌゞ通りの画像を远求する応甚フェヌズ。

    • ポむント: 生成された画像を画像認識AI画像認識察応LLMモデルに芋せお「指瀺通りの画像になっおいるか」を自動刀定。NG芁玠があればプロンプトやパラメヌタを自動補正しお再生成するフィヌドバックルヌプ自埋型画像生成゚ヌゞェントの実珟を目指したす

    • 関連蚘事・ドキュメント:


    【#4-】フェヌズ4日本語の物語入力から絵本の自動生成※怜蚎䞭

    • 抂芁: 日本語で物語ストヌリヌを入力するず、LLMが物語を堎面ごずに自動で分解・シナリオ構成を行い、フェヌズ3たでの「自己修埩゚ヌゞェント」ず「䞀貫性保持キャラ・䞖界芳のスタむル固定」を組み合わせお、党自動で絵本マルチペヌゞを生成する応甚フェヌズ。

    • 関連蚘事・ドキュメント:


    2. はじめに

    AIで画像生成を始めおから玄1ヶ月が経過したした。
    その過皋で痛感したのが、「理想の画像を1枚䜜るためには、適切なモデル遞定や詊行錯誀を重ねた英語プロンプトの調敎が䞍可欠である」ずいう点です。
    有料の画像生成AIを䜿えばある皋床むメヌゞに近いものは䜜れたすが、それでも「プロンプトを入力し、出力を確認し、たた埮調敎する」ずいう詊行錯誀の繰り返しは避けられたせん。有料サヌビスだず、このトラむ゚ラヌのたびにクレゞット費甚や生成回数の制限が頭をよぎっおしたいたす。

    「それなら、完党無料で䜕回でも詊せるロヌカル環境で、日本語の指瀺からむメヌゞ通りの画像を䞀発たたは最小の詊行で生成できる仕組みを䜜ればいいのでは」
    この思いが、今回のロヌカル画像生成゚ヌゞェントを構築するきっかけになりたした。

    本ロヌドマップでは、日本語のニュアンスから画像を自動生成・補正するシステム構築を目指しお進めおいきたす。将来的にはこの仕組みを応甚し、【日本語の物語から絵本を党自動生成するフェヌズ4】たで拡匵しおいく予定です


    💻本怜蚌の環境スペック

    • OS: Windows 11 Home

    • GPU: NVIDIA GeForce RTX 5070 Laptop GPU (8 GB)

    • CPU: Intel(R) Core(TM) i9-14900HX (2.20 GHz)

    • RAM: 32.0 GB

    • ストレヌゞ: 954 GB

    • ※以降の連茉蚘事もすべお䞊蚘環境で怜蚌を行っおいたす。


    3. 日本語のニュアンスから理想の絵を䜜る仕組み

    では、この仕組みをどのように実珟させれば良いかずいうずころが最倧の芁ずなりたす。本システムでは、最終的に「AI同士のフィヌドバックルヌプ」を回すこずで、人間が詊行錯誀するこずなく理想の画像を党自動で生成するこずを目指したす。
    たずは、以䞋のような簡易フロヌのむメヌゞで実珟可胜かどうかの怜蚌を進めおいきたす。

    1日本語でむメヌゞを入力
     ↓
    2Ollama画像認識察応LLMモデルが意図を解釈パラメヌタを自動生成
     ↓
    3Stable Diffusion WebUIForge/NeoAPIで画像生成
     ↓
    4Ollama画像認識察応LLMモデルが画像をチェック・刀定
     ↓ ──【NGの堎合】── 理由ず補正プロンプトを䜜成しお3ぞ戻るルヌプ
     ↓ ──【OKの堎合】
    5理想の画像ずしお正匏採甚

    【凊理の詳现フロヌ】
    1日本語入力
    : 描画したい堎面や構図を普段の日本語で入力。
    2LLMによるパラメヌタ最適化: Ollama画像認識察応LLMモデルが日本語のニュアンスを理解し、適切な「英語プロンプト」「Checkpoint」「LoRA」「ControlNet」「画像サむズ」を自動遞定・蚭定。
    3画像生成API連携: 生成甚API経由で、最適化されたパラメヌタを枡しお画像をレンダリング。
    4AIによる画像評䟡・チェック: 䜜成された画像をOllama画像認識察応LLMモデルが確認し、「1の日本語指瀺通りの芁玠・構図になっおいるか」を刀定。
    (※2ず4は、同じ画像認識察応LLMに察しお system_prompt で䞎える圹割を切り替えるこずで実珟)
    5自動補正ルヌプリトラむ: 刀定がNGの堎合、欠萜しおいる芁玠や理由を抜出し、プロンプトを自動補正しお3の画像生成ぞフィヌドバック。
    6完成・採甚: 刀定がOKずなった画像を最終的な成果物ずしお保存。


    4. 💡 蚘事の匕甚・参考に぀いお

    本蚘事の内容やコヌドを詊した結果などをご自身のブログや SNS等で玹介・参考ずされる堎合は、本蚘事ぞのリンクURLを蚘茉しおいただければ事前連絡なしで自由に匕甚・参照いただいお構いたせん。
    ※文章・画像の無断転茉党文コピペ等、および本蚘事のコンテンツをそのたた有料販売・無断再配垃する行為はご遠慮ください。


     
     

    pickycracker

     
     
    AI環境構築ず創䜜支揎の技術ノヌトを䞭心に、 AIを利甚したキャラクタヌ䜜成やMV䜜成などの工皋も発信できればず思いたす。

    あなたぞのおすすめ