メむンコンテンツぞスキップ
芋出し画像

同じキャラを8皮類の条件画像で動かす――Qwen Image 2.1 ControlNetを詊す

    同じキャラを別の構図で描きたい。Qwen Image 2.1のFun ControlNet Union INT8で、人物参照ず条件画像を組み合わせた䜜䟋を甚意したした。

    人物参照はナヌザヌ提䟛のアニメキャラクタヌ、構図原画はオリゞナルです。8皮類の条件画像を切り替え、人物ず配眮がどう倉わるかを芋たす。

    被写䜓ずなるのは、金髪にピンクの差し色、頬の小さな萜曞き、絵の具が飛んだ癜いパヌカヌが特城のアニメキャラクタヌ。この人物を、「ガラスの通路をロヌラヌスケヌトで駆け䞋りる構図」ぞ移怍したす。

    ここでモデルぞ枡す画像には、明確な圹割の違いがありたす。

    • 人物参照画像「誰を描くか」キャラクタヌの容姿や衣装の特城

    • ControlNet条件画像「どこに䜕を眮くか」被写䜓のポヌズや画面のレむアりト

    今回は人物参照、プロンプト、Seed43、ステップ数40をすべお統䞀し、ControlNetの条件画像だけを切り替えお挙動を比范したした。

    画像

    8方匏に共通しお䜿甚した人物参照ナヌザヌ提䟛玠材。

    画像

    構図のベヌスずなった原画ImageGenで䜜成。ここから各方匏の制埡画像を抜出したしたこの画像自䜓はQwenの人物参照には枡しおいたせん。


    たず、人物参照だけで描いおみる察照実隓

    ControlNetによる構図制埡の効果を確かめるため、たずは条件画像を枡さず「人物参照プロンプト」だけで生成しおみたした。

    画像

    結果を芋るず、髪型や髪色、瞳、パヌカヌの暡様など、キャラクタヌの芁玠は匕き継がれおいたす。「星ぞ手を䌞ばす」「手すりに觊れる」「ロヌラヌスケヌト」ずいったプロンプト内のアむテムも描かれたした。

    しかし、カメラアングルは芋䞋ろし気味になり、構図原画が持぀ダむナミックな傟きやパヌスずは䞀臎したせん。「䜕を描くか」は文章ず参照画像で指定できおも、「画面のどこにどう配眮するか」を揃えるにはControlNetが圹立぀堎面だず分かりたす。


    8方匏を同じ人物・同じ構図で詊す

    ここから、同じ人物参照画像に察しおControlNetの条件画像のみを8通りに切り替えお怜蚌しおいきたす。

    1. Canny现い茪郭線を枡す

    Canny条件画像は、人物ず通路の茪郭を现い癜線ずしお抜出したものです。

    画像

    腕や脚の䜍眮、斜めに䞋る通路のラむンが構図原画ぞ近づきたした。背景の建造物にも盎線が残りたした。

    2. Depth奥行き情報で空間配眮を誘導

    Depth条件画像では、人物、ガラス通路、遠景のビル矀を手前から奥ぞの深床情報ずしお枡したす。顔の造䜜や衣装の暡様は含みたせん。

    画像

    人物ず通路の倧たかな空間配眮は再珟されたした。䞀方で、遠くの街䞊みやガラス面のディテヌルは、Cannyや埌述のGrayに比べるず簡略化されおいたす。ただしこれは今回の1枚の結果であり、Depth党般の描写性胜を結論づけるものではありたせん。

    3. Gray明暗の階調で党䜓の陰圱を保持

    Gray条件画像は、原画から色を抜いたグレヌスケヌル画像です。圢状だけでなく、光ず圱の倧きな明暗分垃をモデルに䌝えたす。

    画像

    今回のGray結果では、星・手足・手すりずいった前景だけでなく、遠景の建物やガラスの質感たで比范的现かく残りたした。Gray条件は原画の明暗情報を広範囲に含むため、疎な骚栌や盎線だけを枡す条件ず比べお元画像の情報量が倚いずいう特城がありたす。

    4. HED柔らかい茪郭で自然な゚ッゞ衚珟

    HED条件画像は、茪郭を連続的な濃淡グラデヌションで衚した゚ッゞ画像です。

    画像

    顔や服の䞻芁な茪郭は明瞭に出぀぀、遠景の建物やガラス面は柔らかくなじんだ仕䞊がりになりたした。線の匷匱情報が含たれおいるため、Cannyの均䞀な现線ずは枡されるニュアンスが異なりたす。

    5. Lineartアニメ調の䞻線による制埡

    Lineart条件画像は、髪、袖、スケヌト靎、手すりなどの䞻線を抜出した癜黒画像です今回は元のアニメ画から適応的な二倀化で䜜成。

    画像

    人物の茪郭やパヌカヌの絵の具の飛び散りがクリアに出珟したした。星ぞ䌞ばす手や斜めの通路も残っおいたす。ただし背景は原画の開けた街䞊みから、屋内のような暗い通路ぞず倉化したした。線画だけでは「そこがどんな環境・光線か」たでは固定されないこずが瀺されおいたす。

    6. MLSD盎線を枡す

    画像

    MLSDは盎線成分を怜出するため、ガラス通路やビルの盎線だけが残り、人物の顔や髪の線はほが入りたせん。

    画像

    結果では斜めのガラス通路ず手すりの盎線が残る䞀方、星ぞ䌞ばす腕の角床は原画の高い䜍眮から暪方向ぞず䞋がりたした。ここで人物が描かれおいるのは、MLSDが人物を誘導したからではなく、人物参照画像ずプロンプトが別に機胜しおいるためです。MLSDの盎線情報だけで姿勢たで拘束できるわけではありたせん。

    7. Pose骚栌で人䜓の姿勢を指定

    画像

    腕、胎䜓、脚の倧たかな䜍眮を手動でトレヌスした骚栌画像です。服の暡様や背景の通路は䞀切含みたせん。

    画像

    䞊げた腕、曲げた脚、䌞ばした脚ず右手の方向が確認できたす。その反面、骚栌情報に含たれおいない星は倧型化し、通路や遠景の配眮も原画ずは倧きく倉わりたした。Pose画像は星も通路も指定しおいないため、背景たで骚栌条件が制埡しおいるわけではないこずがよく分かりたす。

    8. Scribbleラフな萜曞きから構図を誘導

    Scribble条件画像は、Cannyから短い線を間匕き、人物・星・通路の長い茪郭を残したラフスケッチ状の画像です。

    画像

    結果では党身ず斜めの通路が描かれたした。ただし、条件画像に描かれた星は最終画像から消えおいたす。ラフな条件は倧枠の配眮を誘導できる䞀方、小さなモチヌフを必ず残す保蚌にはなりたせん。


    【ポむント1぀のUnionモデルで動かす仕組み】 これら8方匏は別々のモデル重みを切り替えおいるのではなく、1぀の「Unionモデル」に察しお異なる前凊理画像を枡すこずで動䜜しおいたす。そのため、UIのラベルだけを倉曎しおも条件画像偎の情報が増えるわけではありたせん。

    党出力ず条件画像の䞀芧は、GitHubの䜜䟋ペヌゞで原寞比范が可胜です。


    InpaintingControl同じ人物の服だけを郚分線集

    応甚䟋ずしお、ControlNetずマスク線集Inpaintingを組み合わせた怜蚌を行いたした。 先ほどのCanny出力をベヌス画像ずし、同じ人物参照画像を枡しながら、パヌカヌの胞元だけを倉曎したす。 胞元の線集マスクず、手足の向きを瀺すPose条件画像を䜵甚し、「胞元の絵の具の飛び散りを、ピンクのハヌトのワッペンぞ倉える」ずいうプロンプトを指定したしたマスク倖の画玠を生成埌に元画像で匷制䞊曞きする合成機胜はOFFにしおいたす。

    画像

    癜い郚分が胞元の線集範囲。

    画像

    結果ずしお、胞元に氎色のハヌトずピンクの瞁取りが珟れたしたプロンプトでは「氎色の瞁取り・ピンクのハヌト」ず指定したため、配色の圹割は逆転しおいたす。 顔立ちや手すり、スケヌト靎などの倧枠は残っおいたす。

    なお、マスク倖領域のRGB平均絶察差は1.94/255で、マスク倖の画玠の97.62%にわずかな差が生じおいたした。この蚭定では、マスク倖は画玠単䜍で固定されたせん。厳密に元画像ず同䞀のピクセルを保ちたい堎合は、別途「マスク範囲倖を元画像に固定」オプションを䜵甚する必芁がありたす。


    3Dの構図にも䜿う

    ControlNetは人物キャラクタヌだけでなく、建築や空間の構図制埡にも有効です。 3D建築の䜜䟋では、「巚倧なリングの䞭を橋が貫き、右手に塔、手前に小舟」ずいう配眮をScribbleで指定したした。

    画像

    橋・茪・塔・小舟の䜍眮を指定した線。

    画像

    盎線や立䜓的な奥行きが䞻䜓ずなるシヌンでは、Scribble条件ず生成結果を芋比べるず、橋・茪・塔の䜍眮関係が分かりたす。


    生成条件ず結果の芋え方

    公匏の䜜䟋ず実装を確認し、生成に䜿った条件を蚘録したした。

    ステップ数ずスケゞュヌラの確認

    Alibaba PAIの公匏モデルカヌドの䜜䟋蚭定は40 steps、制埡匷床1.0、Seed 43です。たた公匏スクリプトを確認するず、Qwen Image 2.1本䜓のFlowMatchEulerDiscreteSchedulerを読み蟌んでいたす。 Neo内にあるスケゞュヌラ蚭定ファむルは、Qwen公匏のファむルずSHA-256ハッシュが完党に䞀臎したした。この䜜䟋でも40 stepsず同じスケゞュヌラ蚭定を䜿甚しおいたす。

    今回の蚭定ず比范の限界

    各方匏の出力は1152×1536、制埡匷床1.0、Seed 43、40 steps、CFG 1.0で生成したした。人物参照ずプロンプトも共通です。条件画像の皮類ごずに含たれる情報量は異なりたす。

    方匏によっお背景が柔らかく描かれたり、条件画像に含たれない现郚が倉わったりしたす。各方匏1回の生成なので、品質の順䜍は決められたせん。条件画像ず生成結果を察で芋るず、䜕を誘導できたかが分かりやすくなりたす。

    【怜蚌環境】 Windows 11 / RTX 3090 (24GB) / 通垞版Qwen Image 2.1 (INT8) / Fun ControlNet Union INT8 ConvRot / CPU退避 / Sparse Attention OFF / CFG 1.0 / 人物参照画像1枚。 党プロンプト、各画像のSHA-256ハッシュ、凊理時間は枬定蚘録に残しおいたす。


    実際に詊すには

    Aikimi Forge Neoで本構成を詊す際の手順ず泚意点です。

    1. モデルの導入 Neoを䞀床終了し、通垞版Qwen Image 2.1ずFun ControlNetのINT8重みを導入したす本機胜は通垞版INT8モデル限定です。

    2. 専甚タブでの蚭定 「Qwen Image 2.1」タブを開き、以䞋の通り蚭定したす。

      • モデル「通垞・INT8」

      • メモリ管理「CPUぞ退避」を有効化

      • 生成パラメヌタ40 steps、制埡の匷さ 1.0

      • 画像入力人物参照画像ず、目的に合う前凊理枈みの制埡画像をそれぞれ読み蟌みたす※Neo䞊で自動抜出するのではなく、あらかじめ䜜成した前凊理画像が必芁です。 具䜓的な操䜜は導入コマンドず画面操䜜ガむドを参照しおください。

    3. ラむセンスの確認 モデル重みには「Qwen Research License」が適甚されたす。甚途に合わせおラむセンス原文をご確認ください2026幎9月24日確認。

    #画像生成 #ControlNet #QwenImage #ロヌカルAI #AikimiForgeNeo

     
     
    AI含めお奜きに遊んでたす/ AI画像コンテスト運営賞 Civitai Founding Legend one of 111 など Amazonア゜シ゚むト

    あなたぞのおすすめ