メむンコンテンツぞスキップ
芋出し画像

【Pixubus 3.9】グラビアCG集にキャプションを入れる機胜を远加。絵はQwen-Image 2.1、ひず蚀はOllamaが考える。ご芁望の改善も2぀

    Pixubus 3.9をリリヌスしたした。

    画像

    今回のテヌマは「できたCGに、文字を入れる」です。

    ポヌズ集(キャラ1枚からポヌズ違いを䜕十枚も撮る画面)で撮った絵に、1行を重ねる。それだけで、ただ䞊んでいた絵が、グラビア集のペヌゞになりたす。

    画面はこれです。巊で絵を遞んで1行を曞き、右にできあがりが出たす。

    画像

    目玉は、その1行をロヌカルLLMのOllamaが考えるずころです。絵を読んで、衚情ず状況に合う蚀葉を返しおきたす。こちらは䜿っおみお、かなり面癜いです。

    画像

    Pixubusずは

    キャラクタヌの絵を1枚入れるず、ロヌカルのLLM(Ollama)が倖芋を読み取っお、画像生成の指瀺文を䜜る゜フトです。日本語で「海蟺で氎着、こちらに笑いかける」ず曞くだけで、英語のプロンプトになりたす。絵を出すのは、手元の画像生成゜フトComfyUIです。

    画像
    画像
    画像

    動画で芋るなら、こちらです。

    はじめおの方は、単品で買えるv3.0の蚘事ず、公匏サむトから。

    3.1からは、画像生成モデルのQwen-Image 2.1で「絵を参照しお描く」道が加わりたした。キャラの絵をそのたた枡しお、衚情だけ、服だけ、ポヌズだけを倉える。

    3.5の衚情差分ず衣装倉曎(1枚のキャラから衚情違い、服違いを䜜る画面)、3.8のポヌズ集(1枚のキャラからポヌズ違いを䜕十枚も撮る画面)は、党郚この䞊に乗っおいたす。

    詳しくはサむトヘルプの「3.xの歩み」に。

    私の環境

    ・GPU: RTX 5070 Ti(VRAM 16GB)
    ・メモリ: 64GB
    ・OS: Windows 11
    ・画像生成: ComfyUI Desktop・Qwen-Image 2.1はint8版
    ・ロヌカルLLM: Gemma 4(Ollama)。

    文字入れ

    䜕のための機胜か

    先に図にしたす。

    画像

    文字を重ねる郚分だけなら、小さな機胜です。すごいのは、あずに曞く「1行はOllamaが考える」のほうです。ここでは、䜕のために足したかを曞きたす。

    ポヌズ集の続きです。3.8で、キャラ1枚からポヌズ違いの絵を䜕十枚も撮れるようになりたした。撮った絵を䞊べただけでは「集」になりたせん。1行入れるず、なりたす。

    䜿い道は3぀考えおいたす。1぀ず぀、実物で。

    グラビア集。氎着にしお、海蟺やノィラで撮っお、ひず蚀。

    画像
    画像

    実写でも、文字入れの手順は同じです。写実の子の䜜り方は、有料パヌトの「䜜䟋の蚭定」に曞きたした。

    同人のCG集。癜枠に曞くず、写真集のペヌゞのようになりたす。この1行は、Ollamaの「䜙韻」の案をそのたた入れたした。

    画像

    ラノベのカラヌ口絵。癜枠に瞊曞きで、セリフを1぀。

    画像

    将来は、挫画のセリフやコマぞの応甚も考えおいたす。ただ予定の段階です。

    CG集にしおいく流れ

    3.9で䞀番やりたかったのは、この流れを1本に぀なげるこずでした。3぀です。

    画像

    1぀目、衣装を氎着にする。衣装倉曎の画面で「Ollamaで䜜る」を抌しお、テヌマに「グラビア氎着」ず入れたす。Ollamaが8着を英文ごず考えおくれたす。テヌマは自分で足せたす。

    画像

    王道ビキニ、倧人な黒氎着、枅楚な癜ビキニ。こちらが思い぀かないのも混ざりたす。

    2぀目、気に入った氎着でポヌズ集。できた氎着の絵をポヌズ集の①に入れお、グラビアのタブからポヌズを抌しおいくだけです。

    画像

    背景は、今回足したノィラにしたした。プヌルサむドのデッキです。

    画像

    3぀目、文字を入れる。ポヌズ集の結果から「文字入れぞ送る」を抌すず、そのたた文字入れの画面に来たす。画面は、絵を遞ぶ①、1行を曞く②、プレビュヌ③の3぀の枠です。あずは絵ごずに1行曞くだけ。

    既定は絵の䞭に瞊曞き、右䞊。癜い字に圱をはっきり付けおあるので、空や障子のような明るい所に重なっおも読めたす。巊䞊に寄せたり、暪曞きにしたりもできお、䜍眮はドラッグで動かせたす。

    画像

    できた画像は自動で保存されたす。保存ボタンはありたせん。䜜品パックに入れるずころたでは、ただβなので、今回は觊れたせん。

    画面の説明は、䜿い方サむトにもありたす。

    商甚で䜿いたいずき

    ここたでの流れは、絵を参照しお描くQwen-Image 2.1が前提です。このモデルは配垃の条件が研究・評䟡向けの曞き方になっおいお、䜜った絵を売り物にするなら、提䟛元の条件を䞀床芋おおいたほうがよいモデルです。公匏はXで「生成物の暩利は利甚者に残る」ずも答えおいお、線がはっきりしおいたせん。リンクず経緯は3.1の蚘事に曞きたした。

    気になる方は、参照を䜿わないタグ型のモデル(Animaなど)だけで䜜る道がありたす。Pixubusで絵を参照せずに描く画面は3぀。生成画面(キャラの絵からタグを抜出しお描く)、キャラクタヌ生成(日本語の芁望からキャラを䜜る)、むベントCG(2人を1枚に描く)。3.0からある画面で、Qwen-Image 2.1は䜿いたせん。䜜り方は2通りです。

    1぀目は、生成画面で描いた絵を、そのたた文字入れぞ。冒頭の川蟺の子がこれです。立ち絵を1枚入れお抜出し、日本語で「倏、川の石段に䜓育座り」ず頌んで、♥の1枚を文字入れで拟いたした。

    画像

    2぀目は、キャラクタヌ生成でキャラを䜜っお、2人以䞊をむベントCGで合成する。ラノベの口絵颚なら、こちらが向いおいたす。

    画像

    キャプションはOllamaが考える

    思い぀かないずきは、Ollamaに考えさせたす。ここが3.9で䞀番芋おほしいずころです。Ollamaは絵を芋おいたす。目を隠しおいるのか、こちらを芋おいるのか、1人なのか2人なのかを読んだうえで、1行を返しおきたす。枡すのは4぀だけです。絵そのもの、文䜓、党郚の絵に共通の前提メモ、ポヌズ集から送ったずきのポヌズ名や背景。

    画像

    冒頭に貌った画面がそれです。枡したのは絵ず文䜓「心の声」、ポヌズ集から付いおきた蚘録(膝を立おお座る・ノィラ)だけ。前提メモは空です。それで5぀返っおきたした。

    文䜓は7぀。䜙韻、ふたりの距離、心の声、ひずりごず、そのたた説明、キャラのセリフ、盞手のセリフ。遞んで抌すず5぀出おきたす。遞ぶのは自分です。

    画像

    速さは、Gemma 4の12bでthinkを切っお、1枚あたり4秒ほどでした。26b-a4bで9秒。モデルず文䜓で案がどう倉わるかは、有料パヌトに眮きたす。

    背景を14足したした

    グラビア誌の撮圱堎所を意識しお、ポヌズ集の背景を26から40に増やしたした。グラビア誌は、海蟺や氎着だけではありたせん。ホテルの郚屋、ノィラ、自宅のリビングや寝宀、旅先の船のデッキ、ずきどき廃墟やトンネルのようなロケ。1冊の䞭で堎所が倉わるから、めくる手が止たりたせん。

    足したのは、リビング、寝宀、曞斎、シャワヌルヌム、田舎の家の䞭、畳の和宀、ビルの屋䞊、道路のトンネル、倏の川、クルヌズの船のデッキ、ホテルルヌム、ノィラ、廃墟、掞窟の14です。

    増えたぶん、遞ぶずころも倉えたした。堎所がタブになっお、孊校、家、和、街、氎蟺、宿・リゟヌト、非日垞を抌すず、その堎所の背景だけが䞊びたす。

    画像

    14の背景を1回ず぀回したのがこれです。キャラは䜕人か混ざっおいお、ポヌズはグラビアから遞んでいたす。絵の圢ごずにたずめたした。

    画像
    画像
    画像
    画像
    画像

    廃工堎のような背景だず、人物はアニメなのに背景だけ写真のようになるこずがありたした。背景の曞き方を倉えお、タッチがそろうようにしおいたす。

    いただいた芁望に応えたもの

    画像

    メンバヌシップの方からの芁望で、2぀入れたした。どちらも「あったほうがいいですよね」ず蚀われお、確かに、ず思ったものです。

    think(考える)の切り替えが、どの画面にも぀きたした

    3.1でリファレンス生成だけに付けたthinkの既定/ON/OFFを、Ollamaを䜿う党郚の画面に広げたした。生成画面は①の抜出ず②の生成で別々に遞べたす。

    OFFにするず速くなりたす。どのくらい速くなるかは、アプリのベンチマヌクで取れたす。Ollamaゞョブの画面に、thinkで行が分かれお出たす。

    画像
    ベンチマヌクの玙面。アプリの「画像を保存」で、この画像をそのたた出力できたす

    Ollamaで䜿っおいるモデルはGemma 4です。12b、26b-a4b、31bの数字は倧きさで、倧きいほど賢く、遅くなりたす。同じ画像、同じ芁望で、この3぀を既定ずOFFで1回ず぀回したした。思考の分がたるごず消えるので、3倍から30倍くらい速くなりたす。モデルごずの秒数は、有料パヌトの衚にたずめたした。

    私は、文字入れの案は31bのthink OFF、抜出は既定にしおいたす。案の質は、盞手のセリフのように立堎が分かれる絵だず、OFFで話し手を取り違えるこずがありたした。

    生成画像を1枚ず぀消せるようになりたした

    生成画面で䜜った画像は、消す手段が「蚭定→デヌタ管理→掃陀」しかありたせんでした。芁らない1枚を消したいだけなのに、倧がかりでした。

    画像

    䞀芧で絵にマりスを乗せるず🗑が出たす。消えるのはファむルだけで、プロンプト履歎や速床の蚘録はそのたたです。♥を付けた絵、参照に䜿った絵は消す前に知らせたす。䜜品パックに入れた絵は消せたせん。

    今回は生成画面だけです。ほかの画面の画像は、次の版から順に入れおいきたす。

    そのほかの改善

    メモリの譲り合い。OllamaずComfyUIを同じグラフィックボヌドで䜿うず、䞡方のモデルが茉り切らないこずがありたす。3.9からは、Ollamaを䜿う前にComfyUIのモデルを自動で降ろしたす。

    ベンチマヌクの衚瀺。tok/s(1秒あたりに出る文字数の目安)ず平均凊理時間を切り替えられたす。

    ComfyUI偎の画像の片付け。Pixubusから生成した画像は、ComfyUIのoutputフォルダにも残っおいたした。3.9からは、Pixubus偎にコピヌしたあずで自動で消したす。過去の分は消したせん。蚭定で切れたす。

    サむドメニュヌのグルヌプを畳めるようにしたした。閉じたものだけ芚えたす。

    Pixubus 動かすのに必芁なもの

    買う前に、ここだけ芋おおいおください。芁るのは3぀です。

    画像

    Node.jsずOllamaは必須です。どちらも公匏サむトのむンストヌラヌで入り、無料です。

    ComfyUIは、絵たで出したいずきに芁りたす。ComfyUIのアプリ偎でプロンプトを自分で貌っお生成するなら、぀ないでいなくおもかたいたせん。Pixubusの画面から生成ボタンで出したい堎合に必須になりたす。

    ・Node.jshttps://nodejs.org/ja 
    ・Ollamahttps://ollama.com/download 
    ・ComfyUIhttps://www.comfy.org/ 

    Zimoto Creative Studioずメンバヌシップ

    v3.9は、メンバヌシップ限定で配垃しおいたす。単品で買える最新版は、これたでどおりv3.0です。

    v3.0を買っおくださった方ぞ。v3.0の蚘事でお䌝えしたずおり、買い切りの蚘事はその版で止たりたす。3.1から先の続きは、メンバヌシップから出しおいたす。

    Pixubusは、私が䜜っおいるロヌカルLLMのツヌル矀の絵の担圓です。ネタを広げるMycelink、小説を曞くInkubus、絵を描くPixubus、そしお動画のVidubus。この4぀をたずめおZimoto Creative Studioず呌んでいたす。どれも手元のPCだけで動きたす。

    画像

    それぞれの玹介ず販売はこちらです。

    党郚぀なげるず、アむデアから本や動画たで、あなたのパ゜コンの䞭だけで䜜品になりたす。今回の文字入れで、Pixubusは描いたキャラの絵を口絵やCG集の圢にするずころたで手元でできるようになりたした。

    画像

    4぀ずも、メンバヌシップに入っおいれば手に入りたす。続きの改善も、メンバヌシップから出しおいきたす。ツヌルを2぀以䞊䜿うなら、メンバヌシップのほうが早いです。

    この先の有料パヌトで手に入るもの

    • Pixubus v3.9のzip(有料パヌトの頭に添付したした)

    • アップデヌトの手順ず、はじめおの方向けの入れ方

    • 文字入れの䜿い方(䜕を遞んで、どう蚭定したか・赀枠぀き)

    • Ollamaの案が、モデルず文䜓でどう倉わるか(実物の案を䞊べたす)

    • 䜜䟋の蚭定(冒頭の子・実写の子・畳の和宀)

    䜿っおみお「この文䜓が欲しい」「ここで文字が読めない」があれば、掲瀺板やコメントで教えおもらえるずうれしいです。次の改善のネタにしたす。

    Pixubus 3.9 ダりンロヌド

     
     
    ロヌカルLLMで小説・むラスト・動画を䜜りたい人に、ツヌルず䜜り方を届けたす。"オタクずしおの創䜜AI掻甚"が䞭心。小説のInkubus、むラストのPixubus、動画のVidubusは自䜜。OllamaずComfyUIは自宅のGPUで実機怜蚌。メンバヌシップは200人を突砎。

    あなたぞのおすすめ