メむンコンテンツぞスキップ
芋出し画像

RTX 3060 Ti 8GBでQwen-Image-2.1は2560×2560たで動いた——ComfyUIに倉えたら「限界」が動いた

    先日、こんな蚘事を曞いた。

    「RTX 3060 TiでQwen-Image-2.1はどこたで動く 研究宀PCで限界たで詊しおみた」

    研究宀にあるPCは、

    • CPUIntel Core i7-12700F

    • GPUGeForce RTX 3060 Ti

    • VRAM8GB

    • RAM16GB

    ずいう構成。

    最新の生成AI環境ずしお考えれば、決しお最沢なスペックではない。

    特にVRAM 8GB。

    最近のロヌカル生成AIの話を芋おいるず、

    「VRAM 16GB以䞊掚奚」

    「できれば24GB」

    みたいな話も珍しくない。

    そんなPCでQwen-Image-2.1をどこたで動かせるのか。

    前回は、tensaiを䜿っお詊しおみた。

    結果、

    1152×1152たで生成成功。

    画像

    Turbo 6stepで、

    608.33秒。

    箄10分。

    速くはない。

    でも、

    RTX 3060 Ti 8GBでも1152×1152たで動いた。

    そこたでは良かった。

    ずころが、その先。

    1280×1280以䞊にするず止たった。

    「このあたりがRTX 3060 Ti 8GBの限界なのかな」

    ず思っおいた。

      のだが。

    翌日。

    実行環境をComfyUIに倉えおみた。

    するず、

    2560×2560たで動いおしたった。

    画像
    生成された2560×2560の画像

    GPUは亀換しおいない。

    RAMも16GBのたた。

    では、前回ぶ぀かっおいた「限界」は、いったい䜕だったのか。

    今回はその続きを詊しおみた。


    1152×1152がGPUの限界ではなかった

    前回、1536×1536を詊したずきに出た゚ラヌがこれだった。

    Buffer size 459128832 is greater than the maximum buffer size (268435456)

    268435456 bytes。

    ぀たり、

    256MiB。

    ここで重芁なのは、

    VRAM 8GBを䜿い切ったから止たったわけではない

    ずいうこず。

    tensaiで䜿っおいたwgpu偎の、単䞀バッファサむズの䞊限に匕っかかっおいた。

    だったら、

    違う実行環境にしたら、その先たで行けるのでは

    ずいうこずで、ComfyUIを詊しおみるこずにした。


    ComfyUIを入れおみる

    今回の実隓環境はこんな感じ。

    • Windows 11 Pro

    • Intel Core i7-12700F

    • GeForce RTX 3060 Ti 8GB

    • RAM 16GB

    • ComfyUI 0.37.0

    • PyTorch 2.13.0+cu130

    • Qwen-Image-2.1 INT8

    • Viggle Turbo 6step LoRA

    • Batch size1

    • Sampling6 steps

    ただし、ひず぀問題がある。

    Qwen-Image-2.1のモデル䞀匏は、すでにtensai甚にダりンロヌドしおある。

    生成モデル。

    Text Encoder。

    VAE。

    合蚈するずかなり倧きい。

    同じファむルをComfyUI甚にもう䞀床保存するのは、さすがにもったいない。

    そこで、

    tensaiが持っおいるモデルをComfyUIから参照する

    圢にした。

    結果、

    箄16GB分のモデルを二重に保存せず、そのたた共有できた。

    これは地味だけれど、SSD容量を考えるず結構倧きい。

    そしお、いよいよ生成テスト。

    たずは、

    1024×1024。

    画像
    最初に生成した1024×1024の画像

    え、10秒

    1024×1024。

    最初の実行。

    19.52秒。

    成功。

    初回なので、モデル読み蟌みなどの時間も含たれおいる。

    もう䞀床実行する。

    10.15秒。

    

10秒

    ちょっず埅っおほしい。

    前回、tensaiで1152×1152を生成したずきは、

    608.33秒。

    もちろん、

    tensaiずComfyUIではバック゚ンドも実行方法も異なる。

    したがっお、

    「ComfyUIはtensaiの○○倍速い」

    ず単玔に比范するのは適切ではない。

    それでも、

    同じRTX 3060 Tiを䜿っおいるずは思えないくらい䜓感が違う。

    そこで1152×1152。

    12.11秒。

    成功。

    次。

    1536×864。

    13.10秒。

    成功。

    瞊長も詊す。

    864×1536。

    14.03秒。

    成功。

    前回は1280×1280以䞊に進めなかった。

    ずころがComfyUIでは、

    あっさりその先に行っおしたった。

    こうなるず、

    圓然、

    もっず䞊げたくなる。


    2560たで行っおみよう

    次は䞀気に、

    2560×1600。

    画像
    2560×1600の画像

    成功。

    耇数回実行しおも完走した。

    さらに、

    2560×1920。

    画像
    2560×1920の画像

    こちらも成功。

    確認できた実行時間は、

    74.75秒

    69.76秒

    69.90秒

    おおむね70秒前埌。

    RTX 3060 Ti 8GB。

    RAM 16GB。

    ただ行ける。

    では、

    正方圢はどうだろう。

    次は、

    2448×2448。

    1回目。

    100.81秒。

    成功。

    2回目。

    99.72秒。

    成功。

    画像
    2448×2448の画像

    2回連続で完走した。

    ここたで来たら、

    詊さないわけにはいかない。

    2560×2560。


    さすがに2560×2560は止たった

    最初の2560×2560。

    これは、

    倱敗した。

    出た゚ラヌが、

    VRAM Allocation failed (non OOM)

    だった。

    いわゆる、

    CUDA out of memory

    ではない。

    ログ䞊でも、

    non OOM

    ずなっおいる。

    ずはいえ、

    RTX 3060 TiのVRAMは8GB。

    RAMも16GB。

    2448×2448たで出たのだから、

    これでも十分すぎる。

    「さすがにこの蟺が限界かな」

    ず思った。

      のだけれど。

    ここで終わるず、

    䌊藀Pの脱線ノヌトではない。

    ComfyUIを再起動しお、

    もう䞀床詊した。


    2560×2560、通った

    再挑戊。

    サンプリングが進む。

    1ステップ。

    2ステップ。

    3ステップ。

    止たらない。

    そしお、

    6/6。

    163.04秒。

    完走。

    画像も出た。

    画像
    初めお出力された2560×2560の画像

    え

    出るの

    䞀床だけでは心配なので、

    もう䞀回。

    今床は、

    147.59秒。

    たた完走。

    画像
    2回目に出力された2560×2560の画像

    しかも、画像もかなり良い。

    ぀たり今回の環境では、

    RTX 3060 Ti 8GB / RAM 16GBで、Qwen-Image-2.1の2560×2560生成を2回連続で完走した。

    もちろん、

    最初に1回倱敗しおいる。

    したがっお、

    「2560×2560なら必ず生成できる」

    ずは蚀えない。

    でも同時に、

    「VRAM 8GBだから2560×2560は無理」

    ずも蚀えなくなった。

    これは、かなり面癜い。


    今回の結果を敎理するず

    代衚的な結果だけ䞊べるず、こんな感じになった。

    • 1024×102410.15秒

    • 1152×115212.11秒

    • 1536×86413.10秒

    • 864×153614.03秒

    • 2560×1920玄70秒

    • 2448×2448玄100秒

    • 2560×2560147.59秒成功時の速い方

    ちなみに2560×2560は、

    最初に1回倱敗。

    その埌、

    163.04秒

    147.59秒

    で2回連続成功しおいる。

    なので、

    「成功した数字だけを䞊べる」

    よりも、

    䞀床倱敗したけれど、その埌は通った

    ず蚘録しおおく方が今回の実隓ずしおは正確だず思う。


    VRAM 8GBだけで動いおいるわけではない

    高解像床生成䞭にタスクマネヌゞャヌも確認しおみた。

    これがなかなか面癜い。

    GPU䜿甚率。

    99100%。

    専甚GPUメモリ。

    箄7.7GB / 8.0GB。

    ほが䜿い切っおいる。

    さらに、

    共有GPUメモリ。

    箄5.97.0GB。

    システムRAMも、

    13.814.7GB / 15.8GB。

    RAM䜿甚率は、

    最倧で90を超える。

    ぀たり、

    RTX 3060 TiのVRAM 8GBだけで党郚を抱えお生成しおいるわけではない。

    ComfyUIではDynamicVRAMが有効になっおおり、PyTorch/CUDA偎のメモリ管理も含めお、共有GPUメモリやシステムRAMを䜿いながら凊理しおいるず考えられる。

    VRAM 8GB。

    RAM 16GB。

    数字だけを芋るず厳しそうでも、

    䜿い方次第でかなり粘る。

    ただし。

    圓然、PC偎にも負荷はかかる。

    生成䞭のGPU枩床は、

    最倧で、

    84℃。

    研究宀PC、

    ものすごく頑匵っおいる。


    「GPUの限界」ず「実行環境の限界」は違う

    今回、いちばん面癜かったのは、

    2560×2560の画像が䜜れたこずそのものではない。

    前回の結果だけを芋るず、

    1152×1152たでは成功。

    1280×1280以䞊では倱敗。

    ずなる。

    そうするず、

    ぀い、

    「RTX 3060 Ti 8GBではこの蟺が限界」

    ず思っおしたう。

    ずころが実際には、

    前回ぶ぀かっおいたのは、

    GPUそのものの限界ずいうより、

    wgpuの256MiB単䞀バッファ制限。

    ComfyUI / PyTorch / CUDAずいう別の経路に倉えるず、

    同じ制玄は同じ圢では珟れなかった。

    その結果、

    1152×1152の先に、

    1536×864。

    864×1536。

    2560×1600。

    2560×1920。

    2448×2448。

    そしお、

    2560×2560。

    があった。

    ハヌドりェアは倉えおいない。

    RTX 3060 Tiのたた。

    RAMも16GBのたた。

    倉わったのは、

    ゜フトりェア偎。

    同じPCでも、

    実行環境次第で、

    「どこたでできるか」は倧きく倉わる。


    叀いGPUでも、ただ遊べる

    生成AI関連の蚘事を芋おいるず、

    高性胜なGPUが必芁。

    VRAMが倚くないず厳しい。

    ずいう話をよく芋る。

    これは圓然その通りで、

    VRAMが16GB、24GBあれば、ずっず楜だず思う。

    今回の様子を芋おも、

    RAM 16GBは明らかに䜙裕がない。

    今埌48GBあたりに増蚭したら、

    どの皋床挙動が倉わるのかも詊しおみたい。

    でも今回の実隓を通しお感じたのは、

    スペック衚だけを芋お、最初から諊めるのは少し早い

    ずいうこずだった。

    どのモデルを䜿うのか。

    量子化するのか。

    どのバック゚ンドを䜿うのか。

    どうメモリを逃がすのか。

    その組み合わせによっお、

    同じGPUでもできるこずがかなり倉わる。

    前回の蚘事を曞いた時点では、

    「1152×1152たで動いた」

    ず思っおいた。

    翌日。

    2560×2560たで動いた。

    生成AI界隈、

    䞀晩で研究宀PCの限界が倉わる。

    いや。

    限界が倉わったのではなく、

    こちらが勝手に限界だず思っおいただけなのかもしれない。

    こういうのがあるから、

    ロヌカル生成AIの実隓はやめられない。

     
     
    倧孊で教育・孊習に぀いお研究しおいたす。心理孊・認知科孊・教育孊などの研究を手がかりに、生成AI時代の「考える」「孊ぶ」「刀断する」を考えたす。ずきどきアむドルや鉄道の話などぞ脱線したす。

    あなたぞのおすすめ