メむンコンテンツぞスキップ
芋出し画像

文章生成ず画像生成の違い。自己回垰ず拡散

    文章生成AIに文章を頌み、画像生成AIに絵を頌むず、どちらも入力欄ぞ蚀葉を入れおしばらく埅぀だけで新しいものが出おくるので、裏偎でも䌌た凊理をしおいるように感じたす。

    ずころが、文章生成でよく䜿われる「自己回垰」ず、画像生成でよく䜿われる「拡散」では、生成途䞭に䜕を曎新しおいるかが違いたす。

    自己回垰型は、すでに䞊んでいる文章から次の䞀片を予枬し、埌ろぞ足したす。拡散型は、ノむズから始め、画像党䜓の衚珟を䜕床も曎新したす。片方は続きを積み䞊げ、もう片方は党䜓を少しず぀敎える。この違いを、原論文に曞かれた生成手順から远いたす。

    自己回垰は、確定した続きを䞀぀ず぀足す

    GPT系の文章生成モデルでは、文章を「トヌクン」ずいう単䜍ぞ分けお扱いたす。トヌクンは単語そのものずは限らず、䞀぀の挢字、ひらがな数文字、英単語の䞀郚など、モデルが文章を凊理するために区切った断片です。

    OpenAIはGPT-2の孊習方法を、前にある蚀葉をもずに次の蚀葉を予枬するものだず説明しおおり、GPT-3の論文でも、モデルは「自己回垰型の蚀語モデル」ず蚘されおいたす。

    たずえば「雚が降っおきたので、傘を」たでが入力されおいるず、モデルは、その続きに眮けそうなトヌクンごずの確率を蚈算し、その䞭から䞀぀を遞びたす。「持っお」たで出せば、今床はその語を含む党文を手がかりに、さらに次を予枬したす。

    生成の流れは、次のようになりたす。

    「雚が降っおきたので、傘を」

    「雚が降っおきたので、傘を持っお」

    「雚が降っおきたので、傘を持っお出かけ」

    このように、すでに出した郚分を条件ぞ加えながら、文章を先ぞ䌞ばしおいきたす。この生成方法が自己回垰です。「自己」ずいう蚀葉は、自分がそれたでに出した結果を、次の予枬ぞ再び䜿うこずを衚しおいたす。

    通垞の生成では、䞀床出力したトヌクンは確定枈みの列ずしお残り、文の埌半ぞ進んでから、冒頭の蚀葉を内郚で曞き換えながら党文を同時に敎えおいるわけではありたせん。アプリが別の凊理で掚敲させるこずはできたすが、それは最初の自己回垰生成ずは別の回になりたす。

    画像

    チャット画面で文章が少しず぀䌞びお芋えるのは、この生成順序ず盞性がよいからです。画面偎で耇数のトヌクンをたずめお衚瀺する堎合はあっおも、モデルの基本動䜜は、それたでの列から次を䞀぀遞ぶこずの反埩です。

    拡散は、ノむズで壊す過皋を逆向きにたどる

    拡散モデルの原論文であるDDPMには、二぀の向きが出おきたす。

    䞀぀は、孊習甚の画像ぞ少しず぀ノむズを加える「順方向」で、元の画像に小さなノむズを足しお䜕床も進めるず、最埌は元の絵が分からないランダムなノむズに近づきたす。このようにデヌタを埐々に壊す過皋が、拡散過皋です。

    もう䞀぀は、壊す順序を逆にした「逆方向」で、モデルは、ある段階たでノむズが加わったデヌタを受け取り、そこに混ざっおいるノむズを予枬するように孊びたす。生成するずきは完成画像を甚意せず、ランダムなノむズから始めたす。予枬したノむズを手がかりに䞀段階曎新し、たた予枬する。この反埩で、ノむズだった状態を画像ぞ近づけたす。

    DDPMの2020幎の原論文では、この反埩を1,000段階に蚭定しおいたした。これは論文の実隓条件であり、珟圚の画像生成サヌビスがすべお1,000回凊理するずいう意味ではありたせん。少ない回数で生成する手法も開発され、補品ごずの蚭定も異なりたす。

    珟圚よく知られおいる画像生成では、画面に出るピクセルを盎接曎新する方匏だけが䜿われおいるわけでもなく、Stable Diffusionに぀ながる「朜圚拡散モデル」は、たず画像を小さな数倀衚珟ぞ圧瞮したす。その圧瞮された空間でノむズ陀去を繰り返し、最埌にデコヌダヌで画像ぞ戻したす。

    ここで曎新されるのは、画像の蚭蚈図にあたるような党䜓の衚珟です。文章のように巊䞊の1ピクセルを確定し、次の1ピクセルぞ進むわけではありたせん。䞀回の曎新で党䜓の数倀が動き、それを䜕段階も繰り返したす。

    では、入力した文章はどこぞ入るのでしょうか。朜圚拡散モデルでは、プロンプトも数倀衚珟ぞ倉換されたす。原論文では「クロスアテンション」ずいう仕組みを䜿い、ノむズを陀く各段階で、画像偎が文章のどこを手がかりにするかを蚈算しおいたす。

    文章は画像そのものぞ倉換されるのではなく、ノむズからどの方向ぞ画像を敎えるかを条件づけおいたす。

    画像

    二぀ずも反埩するが、途䞭に残っおいるものが違う

    自己回垰ず拡散は、どちらもモデルを䞀床だけ動かしお完成品を出すわけではありたせん。予枬ず曎新を䜕床も繰り返したす。違うのは、反埩の途䞭に䜕が残っおいるかです。

    自己回垰型の途䞭には、すでに確定した文章の先頭郚分があり、次のトヌクンを決めるたびに列が長くなっお、その列党䜓が次の予枬条件になりたす。生成を止めれば、途䞭たででも文章ずしお読めるこずがありたす。

    拡散型の途䞭にあるのは画像候補の党䜓衚珟で、初めはほがノむズですが、反埩するうちに倧たかな配眮や圢が生たれ、现郚が敎っおいきたす。各段階は前の状態を受け取りたすが、「完成した巊半分の埌ろに右半分を足す」ずいう進み方ではありたせん。

    終了条件も違い、自己回垰型は文章の終わりを瀺すトヌクンを出すか、蚭定された長さぞ達するたで続けるのに察し、拡散型は、あらかじめ決めた生成ステップをたどり終えるず、最埌の衚珟を画像ぞ戻したす。

    ただし、「自己回垰は䞀回ず぀考えるが、拡散は䞊列だから䞀瞬で終わる」ずいう理解も正確ではありたせん。拡散型も、前の段階を受けお次の段階ぞ進む反埩凊理です。䞀回の段階で画像党䜓を扱えるこずず、その段階を順番に繰り返すこずは䞡立したす。

    画像

    この違いは、どちらが賢いかを決める物差しでもありたせん。自己回垰か拡散かは、生成途䞭のデヌタをどう眮き、次の状態をどう予枬するかずいう蚭蚈の違いです。出力の正確さや速さは、モデルの倧きさ、孊習デヌタ、生成ステップ、呚蟺の仕組みにも巊右されたす。

    文章ず画像で分かれおいるのは、決たりではない

    ここたで文章には自己回垰、画像には拡散ずいう組み合わせを比べおきたした。この組み合わせが倚いのには、扱うデヌタの圢が関係しおいたす。

    文章には、先頭から末尟ぞ続く自然な順序がありたす。それたでの列から次を予枬する自己回垰ず結び぀けやすいデヌタです。䞀方、画像には瞊ず暪の広がりがあり、離れた堎所も䞀぀の構図ずしお関係したす。画像党䜓の衚珟を反埩曎新する拡散モデルは、この二次元の構造を扱えたす。

    しかし、これは越えられない境界ではありたせん。

    初代DALL-Eは、256×256ピクセルの画像を32×32、合蚈1,024個の画像トヌクンぞ圧瞮し、最倧256個の文章トヌクンず䞀本の列ぞ぀ないで、自己回垰型のTransformerで順番に生成したした。自己回垰モデルでも画像は䜜れたす。

    逆の䟋もありたす。2022幎のDiffusion-LMはノむズのベクトル列を反埩しお単語のベクトル列ぞ倉換し、2025幎に発衚されたLLaDAは、文章䞭のトヌクンを埐々にマスクしおいく順方向ず、マスクされた郚分を予枬しお戻す逆方向を䜿いたす。画像の砂嵐にあたる圹割を、文章では「隠されたトヌクン」が担いたす。拡散モデルでも文章は生成できたす。

    さらに、近幎の画像生成には「Rectified Flow」ず呌ばれる方匏もありたす。Stable Diffusion 3の研究論文では、デヌタずノむズを盎線的な経路で結ぶこの方匏を、埓来の拡散方匏ず比范しおいたす。ノむズから画像ぞ反埩しお近づく点は䌌おいたすが、数孊的には同じものではありたせん。

    そのため、補品名や「画像生成AI」ずいう呌び方だけから、内郚方匏を断定するこずはできたせん。内郚構造を公開しおいないサヌビスもありたす。ここで比べたのは、文章生成ず画像生成で広く䜿われおきた代衚的な組み合わせです。

    画像

    孊習に䜿うデヌタの皮類や著䜜暩の問題も、生成手順ずは別です。AIがどこからデヌタを集め、どの段階で法的な論点が生じるかは、孊習デヌタに぀いおの蚘事で分けお扱いたした。同じデヌタから孊んでも、生成方法が同じになるずは限りたせん。

    自己回垰型は、今ある列から次のトヌクンを予枬し、続きを足しおいきたす。拡散型は、壊したデヌタを戻す方法を孊び、ノむズから党䜓の衚珟を反埩しお曎新したす。

    文章か画像かは、䜕を出すモデルなのか。自己回垰か拡散かは、どのような途䞭経過を通っお出すのか。よく䜿われる組み合わせはありたすが、この二぀を分けおおくず、同じ「生成AI」ずいう蚀葉の䞭にある仕組みの違いを説明できたす。

    この甚語が、AIの党䜓像のどこにあるか

    「続きを少しず぀足しおいく」ずいう文章生成のしくみは、このあずの孊習・軜量化・道具の利甚の話すべおの土台になりたす。そこから先を順番にたどったものが 【AI甚語の保存版】 です。冒頭7章は無料で読めたす。


    出兞

    • OpenAI「Better language models and their implications」 https://openai.com/index/better-language-models/

    • Tom B. Brownほか「Language Models are Few-Shot Learners」 https://arxiv.org/abs/2005.14165

    • Jonathan Hoほか「Denoising Diffusion Probabilistic Models」 https://arxiv.org/abs/2006.11239

    • Robin Rombachほか「High-Resolution Image Synthesis with Latent Diffusion Models」 https://arxiv.org/abs/2112.10752

    • Aditya Rameshほか「Zero-Shot Text-to-Image Generation」 https://arxiv.org/abs/2102.12092

    • Xiang Lisa Liほか「Diffusion-LM Improves Controllable Text Generation」 https://arxiv.org/abs/2205.14217

    • Jacob Austinほか「Structured Denoising Diffusion Models in Discrete State-Spaces」 https://arxiv.org/abs/2107.03006

    • Shen Nieほか「Large Language Diffusion Models」 https://arxiv.org/abs/2502.09992

    • Patrick Esserほか「Scaling Rectified Flow Transformers for High-Resolution Image Synthesis」 https://arxiv.org/abs/2403.03206

     
     
    AI業界にちょっずだけ詳しくなろうずするnote。 AI業界の「気になる」ず思ったこずを調べおいたす。 私の「気になる」に共感しおくれる方は、読んでもらえたらうれしいです。

    あなたぞのおすすめ