
画像生成AIの進化史⑳Stable Diffusion
前回は、スコアベース生成モデルの拡散過程としてsub-VP-SDEとVE-SDEを紹介しました。
今回は少し方向を変えて、現在の画像生成AIアプリケーションで主流となっている「テキスト入力から画像を作るモデル」を取り上げます。ある文章を入力すると、そのイメージに沿った画像が返ってくる、そんな「言葉で操る」生成モデルです。
そこで今回は、Stable Diffusionを取り上げます。
これは以前紹介したLatent Diffusion Model(LDM)を土台に、テキストによる条件付けなどを洗練したオープンなモデルです。
では、言語を理解して画像を生成するモデルの仕組みを見ていきましょう。
LDMのおさらい
LDM以前の拡散モデル
拡散モデルの基本形としてよく知られているのが DDPM(Denoising Diffusion Probabilistic Model)です。
このモデルでは、まず順方向の過程として、元の画像に少しずつガウスノイズを加える拡散過程を考えます。この過程を通してステップを進めるたびに画像はぼやけ、やがて完全なランダムノイズになるように分散スケジュールを設定します。

逆方向の過程である生成過程では、ニューラルネットワーク(多くの場合U-Net構造)を使ってノイズを一歩ずつ取り除き、元の画像を復元していきます。
この両方向には確率的な関係があるため、各ステップにおけるノイズの予測さえできれば、生成過程によるサンプリングによって画像生成が行えるようになります。このため、実際の訓練においては逐次的なノイズ付加ではなく、ランダムなステップにおける画像の拡散を行い、そこにあるノイズを予測することを繰り返しモデルのパラメータを更新します。
この仕組みによって、高品質なサンプル生成が可能になりますが、特に高解像度の画像では計算負荷が非常に大きくなるという課題があります。
そこで登場したのがDDIM(Denoising Diffusion Implicit Models)でした。
DDIMでは生成過程(サンプリング経路)を再設計することで、DDPMを再訓練する必要なく、少ないステップ数でも高品質な画像生成を実現しました。
しかし、それでも処理はピクセルレベルで行われるため、高解像度になるほど計算が重くなる問題は依然として残っていました。
潜在空間の拡散モデル
この高解像度時の計算負荷という壁を乗り越えるために考えられたのが、LDM(Latent Diffusion Models) です。

LDMでは、まず VAE(Variational Autoencoder)を使って画像を低次元の潜在表現に圧縮します。
潜在空間は、元の画像の意味や構造を保ちながら次元を大幅に減らせるため、拡散モデルの計算コストを劇的に削減できます。例えば、画像を 512×512 の潜在空間(通常 64×64×4)に圧縮するといった具合です。
VAEを扱った以前の記事での実験では、28x28 =784 次元のMNISTの手書き数字画像を2次元の潜在空間に圧縮して学習と生成が可能であることを示しました。
よって、拡散過程は圧縮後の潜在表現に対してノイズを加える過程となります。また、生成過程も潜在表現におけるノイズを取り除く逆拡散過程となっています。U-Net構造によるノイズ予測の学習も潜在空間で行われます。
推論時には、ランダムノイズから潜在空間で画像の特徴を段階的に復元し、最後にVAEのデコーダーでピクセル空間へと変換します。
このように効率性と高画質を両立させ、高解像度画像の生成でも、必要な計算資源を大きく抑えることが可能になりました。
クロスアテンション層
LDMは潜在空間で効率よく拡散を行えるだけでなく、外部の情報で生成をコントロールできる仕組みも備えています。それを担うのがクロスアテンション(Cross Attention)です。
クロスアテンションは「生成途中の潜在表現」と「外部から与えられた情報」を結びつける仕組みです。たとえば、他の画像、セマンティックマップ、テキストなどを埋め込みベクトルに変換することで、アテンションの計算に組み込んでいきます。
このアテンションの計算では、画像の潜在表現を「クエリ」(Query)とし、外部からの条件情報を「キー」(Key)と「バリュー」(Value)として扱います。つまり、生成途中の画像の潜在表現がどの条件情報をどのくらい参照すべきかを学習します。
このため、クロスアテンション層は「画像の特徴を条件情報に基づいて修正」する役割を果たすようになります。
Stable Diffusionの特徴
実用的でありオープン
LDM自体は「任意の条件付け」を可能にするフレームワークですが、Stable Diffusionはこの枠組みを利用しテキスト条件付けに特化させました。言葉でイメージを伝えるだけで、多様な絵や写真風の画像を作り出せます。
ただし、それだけでなく「Image to Image」(画像から画像)という機能もあり、既存の画像に対してテキスト指示で加工や変換を行い、新しい画像を作成することも可能です。こういった仕組みの土台はLDMから来ています。
OpenAIのCLIPによってテキストプロンプトが埋め込みに変換され、外部条件となることで言葉の意味が画像生成に反映されるようになっています。
Stable DiffusionはLAION-5Bなどの大規模データセットを用いて訓練されました。このため、テキストから画像への条件付けの汎用性が高く、プロンプトを工夫するだけで多様な表現が可能になりました。
LAION-5Bは「Large-scale Artificial Intelligence Open Network dataset, 5B samples」の略称です。インターネットから収集した約50億件(5 Billion)の「画像–テキスト」ペア(キャプションや代替テキスト)を含むオープンに利用可能な大規模データセットです。
また「誰でも実行可能な形」でモデルの重みを公開しましたことで、当時は研究コミュニティやクリエイターに急速に普及しました。
Hugging Faceにてモデルの重みを取得することができます。
Stability AI創業の背景
Stability AIは、数学者で元ヘッジファンドのマネージャーのEmad Mostaque氏が中心となって、2019-2020年頃に設立されました。
Wikipediaには次のように書かれています。
Mostaque氏は、AIに対してオープンソースのアプローチを提唱しています。この姿勢は、一部からは「イノベーションの加速やAI技術の民主化につながる」と支持されています。一方で、「十分な安全策なしにオープンソースのAIモデルを公開することは、規制上の反発や社会的に望ましくない結果を招く可能性がある」と懸念する声もあります。
Mostaque advocates for an open-source approach to AI.[3] Some have supported this approach as this could lead to increased innovation and democratization of AI technology, while others have expressed concerns about the potential risks of releasing open-source AI models without adequate safeguards, citing possible regulatory backlash and negative societal consequences.
つまり、Stable Diffusion を生み出す土台として、オープンアクセスのAI技術を民主的に普及させるという理念が設立の出発点にありました。
こうして、2022年8月には、Stable Diffusionが正式にリリースされ、オープンソースとして公開されたことで世界的な注目を集めました。
しかしその後、企業内部での対立や財務問題、投資家からの圧力などの影響を受け、2024年3月にMostaque氏はCEOおよび取締役を辞任しました。
バージョン2での変更点
2022年11月24日に公開されたStable Diffusion 2のモデル構造は、バージョン1系と同様の「LDM+U-Net」という構成を踏襲しています。細かい点で、いくつかの設計がアップグレードされています。

バージョン2ではLAION が開発した「OpenCLIP」(CLIP のオープン版)を搭載した新しいテキストエンコーダを採用しています。以前の CLIP に比べて、テキスト–画像対応の精度と生成品質が大きく向上しました。
また、標準的な出力解像度として、「512×512」に加えて「768×768」の高解像度生成が可能になりました。低解像度の画像を最大4倍の解像度にする「Upscaler Diffusion」モデルが追加されました。

さらに、MiDaSというモデルを使って入力画像の深度マップ(Depth Map)を推定し、これを条件として画像生成を行う depth2img モデルが導入されました。これは、空間構造を保ちながら創造的な変換を行う画像生成モデルです。
インペインティング(Inpainting、欠損部の補完)の機能も強化され、テキスト条件によって入力画像の部分を文脈に沿って自然に置き換える精度が向上しています。
Stable Diffusion XL(SDXL)
2023年7月26日には、Stable Diffusion XL 1.0 がリリースされました。GitHub や DreamStudio を通じてオープン化され、さらにAWS Bedrock などにも展開されました。
論文は、「SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis」です。
SDXLの大きな特徴は、「高解像度の画像を無理なく扱えること」と「テキストの理解力が大幅に向上したこと」です。
従来のStable Diffusionでは、1024×1024クラスの解像度で高品質な画像を出力するのは容易ではありませんでした。そこでSDXLは、ベースモデルで大まかな構造を生成し、その後リファイナーモデル(Refiner Model)で細部を磨き上げる二段階方式を導入しています。
以下は、同じプロンプトに対する各バージョンのStable Diffusionによる生成画像の比較です。

左「フランス皇帝ナポレオンの格好をした猫がチーズを持っているプロパガンダポスター」
右「火を吐くドラゴンのクローズアップ、 シネマティックショット」
明確にSDXLがよりプロンプトを理解し優れた画像生成をしているのがわかります。
また、公式ライセンスで商用利用が許可されているため、商用利用やカスタムモデル開発の基盤として現在でも広く利用されています。
バージョン3での進化
2024年初頭に早期プレビューが発表されたStable Diffusion 3は、それまでのバージョンから大きく進化したモデルです。
論文は「Scaling Rectified Flow Transformers for High-Resolution Image Synthesis」(高解像度の画像合成のためのRectified Flow Transformerのスケーリング)です。
アーキテクチャの刷新
Stable Diffusion 3 では、従来の U-Net ベースの拡散モデルから転換し、Multimodal Diffusion Transformer(MMDiT)を採用しました。
MMDiT では、テキストと画像の表現をそれぞれ独立した重みで処理しつつ、Transformer のアテンション層の中で両者を融合させる仕組みになっています。
また、このアーキテクチャは、論文「Scalable Diffusion Models with Transformers」(Transformerを用いたスケーラブルな拡散モデル)で発表されたDiffusion Transformer(DiT)を基盤としています。
簡単に言うと、DiT は、これまで拡散モデルで主流だったU-NetをVision Transformer(ViT)に置き換えたものです。つまり、ノイズ予測をViTが行います。自己アテンション機構を利用し、画像内のグローバルな関係性をより効果的に捉えることを意図しています。
MMDiTでは、画像側とテキスト側でそれぞれ別々の埋め込みをまず生成し、それらを同じTransformerの入力として処理します。このため、自己アテンション内で画像とテキスト両方の埋め込みが処理されます。
これまでの Stable Diffusion(U-Netベース)では、テキスト情報はクロスアテンション層を介して画像処理に「後から注入」されていました。
つまり、画像の潜在表現を処理する流れは別にあって、その途中で「テキスト埋め込みを参照して重みづけを行う」仕組みになっていました。
このため、MMDiTでは、画像とテキストが最初から同じTransformerに入力されるため、追加のクロスアテンション層は不要になり、構造的にもシンプルです。
イメージとしては、テキストと画像が「同じ空間で対話」するような感じになり、以前のクロスアテンションのように「片方向に条件情報を流す」よりも、情報のやり取りにおいて柔軟かつ双方向的な関係性を学習しやすくなります。
よって、より複雑な依存関係や文脈を捉えやすくなったことで、生成品質や多様な条件付けへの対応力が高まったと考えられます。クロスアテンションとの明確な数値的比較を網羅的に示した研究は限定的ですが、実際の生成結果からも効果は見て取れます。
複数エンコーダの導入
SD3 では、従来のCLIPテキストエンコーダだけを使うのではなく、複数の言語モデル(テキストエンコーダ)を組み合わせています。
これまでのCLIP系のテキストエンコーダは「画像と対応づけられた短いテキスト」には強いですが、長文や複雑な文脈理解は苦手です。よって、T5系の言語モデル(Google 提案の大規模テキストエンコーダ)T5-XXLを併用しています。


つまり、Stable Diffusion 3では、CLIPとT5などの複数のテキストエンコーダを「同じプロンプトに対して並列的に適用」します。そして、それぞれのエンコーダから得られた埋め込みベクトルを連結して、Transformerへ入力します。
この構造により、CLIPの視覚に強い特徴量、T5の言語理解に強い特徴量がTransformerの自己アテンションで自然に融合されます。

プロンプト「いたずら好きなフェレットが、遊び心のある笑顔で、カラフルなキャンディーに囲まれた大きなガラス瓶に体を押し込んでいます。瓶は居心地の良いキッチンの木のテーブルに置かれ、近くの窓から暖かい日差しが差し込んでいます」
上図では、左右両方とも視覚的な特徴は捉えていますが、右のT5無しの場合は「大きなガラス瓶に体を押し込んでいます」と言う文脈がうまく捉えられていません。
このようにMMDiTでは、従来のバージョンでは難しかった「より自由な画像とテキストの組み合わせ」が可能となっています。
Rectified Flowの仕組み
従来の拡散モデルは、データ分布からノイズ分布へ至る「拡散過程」と、その逆の「生成過程」を確率微分方程式(SDE)を通して理解できます。
拡散過程(フォワードSDE)はデータにノイズを加えて分布をランダムに変化させ、生成過程ではリバースSDEを近似してノイズを取り除き、データを生成します。
ただし、リバースSDEは複雑な非線形関数(スコア関数)に依存するため、近似のためには多くの細かいステップが必要となり、計算コストが高くなりがちです。
しかし、拡散過程をもっとシンプルに、データとノイズを直線で結ぶ経路として考えることもできます。
元データを、ランダムに選んだノイズをとすると、時刻におけるノイズ付きデータは、次のように表現できます。
の時は、元データ
の時は、完全なガウスノイズ
つまり、従来のように少しずつノイズを加えるのではなく、最終的なノイズを先に決め、その直線上の途中点をとして表現しています。
ノイズ自体はランダムなので確率的ですが、与えられたとに対しては直線的な経路を一意に定めることができます。よって、この表現は「確率的要素を含む決定論的な式」と言えます。
この拡散のアプローチがRectified Flowですが、こうしてみるとスコアベースのSDEと異なるように見えます。しかし、実際はスコアベースの拡散モデルにおけるSDEを特別な形に置き換えたものと位置づけられます。
これは両辺をで微分すると理解しやすいです。
つまり、フォワードSDEにおけるドリフト項がであり、拡散係数はゼロになっている場合に相当します。
つまり、モデルが学習すべきなのは「ある状態と時刻を与えられたときに、その傾きを予測すること」です。
この考え方は「Flow Matching」とも呼ばれ、従来のスコアベース拡散モデルの理論的枠組みの中に含まれ、「拡散項がゼロ」の特殊なケース(確率的でない微分方程式)として扱われます。
生成過程(逆方向)では、入力はノイズ画像と時刻です。ここからその時点の「速度ベクトル」(変化の向きと大きさ)を予測できればよいのですが、元のクリーンな画像は未知です。そこで従来の拡散モデルと同じく、ニューラルネットワークを使ってその速度を近似的に学習します。
この「速度の学習」は、スコア関数を学習することと本質的には同じ意味を持ちます。スコア関数は対数確率密度の勾配であり、生成過程で「どの方向にデータを動かすか」を示します。
違いは、スコア関数が分布の形の局所的な変化を表すのに対し、Rectified Flowの速度ベクトルは経路上の点(状態)の移動速度を表している点です。
さらに実際の生成では、サンプリングごとに新たなノイズが加わります。そのため経路は必ずしも直線にはならず、同じ条件から出発しても多様な画像が生み出されます。
しかし人気はイマイチ?
Stable Diffusion 3(SD3)は、アーキテクチャの刷新やRectified Flowの導入など大きな進化を遂げました。しかし現在でも、実際に広く使われているのは前世代のSDXLの方のようです。
その理由の一つは、計算リソースの重さです。
SD3は8億〜80億パラメータ規模のモデル群を持ち、用途に応じて選択できる柔軟さはあるものの、高品質な画像を得るには非常に大きな計算資源を必要とします。
これに対し、SDXLは「ベースモデル約35億」+「リファイナー約31億」(合計66億)という規模ながら、効率的な2段階構造で比較的少ないリソースでも高品質な生成が可能とされています。
さらに、公開範囲やライセンスをめぐる不透明さがあり、オープンソース・コミュニティが積極的に移行しにくい状況です。
例えば、非商用利用は無料のままですが、商用利用に関しては収益規模や報告義務など条件が複雑で、特に大規模利用者は有償ライセンスが必要になる点で混乱が生じています。
また、以前公開されたモデル(SD1.5やSDXLなど)は「取消不能」なライセンスで公開されているのに対し、SD3など後発モデルでは「取消可能」なライセンスが使われています。これにより、利用可能範囲や規約変更の適用範囲が不透明になり、過去モデルと新モデルの扱いに差異があり、利用者間で混乱が生じています。
明確な証拠はないものの、リリース期にちょうど創業者のEmad Mostaque氏がCEOを辞任したことも、開発体制や方向性への不安をコミュニティの間で強めた可能性があると推測できます。
こうした複合的な要因から、SD3は技術的な注目度に比べると利用の広がりは限定的となっているようです。
次回予告
次回は、このシリーズの最終回です。
Stable Diffusionと並んで注目されてきたDALLE 2、Imagen、Midjourneyを取り上げます。すべてがオープンに公開されているわけではありませんが、代表的な画像生成モデルを比較することで、現在の生成AIの全体像を振り返ります。
お楽しみに!