
画像生成AIの進化史⑯潜在拡散モデル(LDM)
前回までの記事では、DDPMを通じて、ピクセル空間における拡散モデルの原理を理解し実装を行いました。また、DDIMによって、DDPMの推論を高速化できることもわかりました。

しかし、高解像度の画像を直接ピクセル空間で扱う拡散過程は、画像のサイズによって計算コストとメモリ使用量が急激に増大するという課題が残ります。
そこで2021年に登場したのが潜在拡散モデル(Latent Diffusion Models、LDM) です。LDM は変分オートエンコーダ(VAE)によって圧縮された潜在空間で拡散を行うことで、計算効率と生成品質を両立させるアプローチを実現しました。
論文著者によるソースコードは、https://github.com/CompVis/latent-diffusionにあります。
また、LDMのアイデアは、より抽象的で意味的な表現を操作することで高品質な画像生成を可能にした点で興味深いです。
背景と動機について
まず、簡単におさらいしつつ、LDMが生まれた背景や動機を見ていきます。
計算コストとメモリの壁
拡散モデルは、ノイズの付与と除去を多数の段階に分けて行うことで、高品質な画像生成を実現します。DDPMはその代表例で、ガウスノイズを徐々に加えた学習データから、逆過程(ノイズ除去による復元)を学習します。また、DDIMはこの逆過程において、より少ないステップで推論可能にする改良版です。
しかし、これらのモデルはあくまで「ピクセル空間を直接的に扱う」ため、高解像度画像では計算コストとGPUメモリ消費が膨大になります。
低次元の潜在表現を利用
この問題を解決する一つのアプローチは、扱うデータ量を減らすことです。つまり、低次元に圧縮した上で拡散・生成過程を行うという考え方です。
その手法として、変分オートエンコーダを使うことで、画像をより圧縮された潜在表現に変換することが可能です。この潜在空間は、ピクセル空間よりも次元がはるかに小さく、拡散過程をこの空間で行えば計算コストを劇的に削減できます。
変分オートエンコーダ(Variational Autoencoder、VAE)は、入力画像を低次元の潜在空間にエンコードし、その潜在表現から元の画像を復元するニューラルネットワークです。つまり、画像にある重要な特徴を圧縮・復元することができます。
潜在空間で拡散モデリング
こうした背景を踏まえて提案されたのが、潜在拡散モデル(LDM) です。そのアイデアは非常にシンプルで、VAEで圧縮した潜在空間で拡散モデリングを行うというものです。
事前に訓練されたVAEを使って、入力画像を潜在ベクトルに変換
潜在空間で拡散モデルを学習(DDPMと同様な拡散と生成の過程)
画像生成:潜在表現を生成し、デコーダで高解像度の画像に変換
これによって、計算コスト・メモリ消費を大幅に削減できるのは当然ですが、さらに潜在表現が意味的情報を抽象化するため、より意味的整合性のある画像生成できるようになります。
また、テキストの埋め込みベクトルを潜在空間に組み込むことで、「文章を入力するとその意味に沿った画像を生成する」という条件付き生成が可能になります。
LDM構造の概要
画像空間と潜在空間
以下の図は、潜在拡散モデル(LDM)の全体的な構造を示しています。ピクセル空間から潜在空間への変換、拡散過程、条件付け、そして最終的な高解像度画像への復元まで、一連の流れが一目でわかります。

この図は、大きく3つ分かれています。
左側:画像空間(Pixel Space)
中央:潜在空間(Latent Space)
右側:条件付け(Conditioning)
また、拡散過程は上部の左から右へ、生成過程は下部の右から左へ進みます。
拡散過程:VAEのエンコーダによって画像を潜在表現に圧縮します。拡散過程によって最終的にはになります。
生成過程:から始まり、各ステップでU-Netによるノイズ予測が行われノイズが除去されていきます。最終的に潜在表現まで到達すると、VAEのデコーダによって画像空間へと変換されます。
DDPMと同様にランダムなステップへの拡散とノイズ予測を繰り返し訓練します。
条件情報と潜在空間
さらに、LDMでは「条件付け」(Conditioning)が行われます。これは上図の一番右側になります。ここでは、テキストや画像、セマンティックマップなど、異なるタイプの条件情報をモデルが理解できる潜在表現(埋め込みベクトル)に変換します。
図中ではまとめてと書かれていますが、実際にはそれぞれのデータタイプごとに対応するエンコーダが必要です。
テキスト:CLIPでテキストを埋め込みベクトルに変換
画像:特定の画像エンコーダで埋め込みを生成
セマンティックマップ :専用のCNNなどで潜在表現を取得
この条件情報は「と連結」か「クロスアテンション」かで使い分けされます。
例えば、下図のように左上のセマンティックマップを条件として風景の画像を生成する場合は、セマンティックマップを画像の潜在表現のチャネル次元に沿って連結(concat)し、一緒にU-Netへ渡されます。

つまり、セマンティックマップのように、最初から空間的な情報を持っている場合、そのマップの各クラスがチャネルとして表現され、(バッチサイズ, セマンティックチャネル数, 高さ, 幅) のようになり、画像の潜在表現にそのまま連結されます。この場合、サイズが同じである必要があります。
また、クロスアテンション層(Cross-Attention層)で条件情報を利用することもできます。
通常のアテンション層(自己アテンション層)が同じデータ内の関係(例えば、ピクセル同士や潜在変数の間での関係)を計算するのに対し、クロスアテンション層では内部のデータと外部からの条件情報との関係を計算します。例えば、あるステップでのノイズ付き潜在表現とテキストプロンプトの埋め込み情報との関係です。
オリジナルのTransformerは機械翻訳モデルであり、例えば日本語の入力文と英語の出力との関係をソース・ターゲットアテンションで処理していたのに似ていますが、ここではデータのタイプそのものが異なることもできます。
また、後で見るようにクロスアテンション層では「クエリは画像特徴、キーとバリューは条件情報」という方式になっており、条件からの情報を画像の特徴へとどのように取り入れていくのかを左右する仕組みになっています。
この場合の条件付けでは、サイズを合わせる必要はありません。テキストの埋め込みベクトルと画像の潜在表現との関係によって、以下のようにテキストから画像生成ができます。

上図の生成画像は、LAIONデータセットで学習したモデルによるものです。
二段の学習プロセス
潜在拡散モデル(LDM)では、学習が二段階に分かれています。最初の段階は、VAE(変分オートエンコーダ)による事前学習です。この段階で、高解像度のRGB画像をよりコンパクトな潜在空間にエンコード・デコードする能力を獲得します。次の段階では、潜在空間における拡散モデル学習が行われます。
VAEによる事前学習
エンコーダによる潜在表現への変換:VAEのエンコーダは、RGB画像を潜在表現に変換します。
エンコーダによる画像の縮小率を次のように表現します。
つまり、縦横ともに同じ比率で縮小することを意味します。論文では異なるで実験しており、潜在表現の次元を調整することで品質と計算コストのトレードオフを評価しています。
デコーダによる画像空間への復元:VAEのデコーダは、画像の潜在表現からRGB画像へと変換します。
に「〜」がついているのは、復元された画像が元の画像と完全には一致しないことを表現しています。エンコーダによる圧縮の際に、重要度の低い細部情報が失われる可能性があるためです。
VAE全体の学習目標:VAE全体の学習は次のように表現できます。
この復元画像が元の画像となるべく近くなるように学習が行われます。また、潜在変数の事前分布を標準正規分布に近づけるKLダイバージェンスの和を最適化します。
VAEにおける潜在変数の分布は、入力画像を条件として異なる平均と分散を持ちますが、条件なしの全体の分布(事前分布)として標準正規分布に近づけることで、画像生成をランダムノイズから行えるようになっています。
なお、VAEについてはこちらでも解説しています。
このVAEの学習は、拡散モデルを潜在空間で学習する前に完了させておく必要があります。なぜなら、拡散モデルは 潜在空間上のノイズ除去過程を学習するからです。つまり、VAEによる事前学習の目的は、画像空間と潜在空間の橋渡しを確立することにあります。
潜在拡散モデル学習
潜在拡散モデルと言っても、やっていることはDDPMやDDIMと同じ拡散過程と生成過程(ノイズ予測)です。つまり、基本的にはDDPM/DDIMと全く同じ数学的枠組みで進みます。
ただし、LDMならではの「特筆すべきポイント」がいくつかあります。
高解像度対応:計算負荷は小さく、より高解像度の画像に対応可能
クロスアテンション層の導入:外部からの情報を生成条件として扱える
「条件あり」「条件なし」の生成:同じU-Netで同時に学習(後述します)
1番の大きな違いは、ノイズ予測モデルが条件付きU-Netになったことです。「条件を満たすように」学習する仕組みはDDPM・DDIMにはありませんでした。
条件付きの損失は次のように表現できます。
:ノイズ予測モデル(U-Net)
:ノイズ付きの潜在表現
:時間ステップ
:条件情報(例:はテキスト、はその埋め込み)
:付加されたノイズ
よって、潜在変数を扱う以外で以前と異なるのは、U-Netが条件情報を取り入れるところです。ただし、条件がない場合も扱えるように、LDMのU-Netでは、通常のアテンション層とクロスアテンション層を切り替えられるようになっています。
U-Netと外部条件情報
DDPMのU-Netでアテンション層が使われた理由は、長距離にあるピクセル間の依存性を学習するためでした。潜在空間を扱うLDMでも同様の理由でアテンション層を使います。
それに加えて、外部条件を利用するためにクロスアテンション層も使うことができます。そのため自己アテンションだけの場合と、両方のアテンション層を使う場合があることになります。
自己アテンションのおさらい
通常の自己アテンションは次のような式で表現されます。
クエリ、キー、バリューは同じ画像の特徴から抽出
は、埋め込みの次元数
画像内の異なる要素間の依存性をモデリング
クロスアテンションの仕組み
条件情報を使う場合は以下のクロスアテンションを計算します。
Q は画像の特徴から
, は、条件情報の埋め込み(例えばテキスト埋め込み)から
例えば、文章をCLIPなどでエンコードし、その埋め込みをKey/Valueとして使用します。この場合、画像の特徴(Query)が条件情報(テキストの埋め込み)を参照して「どの情報を取り入れて生成するか」を学習することになります。
簡単にいうと、クロスアテンション層は「画像の特徴を条件情報に基づいて修正」する役割を果たします。
コードのイメージとしてはこんな感じです。
class CrossAttention(nn.Module):
def forward(self, z, c):
# z: 画像の潜在変数(特徴)
# c: 条件情報の埋め込み
Q = Linear(z)
K = Linear(c)
V = Linear(c)
attn = softmax(Q @ K.T) / sqrt(d)
out = attn @ V
return x + outここで、入力のcが0ならば、クロスアテンションがオフになります。
あるいは、次のように条件がNoneだったらクロスアテンションをスキップするというコードも可能です。
def transformer_block(z, c=None):
# 自己アテンションは常時必要
z = z + self_attention(z)
# クロスアテンションは条件情報がある時だけ
if condition is not None:
z = z + cross_attention(z, c)
# フィードフォワード
z = z + feedforward(z)
return z条件付きの学習データで訓練
拡散モデルを「条件付き生成」に拡張する場合は、「条件とターゲット画像がペアになったデータを使って学習する」というのが基本です。
テキスト条件付き生成
CLIPテキストエンコーダで埋め込みベクトルに変換し、U-Netの中間層でクロスアテンションで「意味」を注入し潜在表現に統合します。
学習データとしては、「画像とキャプションのペア」(LAIONデータセット、Web画像+altテキストなど)を使います。
セマンティックマップ条件付き生成
セマンティックマスクをCNN(畳み込み処理)などで特徴マップに変換し、チャンネル方向に結合(concat)して、U-Netへ入力します。これによって、位置情報が揃ったまま伝えられます。
学習データとしては、「画像とセマンティックマスクのペア」(Cityscapes、ADE20Kなど)を使います。
画像から画像への変換
入力画像をCNN(畳み込み処理)で特徴マップに変換し、チャンネル方向に結合(concat)して、U-Netへ入力します。位置情報が揃ったまま伝えられます。
学習データとしては、「入力画像とターゲット画像のペア」(スタイル変換データ、スケッチから写真など)を使います。
なお、後の発展系(ControlNetなど)では、「画像への連結」(位置情報)と「中間層でのクロスアテンション」(意味情報)の両方を使うこともあります。
いずれにせよ、どんな条件情報でも「対応する画像ペア」があれば拡散モデルを条件付きで学習できるというわけです。
サンプリングの特色
LDMは、DDPM/DDIMと同じ拡散モデリングの枠組みを潜在空間に持ち込んだものなので、サンプリングも理論的には同じ仕組みを使います。しかし、LDM特有の「サンプリング最適化で特筆すべきポイント」がいくつかあります。
潜在空間でのサンプリング(軽量)
これは繰り返し述べましたが、LDMにおける最大の特徴は、サンプリングをピクセル空間ではなく潜在空間で行う点です。VAEで圧縮された空間で拡散ステップを回すので、メモリも計算も大幅に軽くなります。
つまり、潜在空間サンプリングによって、同じ計算予算でより多段階の高品質サンプリングが可能になるというわけです。
DDIMのサンプリング(効率的)
DDPMと同じ学習済みモデルを使いながら、少ないステップでサンプリングできるDDIMの推論がLDMでも採用されています。
LDMをベースとしたStable Diffusion v1は、標準でDDIMサンプラーを実装しています。このため、10〜50ステップ程度でも実用的な生成を実現されました。
クラス分類器が不要なガイダンス
従来の拡散モデルで条件付の生成を行うには「条件を満たすように誘導する」必要がありました。これは、外部の分類器(classifier)を使って画像が条件を満たす確率を計算し、その勾配でサンプリングをガイドするやり方です。
これはクラス分類器によってサンプリングを導く方法であり、「分類器ガイダンス」(Classifier Guidance)と呼ばれます。
分類器ガイダンスでは、生成モデル自体のパラメータは変えずに、サンプリングのときの「方向づけ」だけを変えます。
たとえば、生成途中の画像が「犬らしい」方向にサンプリングを修正したいとします。通常のサンプリングは、以下のようにノイズ除去とサンプリング(ノイズ付加)を行います。
分類器ガイダンスを加える場合は、サンプリングのノイズの代わりに、分類器による「犬らしさを高める方向」へ微調整を行います。
:あるクラス(ここでは犬)
:画像がクラスになる確率
:クラスになる確率を高める勾配(方向)。対数を使うのは、バッチ処理などがやりやすく、数値計算的にも安定するため。
:ガイダンスの強さのハイパーパラメータ
要するに、勾配に従ってより犬らしくなる方向に誘導しているわけです。
ただし、この手法では分類器を別に学習する必要があり、条件によっては高品質な分類器を準備するのが大変だという課題があります。
一方で、LDMではクラス分類器が不要なガイダンスを行います。つまり、外部分類器を使いません。生成モデルがガイダンスを内部で表現できるように訓練します。
この手法では「条件あり」と「条件なし」の学習は同時に行います。
条件ありの場合、テキスト埋め込みなどの条件に沿った正しいノイズを予測するように訓練します。これはペアの学習データがあれが実現可能です。条件なしの場合には、一般的なノイズ予測を学習します。
この損失は次のように表現できます。
:条件情報だが、確率的にかにする(条件ドロップアウト、例:20%)
:条件(例:テキスト埋め込み)
:条件なし(空、または特殊トークン)
これでモデルは「条件ありの出力」と「条件なしの出力」を1つのモデル内で同時に学習します。
1つのバッチ内でランダムに条件を消すことで、条件ありと条件なしの両方を同時に学習します。いわゆるドロップアウトと同じ考え方です。
Stable Diffusion v1の実装では、サンプリングのステップを次のように行います。
:ガイダンススケール(ユーザーが設定)
:条件なし生成
:条件を強制する度合いを増す
つまり、ユーザーの好みに合わせて、条件情報を踏まえたノイズ予測と一般的なノイズ予測をを線形に組み合わせることで「ガイダンスの強度」を調整できるようにします。
ただし、サンプリング時に、「条件あり」「条件なし」の推論をそれぞれ行う必要があります。
こうして、外部分類器がなくとも生成モデルだけで条件強度を制御することが可能となっています。
次回予告
これまで、拡散モデル(DDPM、DDIM)と潜在拡散モデル(LDM)を通じて、「ノイズを加えてから除去する」という生成の仕組みを見てきました。
これらのモデルは「データ分布のスコア関数」(対数密度勾配)を推定して、サンプリングを行う、より一般的なフレームワークとして説明することができます。これを理解すると、なぜ「ノイズを除去する」ことが「生成する」ことになるのかをより深く説明できます。
そこで、次回は、この基盤となるスコアベースの生成モデルを紹介します。
お楽しみに!