メインコンテンツへスキップ
見出し画像

画像生成AIの進化史⑰スコアベース生成モデル

    前回まで、拡散モデル(DDPM・DDIM)と潜在拡散モデル(LDM)を紹介しました。これらの解説では「ノイズを加えてから徐々に除去する」という直感的な仕組みに注目し、生成の過程が視覚的に理解しやすくなるよう心がけました。

    ただし、DDPMは表面的にはわかりやすく見えるものの、実は変分オートエンコーダ(VAE)のような変分推論の枠組みに基づいて設計されています。これにより、学習の理論的背景には証拠下限(ELBO)と呼ばれる数式の導出が含まれており、直感的には少し捉えづらい面もあります。

    ところが実際の実装を見ると、損失関数はごくシンプルな近似式になっていて、VAEのようにELBO全体を厳密に最適化しているわけではありません。最終的には「ノイズを予測するネットワークを学習する」という、非常にわかりやすいタスクに帰着しています。

    もちろん、その裏には確率モデルとしての厳密な定式化と、変分推論というしっかりした理論的な基盤があるのは確かです。しかし、それにしても、あの複雑なELBOの導出が唯一の本質なのだろうか、という疑問が湧いてきます。

    特に、LDMのようにさらにVAEを重ねるような構成を見ると、DDPMにおける「潜在変数」の理論が、それらしく見せているにすぎないようにも思えてきます。

    実は、DDPMが登場する前から、「スコアマッチング」という手法を使って「ノイズのかかったデータ」から「本来の分布」を推定するというアプローチが研究されてきました。この手法では、確率関数の勾配を表現する「スコア関数」をニューラルネットワークで近似し、活用しています。

    また、DDPMの論文でもこのアプローチとの関連が指摘されており、両者は密接な関係にあります。さらに、スコア関数を学習して生成に活用する手法はいくつか提案されており、こうした流れは「スコアベースの生成モデル」(Score-Based Generative Models)として統一的に説明できることが分かってきました。

    今回は、このスコアベースの生成モデルの考え方を紹介し、変分推論を経由せずに、拡散モデルを捉えるための視点を整理していきます。

    生成モデルと確率分布の山登り

    そもそも画像の確率とは?

    画像の「確率」を考えるとは、そもそもどういう意味でしょうか?

    これを理解するために、まずはMNISTの手書き数字の画像を例にして考えます。

    画像
    MNISTの手書き数字の画像100個(10x10)

    MNISTの画像のサイズは 28x28 ピクセルです。各ピクセルは0から255までの値を取ります。通常は上図のように、これを黒から白までの色の表現(濃淡)として表示します。

    なお、MNISTのように機械学習で扱う画像の多くは、色の濃淡を8ビットの数字で表現します。8ビットは、28=2562^8=256のパターンを表現できるため、0から255の値を取るわけです。

    各ピクセルの値を変数として表現すると、一つのMNIST画像には 784(=28x28)の変数があることになります。このため、MNIST画像は 784 個の要素を持つベクトルx\boldsymbol{x}として表現することができます。

    x=(x1,x2,…,x784),xi∈[0,255]\boldsymbol{x} = (x_1, x_2, \ldots, x_{784}), \qquad x_i \in [0, 255]

    このベクトルx\boldsymbol{x}の各要素が256個の値を取ることができるため、「手書き数字」として成立しないものも含めて純粋な数の組み合わせを考えると、非常に多くのパターンが存在します。

    全ての組み合わせの集合をNNとすると、そのサイズ∣N∣|N|は以下になります。

    ∣N∣=256784|N|=256^{784}

    これは想像を超えるほど巨大な値です。しかし、その大多数は「手書き数字」として意味をなさないものです。

    そこで、「手書き数字」として成立するパターンの集合をM⊂NM \subset N(集合をMMは集合NNに含まれる)とすると、以下のように∣M∣|M|は∣N∣|N|と比べて非常に小さいと表現できます。

    ∣M∣≪∣N∣|M| \ll |N|

    つまり、ランダムなパターンx\boldsymbol{x}が「手書き数字」として成立する確率は1よりずっと小さくなり、以下のように表現できます。

    P(x)=∣M∣∣N∣≪1P(\boldsymbol{x}) = \frac{|M|}{|N|} \ll 1

    さらに、集合MMの内、それが数字の"1"である集合をD1⊂MD1 \subset Mとすると、ランダムに選んだパターンx\boldsymbol{x}が「手書き数字」として成立している際に、それが数字の"1"である確率は以下に表現できます。

    P(x∈D1∣ x∈M)=∣D1∣∣M∣P(\boldsymbol{x} \in D1 \mid \boldsymbol{x} \in M) = \frac{|D1|}{|M|}

    このように、画像をベクトルx\boldsymbol{x}として表現することで、さまざまな確率を簡単に数式として表現することができます。

    なお、RGB画像の場合、各ピクセルは(赤、緑、青)の3つの要素(チャンネル)を持つベクトルとして表現できます。機械学習でよく使われるデータセットでは、RGB画像の各要素は8ビットであり、0から255の値で各色の濃淡(強さ)を表現します。

    チャンネルが1つだけのMNISTより画像データの構造は複雑ですが、理論的に確率を扱う場合は、フラットなベクトルとして表記することが多いです。つまり、RGB画像でも、上述と同様の確率的な扱いを適用することができます。

    例えば、CIFAR10ならば32×32×3=307232 \times 32 \times 3 = 3072の要素を持つベクトルとなりますが、x\boldsymbol{x}と表現することで、実際の画像のチャンネル数などを気にせずに理論を構築することができます。

    まとめると、画像の確率とは、画像と同じ構造を持つあるパターン(例えばベクトルx\boldsymbol{x})が、画像として何らかの意味を持つ確率を表現しているわけです。これが画像の確率を考えるということです。

    画像の確率分布はスカスカ

    もし画像の確率分布P(x)P(\boldsymbol{x})が完全にわかっていれば、そこからサンプリングすることで「画像の生成」ができることになります。この考え方は、これまで扱ってきたあらゆる画像生成モデルに共通する基本原理です。

    しかし、画像のように多数の変数(次元)からなるデータに対して、確率分布を扱うのは簡単ではありません。

    ここでは再び、MNISTの画像データを例にとって、「画像の確率分布を考える」とはどういうことかを説明します。MNISTの画像は、28×28ピクセルの画像であり、1枚の画像を784個のピクセル値からなるベクトルx\boldsymbol{x} として表現します。

    x=(x1,x2,…,x784)\boldsymbol{x} = (x_1, x_2, \ldots, x_{784})

    各要素xix_iは、0〜255の整数値を取り、各ピクセルの濃淡を表します。

    このとき、画像の確率関数P(x)P(\boldsymbol{x})は、784次元の入力を受け取る関数として表現できます。

    P(x)=P(x1,x2,…,x784)P(\boldsymbol{x}) = P(x_1, x_2, \ldots, x_{784})

    この確率P(x)P(\boldsymbol{x})は、ベクトルx\boldsymbol{x} がランダムに選ばれたときに、それが「手書き数字」として成立している確率です。

    ただし、ここでの「ランダムに選ばれる」とは、784次元の空間全体から一様に選ぶという意味ではありません。各要素xix_iは、0〜255の整数値に限定されており、x\boldsymbol{x}はこの制約下で定義される 離散的な点の集合の中から選ばれることになります。

    なお、784次元空間は想像するのが難しいですが、「手書き数字」として成立する集合MMに含まれる点はこの空間のほんの一部であり、ほとんどスカスカであろうことは想像できます。

    しかし、このように定義された高次元な画像データの分布は、モデル化するのが困難だという問題があります。

    まず、MNIST画像は各ピクセル値が 0〜255の整数として与えられているため、画像として取り得るパターンの総数が非常に多く、確率としてこれらすべてのパターンに対してP(x)P(\boldsymbol{x})を定義するには、この膨大な個数分の確率を一つ一つ割り当てる必要があるということになります。これは、現実的ではありません。

    また、実際のMNISTデータセットに含まれる画像は、「手書き数字」として成立する画像の一部でしかありません。ならぜなら、全ての「手書き数字」画像を準備するのは非常に困難だからです。つまり、MNISTデータセットに含まれる画像は、理論的な集合MMからのランダムなサンプルを集めたものという想定です。よって、全てのパターンを把握ことはできず、一つ一つの「手書き数字」画像の確率をデータセットの情報だけから計算することは不可能です。

    さらに、MNISTの各ピクセル値は整数であるため離散的です。それらを変数とする関数P(x)P(\boldsymbol{x})は、“滑らかな関数”ではなく、微分を計算することができません。よって、確率関数の勾配によってより確率が高い方へと分布を探索するような手法が使えません。

    そこで、実際の画像データは離散値であっても、理論を構築する際にはそれを 連続的な実数値ベクトルとして近似します。これにより、P(x)P(\boldsymbol{x})を微分可能な確率密度関数として定義することができ、微分などの数理的な操作が可能になります。

    確率分布P(x)P(\boldsymbol{x})を、滑らかな連続関数として近似できるとすれば、すべてのパターンに対して確率を定義する必要はなくなります。なぜならば、関数としての形(パラメータや構造)さえ把握できれば、その関数を使って任意のx\boldsymbol{x}に対して確率密度を計算することができるからです。

    このように、確率分布を連続的な関数として近似することができれば、すべての画像パターンに対して明示的に確率を定義する必要はなくなります。そのような関数を実データから学習したモデルを使えば、画像の生成が可能になるわけです。

    2次元の確率分布で山登り

    これまでの議論から、画像をベクトルx\boldsymbol{x}として表現することで、画像のサイズやチャンネル数に関係なく、確率分布P(x)P(\boldsymbol{x})を数式として取り扱えることがわかりました。

    したがって、たとえ現実には存在しない「2ピクセルだけの画像」で考察しても良いわけです。つまり、理論的な議論や直感的な理解のためには、2次元の確率分布を使って考えても差し支えありません。

    また、確率分布P(x)P(\boldsymbol{x})を滑らかな連続関数として近似できると仮定すれば、それを下図のように視覚的に表すことができます。

    画像
    確率分布のイメージ

    もちろん、実際の画像データの分布がこのように美しく滑らかな「山」の形をしているとは限りません。それでも、この図は 「意味のある画像」は確率が高く、意味のないものは確率がほとんどゼロであるという分布の性質を直感的に伝えるのに適しています。

    たとえば、この確率分布の中からランダムにある点(ベクトルx=(x1,x2)\boldsymbol{x} = (x_1, x_2)を選んだとします。このとき、確率分布P(x)P(\boldsymbol{x})の勾配が指し示す方向に少しずつ移動していけば、やがて山の頂上(高い確率を持つ点)に到達します。すなわち、意味のある画像のある場所へと移動できるわけです。

    画像
    確率の勾配に沿って移動

    ここでは便宜的に「確率分布の山を登る」と表現していますが、実際にはその確率分布(=山の形)自体も時間とともに変化していきます。

    つまり、生成の過程では、静的な地形の中を進むのではなく、時間とともに形を変える地形の中を進んでいくことになります。したがって、「確率分布が固定された山の地形の中を登っていく」といった説明は、本質的には正確ではありません。

    しかし、この動的な地形の変化を最初から理解するのは難しいため、ここではあくまで直感的理解を助ける目的で、固定された山を登るイメージを用いて説明しています。

    さらに、勾配方向への移動に加えて、わずかにランダムな揺らぎ(ノイズ)も加えるとどうなるでしょうか?

    最終的には、山の頂上周辺にとどまりつつ、分布の形に従った“ランダムな場所”へ到達します。つまり、意味のある画像をランダムにサンプリング(生成)することになります。

    画像
    ランダムな移動も含める

    この「勾配に従って登る」「ランダム性を加えてサンプリングする」という一連の考え方が、スコアベースの生成モデルの本質です。

    スコアマッチングで勾配の学習

    「ランダムな揺らぎも含めて確率分布の山を登るように画像を生成する」というイメージは、時間の流れに沿って、ノイズから徐々に“もっともらしい画像”へと近づいていく様子として捉えることができます。

    このとき、画像の変化は「確率分布の地形」の中を進む動きであり、密度の高い方向、すなわち確率が高くなる方向へ導かれていくような振る舞いになります。これは2次元空間での山登りの比喩であり、実際にはMNISTであれば784次元の空間での話ですが、次元数に関わらず理論構造は変わりません。

    この「山登り」を実現するには、確率分布の勾配が必要です。その勾配を数式として表したのがスコア関数です。しかし、そもそも画像の確率分布は未知なので、スコア関数を直接求めることはできません。

    そこで登場するのが スコアマッチング です。これは、データサンプルだけを使ってスコア関数をニューラルネットワークで近似する方法であり、真の確率密度がわからなくても勾配だけを学習できるというものです。

    次に、「スコア関数」と「スコアマッチング」を順番に解説します。

    スコア関数とは何か

    画像が確率分布に沿って変化していくために重要となるのが、確率分布の「形」を知ることです。なぜなら、「どの方向に確率が高くなるのか」が分かれば、画像がどちらの方向に進むべきかが決められるからです。そのためには、確率分布P(x)P(\boldsymbol{x})の勾配を見る必要があります。

    そして、この「確率の勾配」を表すのが、スコア関数(score function)であり、次のように定義されます。

    s(x)=∇xlog⁡P(x)\boldsymbol{s}(\boldsymbol{x}) = \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x})

    • log⁡P(x)\log P(\boldsymbol{x}):確率密度の対数(log probability)

    • ∇x\nabla_{\boldsymbol{x}}:x\boldsymbol{x}に関する勾配(偏微分ベクトル)

    • s(x)\boldsymbol{s}(\boldsymbol{x}):確率密度の「増える方向」を示すベクトル

    つまり、スコア関数は「いまの地点x\boldsymbol{x}において、どちらに進めば確率密度が高くなるか」を教えてくれるベクトルです。

    より具体的に理解するために、s(x)\boldsymbol{s}(\boldsymbol{x})を2次元として表現してみます。まず、スコア関数s(x)\boldsymbol{s}(\boldsymbol{x})も2次元のベクトルになります。

    s(x)=(s1(x),s2(x))\boldsymbol{s}(\boldsymbol{x}) = \bigl(s_1(\boldsymbol{x}), s_2(\boldsymbol{x}) \bigr)

    • s1(x)s_1(\boldsymbol{x}):x1x_1方向における確率密度の増加の度合い

    • s2(x)s_2(\boldsymbol{x}):x2x_2方向における確率密度の増加の度合い

    つまり、s(x)\boldsymbol{s}(\boldsymbol{x})は、2次元空間の各点 x=(x1,x2)\boldsymbol{x} = (x_1, x_2)において「どちらに進めば確率が高くなるか」という方向と強さを教えてくれます。確率密度が高い方向へ向かう各位置での「流れ」のような構造(ベクトル場)を表現しています。

    さらに、s1(x)s_1(\boldsymbol{x})とs2(x)s_2(\boldsymbol{x})は、確率密度の対数log⁡P(x)\log P(\boldsymbol{x})をそれぞれの変数に対して偏微分したものです。つまり、スコア関数は次のように定義されます。

    s(x)=(∂log⁡P(x)∂x1,∂log⁡P(x)∂x2)\boldsymbol{s}(\boldsymbol{x}) = \left( \frac{\partial \log P(\boldsymbol{x})}{\partial x_1}, \frac{\partial \log P(\boldsymbol{x})}{\partial x_2}\right)

    これをコンパクトにs(x)=∇xlog⁡P(x)\boldsymbol{s}(\boldsymbol{x}) = \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x})と表現しているわけです。こう書くことで画像の次元に配慮する必要がなく理論を構築できます。

    なぜ対数確率の勾配なのか?

    なお、スコア関数は対数確率の勾配で定義されており、直接的に確率の勾配を計算してません。これは一見、遠回りをしているようにも見えますが、対数を使うことにはいくつか重要な理由があります。

    1. 方向は変わらない
    確率密度の勾配と対数確率の勾配とではどちらを使っても「どの方向に確率が高くなるか」は変わりません。なぜなら、対数関数log⁡\log は単調増加関数なので、最大値の場所も、増加する方向も同じだからです。

    2. 数値的に安定になる
    確率密度P(x)P(\boldsymbol{x})は、x\boldsymbol{x}が高次元になるほど非常に小さな値になるため、数値計算上不安定になりやすいです。対数を取ることで、桁落ちなどの数値誤差を回避できます。たとえば、以下のように、扱いやすい値に変換されます。

    P(x)=10−50⟹log⁡⁡P(x)≈−115.1P(\boldsymbol{x})=10^{−50} \quad \Longrightarrow \quad \log⁡P(\boldsymbol{x}) \approx −115.1

    3. 微分が簡単になる
    微分の計算も、対数を使うと大幅にシンプルになります。特に、確率密度がガウス分布(正規分布)の場合、確率密度関数には指数関数が含まれるため計算が単純になります。

    P(x)=1(2π)d/2exp⁡(−12∥x∥2)⟹log⁡P(x)=−d2log⁡(2π)−12∥x∥2P(\boldsymbol{x}) = \frac{1}{(2\pi)^{d/2}} \exp \left(-\frac{1}{2} \|\boldsymbol{x}\|^2 \right) \quad \Longrightarrow \quad \log P(\boldsymbol{x}) = -\frac{d}{2} \log(2\pi) - \frac{1}{2} \|\boldsymbol{x}\|^2

    簡単のために、平均は0、共分散行列は単位行列としています。つまり、各要素の分散は1で共分散は0です。また、∥x∥2=x12+x22+…+xd2\|\boldsymbol{x}\|^2 = x_1^2 + x_2^2 + \ldots + x_d^2の意味です。なお、ddは次元数です。

    スコア関数は、この対数確率のx\boldsymbol{x}による勾配です。まず、第1項はなくなり、第2項は偏微分を使って単純に計算できます。

    s(x)=∇xlog⁡P(x)= ∇x(−12∥x∥2)=−12(∂x12∂x1,∂x22∂x2,…,∂xd2∂xd)=−x\begin{aligned} \boldsymbol{s}(\boldsymbol{x}) &= \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) \\[2ex] &= \nabla_{\boldsymbol{x}} \left( - \frac{1}{2} \|\boldsymbol{x}\|^2 \right) \\[2ex] &= -\frac{1}{2}\left( \frac{\partial x_1^2}{\partial x_1}, \frac{\partial x_2^2}{\partial x_2}, \ldots, \frac{\partial x_d^2}{\partial x_d}\right) \\[2ex] &= - \boldsymbol{x} \end{aligned}

    最後から2番目は「各成分ごとに自分の二乗だけ残って、他の項は 0」という事実を利用しました。

    これは、P(x)P(\boldsymbol{x})の勾配を直接計算するよりはるかに簡単です。なぜなら、P(x)P(\boldsymbol{x})のまま微分すると、指数関数が残るため煩雑になるからです。

    このガウス分布のスコア関数は、s(x)=−x\boldsymbol{s}(\boldsymbol{x}) = -\boldsymbol{x}というシンプルな形をしていますが、この式だけで分布の性質が見えてきます。

    まず、符号がマイナスなので、スコア関数(=勾配)はいつも中心(原点)に向かいます。中心から外れるほど、強く中心に引き戻そうとするベクトルになります。分布に対称性があり、中心では勾配がゼロになり、分布の一番「確率が高い位置」であることもわかります。

    なお、対数確率は、確率が0に近づくほど急速に負の無限大へと近づきます。つまり、確率が小さくなるほとその勾配が大きくなります。このため、
    「サンプルが中心から離れているほど起こりにくい」という分布の性質をこのスコア関数は表しています。

    以上より、スコア関数の形だけで、分布の「中心へ集まろうとする性質」や「端に行くほど確率が下がる性質」がわかります。より一般に、スコア関数を見れば「この分布はデータをどこに集めたいのか」がわかります。

    以上より、対数確率で勾配を計算することで、「方向が変わらず」「数値的に安定で」「微分がシンプルになる」という利点があります。

    特に、ニューラルネットワークを使ってスコア関数を学習する際には、これらの利点は非常に重要になります。

    スコアマッチングとは

    スコアベースの生成モデルでは、ノイズを含むデータから「より本物らしい画像」に近づくために、確率密度が高くなる方向(=スコア関数)を辿っていくという発想が基本にあります。

    つまり、データ分布の中でより確率の高い方向へ徐々に移動することは、「ノイズを段階的に除去していく」のと同等です。

    そのため、学習の目的は「データの確率分布の傾き」であるスコア関数をうまく近似することになります。

    しかしここで疑問が浮かびます。

    そもそも確率密度関数P(x)P(\boldsymbol{x})がわかっていないのに、その勾配(スコア関数)s(x)=∇xlog⁡P(x)\boldsymbol{s}(\boldsymbol{x}) = \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x})をどうやって求めるのか?

    この「密度関数がわからないのに、その微分を知ることなどできるのか」という疑問に答えるのが「スコアマッチング」(score matching) という考え方です。

    これは、2005年に Aapo Hyvärinen によって提案された手法で、密度関数そのものを推定しなくても、スコア関数(=対数密度の勾配)だけを直接学習できるという性質を持っています。

    Estimation of Non-Normalized Statistical Models by Score Matching

    スコアマッチングは、たくさんのデータサンプルでの学習を通してニューラルネットワークsθ(x)\boldsymbol{s}_{\theta}(\boldsymbol{x})が真のスコア関数s(x)\boldsymbol{s}(\boldsymbol{x})を近似できるということを理論的な土台としています。

    つまり、データの確率密度がわからなくてもスコア(対数確率の勾配)だけを学習するために以下のように2乗誤差を最小化するように訓練します。

    J(θ)= Ex∼P(x)[∥sθ(x)−s(x) ∥2]= Ex∼P(x)[∥sθ(x)−∇xlog⁡P(x)∥2]\begin{aligned} J(\theta) &=  \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})}\left[ \| \boldsymbol{s}_{\theta}(\boldsymbol{x}) - \boldsymbol{s}(\boldsymbol{x}) \|^2 \right] \\[2ex] &= \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})}\left[ \| \boldsymbol{s}_{\theta}(\boldsymbol{x}) - \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) \|^2 \right] \end{aligned}

    θ\thetaはニューラルネットワークのパラメータを意味します。これを調節することで、損失関数を最小化します。なお、x∼P(x)\boldsymbol{x} \sim P(\boldsymbol{x})とあるのは期待値の計算が確率分布P(x)P(\boldsymbol{x})によるものという意味です。

    期待値の計算で使うP(x)P(\boldsymbol{x})は未知なので、後でデータセットからの画像のサンプル平均によって期待値を近似します。

    ただし、右辺の「真のスコア関数」∇xlog⁡P(x)\nabla_{\boldsymbol{x}} \log P(\boldsymbol{x})は未知なので、うまく式変形することでこの未知の項を消去し、損失関数を観測されたデータだけで書き直すようにします。

    まず、上記の2乗誤差を展開して、θ\thetaに依存しない項を無視します。

    J(θ)=Ex∼P(x)[∥sθ(x)−∇xlog⁡P(x)∥2]= Ex∼P(x)[∥sθ(x)∥2−2sθ(x)⋅∇xlog⁡P(x)+∥∇xlog⁡P(x)∥2]\begin{aligned} J(\theta) &= \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})}\left[ \| \boldsymbol{s}_{\theta}(\boldsymbol{x}) - \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) \|^2 \right] \\[2ex] &= \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})}\left[ \| \boldsymbol{s}_{\theta}(\boldsymbol{x}) \|^2 -2 \boldsymbol{s}_{\theta}(\boldsymbol{x}) \cdot \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) + \|\nabla_{\boldsymbol{x}} \log P(\boldsymbol{x})\|^2 \right] \end{aligned}

    第1項はニューラルネットワークの出力なのでこれは計算できます。また、第3項はθ\thetaに依存せず、損失関数の最小化においては定数となり無視できます。

    問題なのは、第2項です。これはsθ(x)\boldsymbol{s}_{\theta}(\boldsymbol{x})と∇xlog⁡P(x)\nabla_{\boldsymbol{x}} \log P(\boldsymbol{x})の内積を含むため、未知のP(x)P(\boldsymbol{x})が残っています。この部分だけ取り出して、期待値の計算を積分の形式で書き直し中身の詳細を見ていきます。

    Ex∼P(x)[sθ(x)⋅∇xlog⁡P(x)]=∫xP(x)[sθ(x)⋅∇xlog⁡P(x)]dx=∫xsθ(x)⋅∇xP(x) dx=∫x∑i=1dsθ,i(x)∂P(x)∂xi dx\begin{aligned} \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})}\left[ \boldsymbol{s}_{\theta}(\boldsymbol{x}) \cdot \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) \right] &= \int_{\boldsymbol{x}} P(\boldsymbol{x}) \biggl[ \boldsymbol{s}_{\theta}(\boldsymbol{x}) \cdot \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) \biggr]\mathrm{d}\boldsymbol{x} \\[2ex] &= \int_{\boldsymbol{x}} \boldsymbol{s}_{\theta}(\boldsymbol{x}) \cdot \nabla_{\boldsymbol{x}} P(\boldsymbol{x}) \, \mathrm{d}\boldsymbol{x} \\[2ex] &= \int_{\boldsymbol{x}} \sum\limits_{i=1}^{d} s_{\theta, i}(\boldsymbol{x}) \frac{\partial P(\boldsymbol{x})}{\partial x_i} \, \mathrm{d}\boldsymbol{x} \\[2ex] \end{aligned}

    ここで対数の微分の関係を利用しました。
    ∇xlog⁡P(x)=∇xP(x)P(x)\nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) = \frac{\nabla_{\boldsymbol{x}} P(\boldsymbol{x})}{P(\boldsymbol{x})}

    さらに、各成分(次元)で部分積分を行うことで確率分布P(x)P(\boldsymbol{x})に関する偏微分をなくします。

    ∫xsθ,i(x)∂P(x)∂xi dx=[P(x) sθ,i(x)]xi=−∞+∞−∫xP(x)∂ sθ,i(x)∂xidx\int_{\boldsymbol{x}} s_{\theta, i}(\boldsymbol{x}) \frac{\partial P(\boldsymbol{x})}{\partial x_i} \, {\mathrm{d}}\boldsymbol{x} = \biggl[ P(\boldsymbol{x}) \, s_{\theta, i}(\boldsymbol{x}) \biggr]_{x_i = -\infty}^{+\infty} - \int_{\boldsymbol{x}} P(\boldsymbol{x}) \frac{\partial \, s_{\theta, i}(\boldsymbol{x})}{\partial x_i} \mathrm{d}\boldsymbol{x}

    第1項は、ゼロになるとみなせます。これは通常、P(x)P(\boldsymbol{x})は、xix_iが正負の無限大のところで0になると仮定するからです。つまり、ピクセル値がそのような極端な値になることはないということです。

    よって、第2項だけが残ります。これを全ての成分に対して計算したものをまとめると以下になります。

    −∫xP(x)∑i=1d∂ sθ,i(x)∂xidx= −∫xP(x) divxsθ(x)dx=−Ex∼P(x)[divxsθ(x)]\begin{aligned} - \int_{\boldsymbol{x}} P(\boldsymbol{x}) \sum_{i=1}^d \frac{\partial \, s_{\theta, i}(\boldsymbol{x})}{\partial x_i} \mathrm{d}\boldsymbol{x} &= - \int_{\boldsymbol{x}} P(\boldsymbol{x}) \, \text{div}_{\boldsymbol{x}} \boldsymbol{s}_{\theta}(\boldsymbol{x}) \mathrm{d}\boldsymbol{x} \\[2ex] &= - \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})} \bigl[ \text{div}_{\boldsymbol{x}} \boldsymbol{s}_{\theta}(\boldsymbol{x}) \bigr] \end{aligned}

    divx\text{div}_{\boldsymbol{x}}は、発散(ダイバージェンス)と呼ばれるもので、関数を各変数で偏微分したものの和を意味します。

    これは、物理の電磁気学や流体力学などでもよく使われる概念で、空間のある点において「どれだけ流れが湧き出しているか、または吸い込まれているか」を表す量です。

    スコアマッチングの文脈では、各点(画像パターン)におけるスコア関数の発散となります。

    こうして期待値の中身から未知の確率分布P(x)P(\boldsymbol{x})が取り除かれました。よって、スコアマッチングの損失関数LSM\mathcal{L}_\text{SM}は、以下のようにJ(θ)J(\theta)を簡略化したもので定義します。

    LSM(θ)= Ex∼data[∥sθ(x)∥2+2 divxsθ(x)]\mathcal{L}_\text{SM}(\theta) = \mathbb{E}_{\boldsymbol{x} \sim \text{data}} \bigl[ \|\boldsymbol{s}_\theta(\boldsymbol{x})\|^2 + 2 \,\text{div}_{\boldsymbol{x}} \boldsymbol{s}_\theta(\boldsymbol{x}) \bigr]

    あるいは、次のようにも表記できます。

    LSM= Ex∼data[ 12∥sθ(x)∥2+ divxsθ(x)]\mathcal{L}_\text{SM} = \mathbb{E}_{\boldsymbol{x} \sim \text{data}} \biggl[  \frac{1}{2} \|\boldsymbol{s}_\theta(\boldsymbol{x})\|^2 + \,\text{div}_{\boldsymbol{x}} \boldsymbol{s}_\theta(\boldsymbol{x}) \biggr]

    なお、期待値の計算は真の確率分布P(x)P(\boldsymbol{x})ではなく、データセットからの画像のサンプル平均によって近似しています。こうしてP(x)P(\boldsymbol{x})が完全に取り除かれました。

    第一項はスコア関数の大きさを抑えるように見えますが、発散項とのバランスによって、全体として「真のスコア関数に近づける」ように機能します。これはもともと、以下のような真のスコア関数との距離を最小化する目的で導出された損失関数に基づいているからです。

    J(θ)= Ex∼P(x)[∥sθ(x)−∇xlog⁡P(x)∥2]J(\theta) = \mathbb{E}_{\boldsymbol{x} \sim P(\boldsymbol{x})}\left[ \| \boldsymbol{s}_{\theta}(\boldsymbol{x}) - \nabla_{\boldsymbol{x}} \log P(\boldsymbol{x}) \|^2 \right]

    真のスコア関数は、確率分布の山や谷に沿ってゼロでない値をとるため、この損失関数による近似のスコア関数が完全に0(平坦)になることはありません。

    また、sθ(x)\boldsymbol{s}_\theta(\boldsymbol{x})は、画像ベクトルの各要素のスコアからなり、これはニューラルネットワークで計算されます。また、その発散はスコア関数の各成分sθ,is_{\theta, i}を対応する変数xix_iで偏微分したものの総和なので、これも計算できます。

    つまり、真の確率分布P(x)P(\boldsymbol{x})がわからなくとも真のスコア関数s(x)\boldsymbol{s}(\boldsymbol{x})をニューラルネットワークで近似することができるということです。

    スコアベースの生成モデル

    スコアマッチングによって、確率の勾配(スコア関数)をニューラルネットワークで近似できることがわかりました。これはつまり、確率分布の山を登るように、確率密度の高い方向へ進む手段が手に入ったということです。

    この式にスコア関数やサンプリングの揺らぎ(ノイズ)を実装すれば、ランダムな初期点(ノイズ画像)からはじめて、確率密度の高い領域へと導かれるようなサンプリングを繰り返すことで画像生成が行えるようになります。

    なお、スコアベースの生成モデルも、「拡散過程」と「生成過程」(逆拡散過程)を用います。これはDDPMなどの拡散モデルと同様ですが、ELBOによる説明ではなく、上述の確率微分方程式をベースにしています。

    そこでまずは「拡散過程」を紹介した後に、その逆過程である「生成過程」を解説します。

    拡散過程(フォワードSDE)

    拡散過程は、元の画像(データ)に徐々にノイズを加えていく過程です。時間が進むにつれて、画像はランダムなゆらぎによって劣化していき、最終的には完全にノイズに埋もれた状態になります。

    この拡散の動きは、確率分布の山の頂上(=もっともありそうな画像)から、ランダムに揺れながら山を下っていくようなイメージです。

    画像
    拡散過程

    この確率的な画像の変化は、次のような一般形で表現できます。

    dx=f(x,t) dt+g(t) dw\mathrm{d}\boldsymbol{x} = \boldsymbol{f}(\boldsymbol{x}, t) \,\mathrm{d}t + g(t)\,\mathrm{d}\boldsymbol{w}

    • dx\mathrm{d}\boldsymbol{x}:画像x\boldsymbol{x}の微小な変化

    • f(x,t) dt\boldsymbol{f}(\boldsymbol{x}, t) \,\mathrm{d}t :ドリフト項。時間ttにおける画像x\boldsymbol{x}の平均的な変化

    • g(t)g(t):拡散係数。時間ttにおける拡散ノイズの大きさ

    • dw\mathrm{d}\boldsymbol{w}:ブラウン運動。ガウスノイズ(標準正規分布)に従うランダムな揺らぎ。g(t)g(t)と組み合わさってサンプリングの効果をもたらす

    太字の記号は、画像x\boldsymbol{x}と同じサイズのベクトルを意味しています。

    なお、上式は確率と微分を含んだ方程式なので「確率微分方程式」(Stochastic Differential Equation、SDE)と呼ばれます。

    この数式は一見抽象的に見えますが、やっていることは単純であり、「確率分布の山を下るように、少しずつランダムに揺れながら進んでいく」という動きを一般的な形として表現したものです。

    この式に従って時間とともに変化する画像は、あたかも「確率分布の地形」の中で、密度の低い方向へと導かれていくような振る舞いを示します。もちろん実際は多次元空間(MNISTなら784次元)での話ですが、理論的には2次元画像の確率の山のイメージと同じです。

    なお、拡散過程は「フォワードSDE」とも呼ばれ、時間が「正の方向に進む」(t=0→Tt = 0 \rightarrow T)につれて、データにノイズが加わる確率過程です。よって、dt>0\mathrm{d}t >0となります。

    画像
    論文:図1(上部)

    この拡散過程は、DDPMにおける「離散ステップでのノイズ注入」を連続時間で記述したものと考えることができます。特にg(t)g(t)は、DDPMでの分散スケジュール(βt\beta_t​)に対応します。上記のSDEでは、g(t)g(t)は時間による関数で表現されており、より一般的になっています。

    このように拡散過程をSDEの形式で記述することは、拡散モデル全般における統一的かつ一般的な視点・枠組みを提供しています。

    このため、実装によって関数の形やパラメータの設計・工夫を行う余地が与えられています。モデル独自のドリフト項や拡散係数の設計が可能なわけです。たとえば、モデルによっては、ドリフト項f(x,t)\boldsymbol{f}(\boldsymbol{x}, t)をゼロとする場合もあります。また、拡散係数を指数関数的に増加するように設計しているモデルもあります。

    いずれにせよ、多くのスコアベースモデルでは、最終状態が標準正規分布になるよう設計されています。これにより、サンプリング時には「標準正規分布からスタートすればよい」という初期条件が得られます。

    分布がスカスカでなくなる

    なお、時間が進むにつれてノイズが増加するということは、単に画像が崩れていくだけでなく、画像の確率分布そのものの地形が変化することを意味します。

    もともとの画像の分布P(x)P(\boldsymbol{x})は、意味のある画像が高次元空間のごく一部に集まって存在するという「スカスカ」な構造を持っています。これは、現実的な画像は非常に限られた領域にしか存在しないということを表しています。

    拡散過程では、時間の経過とともに、各画像にノイズが加えられ、画像はランダムに変化していきます。これは、一つひとつのデータ点に注目した場合、「意味のある画像が少しずつ壊れていく」プロセスです。しかし、多数の画像サンプル全体の分布に注目すると、話は異なります。

    もし拡散処理を大量の画像サンプルに一斉に適用した場合、それぞれの画像は異なる方向にノイズによって拡散されていきます。その結果として、もともと狭い領域に集中していた画像分布が、次第に空間全体に広がっていくようになります。

    例えば、MNISTの手書き数字の「2」の画像に徐々にノイズを加えていくと、「2」という形がだんだん崩れて、やがて意味を持たないノイズ画像になります。

    これと同じことを多数の「意味のある画像」に同時に行うと、それぞれが異なる方向に拡散するため、もともと限られた領域に集中していた分布が、徐々に空間全体へと広がるというわけです。

    このような動的な変化を考慮して、ある時点 ttにおける分布をPt(x)P_t(\boldsymbol{x})と書きます。これは、確率分布が時間とともに「地形を変えていく」ことを表しています。

    以下の図は、2次元変数による確率分布の時間変化をイメージしたものです。

    画像
    時間によって変化する確率分布のイメージ

    最終的には、全体に滑らかに広がる標準正規分布に近づき、空間のどの点においてもゼロでない密度を持つようになります。これが「分布がスカスカでなくなる」ということの意味です。

    このような広がった分布を出発点とすれば、どの点(画像の状態)からもスコア関数を計算でき、元の分布へ向かう逆拡散の過程(生成過程)を定義できます。この視点で考えると、生成モデルのサンプリングとは、ランダムなノイズから意味のある画像へと「分布を戻していく」過程だと言えます。

    生成過程(リバースSDE)

    この拡散過程の逆が生成過程(逆拡散過程)です。つまり、ノイズから出発して、時間を遡るようにして元のデータ分布へと向かう過程を指します。

    画像
    時間を逆に遡って変化する確率分布のイメージ

    この逆向きの動きは、フォワードSDEの逆過程(リバースSDE)として、次のように表現されます。

    dx=[f(x,t)−g2(t) ∇xlog⁡Pt(x)] dt+g(t) dwˉ\mathrm{d}\boldsymbol{x} = \biggl[ \boldsymbol{f}(\boldsymbol{x}, t) - g^2(t) \, \nabla_{\boldsymbol{x}} \log P_t(\boldsymbol{x})\biggr]\,\mathrm{d}t+ g(t)\,\mathrm{d}\bar{\boldsymbol{w}}

    • dx\mathrm{d}\boldsymbol{x}:画像x\boldsymbol{x}の微小な変化

    • f(x,t) dt\boldsymbol{f}(\boldsymbol{x}, t) \,\mathrm{d}t :フォワードSDEと同じドリフト項

    • g(t)g(t):フォワードSDEと拡散係数

    • ∇xlog⁡Pt(x)\nabla_{\boldsymbol{x}} \log P_t(\boldsymbol{x})は時刻ttのスコア関数

    • dwˉ\mathrm{d} \bar{\boldsymbol{w}}:時間を逆向きに進む時のブラウン運動(生成のためのサンプリング)
      ただし、フォワードSDEのブラウン運動と同様に標準正規分布に基づく

    この式が意味しているのは、「拡散過程(フォワードSDE)で加わった影響を打ち消し、さらに確率が高くなる方向へ進む」ということです。そのため、リバースSDEでは時間を逆行させています。

    つまり、時間が「負の方向に進む」(t=T→0t = T \rightarrow 0)につれて、データからノイズが除去されていく過程です。よって、dt<0\mathrm{d}t <0であり、f(x,t) dt\boldsymbol{f}(\boldsymbol{x}, t) \, \mathrm{dt}は、拡散過程におけるドリフト項をキャンセルする意味があります。

    画像
    論文:図1(下部)

    また、−∇xlog⁡Pt(x)- \nabla_{\boldsymbol{x}} \log P_t(\boldsymbol{x})は時刻ttのスコア関数が示すのとは逆の方向(確率が低くなる方向)ですが、dt<0\mathrm{d}t <0なので、−∇xlog⁡Pt(x) dt- \nabla_{\boldsymbol{x}} \log P_t(\boldsymbol{x}) \, \mathrm{d}t 全体では確率が高くなる方向へと移動(画像が変化)します。このスコア関数∇xlog⁡Pt(x)\nabla_{\boldsymbol{x}} \log P_t(\boldsymbol{x})は、ニューラルネットワークsθ(x,t)\boldsymbol{s}_\theta(\boldsymbol{x}, t)によって近似されます。

    なお、スコア関数の係数としてg2(t)g^2(t)が付いているのは、スコア関数が示す方向だけでなく、拡散過程で広がった分布を押し戻すためです。

    拡散過程では、ドリフト項f\boldsymbol{f}と拡散項g(t)dwg(t)\mathrm{d}\boldsymbol{w}で、確率分布を押し広げるのが目的です。よって、スコア関数(確率の勾配)は必要ありません。

    生成過程では、ランダムなノイズから意味のある画像へと「分布を戻していく」必要があるので、ドリフト項を押し戻すだけでなく、バラバラな方向に行われた拡散を確率の勾配に従って逆方向に補正していく必要があります。そのため−g2(t) ∇xlog⁡Pt(x) dt- g^2(t) \, \nabla_{\boldsymbol{x}} \log P_t(\boldsymbol{x})\,\mathrm{d}tが用いられるわけです。

    また、生成過程のdwˉ\mathrm{d} \bar{\boldsymbol{w}}は分布を戻すためではなく、サンプリングによってランダム性を導入するためであり、拡散過程で広がった分布を押し戻すことには直接関係しません。

    このg2(t)g^2(t)は単なる設計上の工夫ではなく、フォワードSDEに対して確率的に整合な逆SDEを定義するために必要な項であり、その形式はAnderson (1982)において理論的に導出されたものです。

    スコアベースの生成モデルの論文「Score-Based Generative Modeling via SDEs」でもこの式を基本構造として採用していますが、導出自体は省略されており、上記の古典的定理に依拠しています。

    次回予告

    今回は、スコアベースの生成モデルの基本理論を整理し、その視点から拡散過程と逆拡散過程について解説しました。

    次回は、スコアベースの生成モデルの理論をもう一歩深く掘り下げ、確率微分方程式(SDE)の設計という視点から、拡散と生成のメカニズムを見直していきます。

    特に、VE‑SDE / VP‑SDE / sub‑VP-SDEという代表的な3つの設計に注目し、それぞれの「ノイズの加え方・除去の仕方」の違いが、数式的にどのように構成されているのかを比較していきます。

    また、DDPMやDDIMといった既存の手法も、SDEの枠組みから再解釈することで、スコアベースの理論とどのようにつながっているのかを明確にしていきます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ