メインコンテンツへスキップ
見出し画像

画像生成AIの進化史⑧変分オートエンコーダ(VAE)

    前回は、ディープボルツマンマシン(Deep Boltzmann Machine, DBM)を紹介しました。

    今回は、2013年の論文「Auto-Encoding Variational Bayes」(変分ベイズ自動エンコーディング)で提案された、それまでとは異なる新しいアプローチに基づく生成モデル、変分オートエンコーダ(Variational AutoEncoder、VAE)を取り上げます。

    この論文は、次のような本質的かつ実用的な問いから始まります。

    扱いにくい事後分布を持つ連続潜在変数と大規模なデータセットが存在する場合、有向確率モデルで効率的な推論と学習をどのように実行できるでしょうか?

    (以下原文)
    How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets?

    Auto-Encoding Variational Bayes

    VAEは、この問いに対する解のひとつであり、これまで困難とされてきた推論・学習の壁を乗り越える方法を提示しました。

    こちらのシリーズで、VAEの理論的な説明や、簡単なプログラミングまで解説しています。

    シリーズ:変分オートエンコーダ(VAE)

    この記事では、VAEの論文が投げかけた問いとその仕組みの理解を深めるため、前回までに紹介したボルツマンマシン系のモデルと比較しながら解説していきます。

    VAEに至るまでの歴史的背景

    ボルツマンマシン系の系譜

    これまで紹介してきたボルツマンマシン系(BM系)のモデルは、すべて観測データ(学習データ)からノード(ニューロン)間の確率的な依存関係(接続の重み)を学習するものでした。

    ノード間の相互作用がわかると、サンプリングを繰り返すことで、データの分布に従った新しいデータの生成を行うことができるようになるという仕組みです。

    BM系では、特に以下のモデルがよく知られています。

    これらすべてにジェフリー・ヒントンが関わっており、彼は生成モデルの研究を中心に据えていたことが伺えます。

    これらは、いわゆるAIの冬の時代(第2次と第3次ブームの間)を通して発展してきたモデルであり、まだディープラーニング革命が本格化する以前の話です。

    画像

    しかし、これらのモデルにはいくつかの課題もありました。

    特に、サンプリングに依存した推論や生成は計算効率が悪く、より実用的な学習を行うにはさまざまなアルゴリズム的工夫が必要でした。

    深層信念ネットワークやディープボルツマンマシンでは、3〜4層程度の多層構造を持つモデルが提案され、より高度な特徴を抽出できるようになりましたが、現代のディープラーニングと比べると、依然として複雑で非効率な印象は否めません。

    ディープラーニングとVAE

    BM系のモデルにおける構造的・計算的な制約は、連続潜在変数と効率的な学習・生成を両立させた変分オートエンコーダ(VAE)によって取り除かれました。このモデルは、Diederik KingmaとMax Wellingによって提案されたものです。

    この革新を可能にした背景には、ディープラーニングの台頭があります。これもまた、ジェフリー・ヒントンらの研究によって切り拓かれました。

    2012年、ジェフリー・ヒントンが率いる研究チームによって開発されたAlexNetが、ImageNetの画像分類コンペティションで圧倒的な成績を納めて優勝しました。これにより、従来の「手作業による特徴量設計に依存した画像処理」を凌駕するディープラーニングの圧倒的な性能が世界に知られることになりました。

    そしてその翌年の2013年には、ディープラーニングを確率的生成モデルに適用した変分オートエンコーダ(VAE)の論文が発表されました。

    このような背景を踏まえたうえで、BM系のモデルとVAEを比較し、それぞれのアプローチがもつ特徴(限界)について理解を深めていきましょう。

    連続的な潜在変数の確率モデル

    変分オートエンコーダ(VAE)の大きな特徴の一つは、連続的な潜在変数を用いる点にあります。

    これは、離散的な潜在変数を持つBM系のモデルとは対照的です。

    BM系の潜在変数は離散的

    BM系、特に制限ボルツマンマシン(RBM)以降のモデルでは、観測データの特徴を抽出・表現するために「隠れ層」が導入されました。

    この隠れ層の状態は、可視層の状態を生成する際の条件となるため、観測データを生成する潜在的な要因を表現していると考えられます。よって、隠れノードは「潜在変数」を表現していると見なすことができます。

    潜在変数(latent variables)という呼び名は、データの背後にある「隠れた要因」や「抽象的な特徴」を表現することに由来します。

    生成モデルの文脈では、これは観測データを生み出すもとになる、直接観測されない変数のことを指します。

    例えば、手書き数字の画像を観測データとすると、「数字の種類」や「書き方の癖」といった要因が、潜在変数に対応する可能性があります。ただし、モデルが実際にどのような要因を潜在変数として学習しているかは、一般にブラックボックスであることが多いです。

    特に、確率的生成モデルにおいては、潜在変数の分布をモデル化・学習することで、そこから値をサンプリングし、そのサンプルを条件として生成データの確率分布を導出するという流れが取られます。

    BM系のモデルでは、隠れ層の状態は0または1の離散値として扱われます。
    同様に、可視層の状態も離散値であり、基本的には2値(0か1)で表現されます。

    実際の観測データを除くと、これらの値は固定されたものではなく、ネットワークが学習した確率分布に従ってサンプリングされるものです。たとえば、観測データ(可視層)から隠れ層の状態を推定する場合、各隠れノードの状態は、ベルヌーイ分布に従って決まります。

    このときの活性化確率(1になる確率)は、可視層との重み付き和にバイアスを加えた値に、シグモイド関数を適用することで計算されます。

    P(hj=1∣v)=sigmoid(∑iWijvi+bj)P(h_j = 1 \mid \boldsymbol{v}) = \text{sigmoid}\bigl(\sum\limits_i W_{ij}v_i + b_j\bigr)

    つまり、BM系のモデルでは、確率的に決まる離散的な値の集合として隠れ状態を表現し、それを条件として新たなデータの生成を行います。また、生成されたデータも離散的です。

    しかし、このような離散的な表現には限界があります。

    連続的な潜在変数の必要性

    画像や音声といったデータの多くは連続的な構造や滑らかな変化を含んでいるため、2値(0か1)のみでその特徴を表現・生成するには、柔軟性に欠けます。

    ベルヌーイ分布の確率値(たとえば0.8や0.3など)をそのまま状態値として利用するという発想も考えられます。しかし、これらの値はあくまで「1になる確率」を表すものであり、確率変数の平均的な挙動を意味しています。

    つまり、確率の値は連続的な量に見えるかもしれませんが、ベルヌーイ分布が前提とするのは、あくまで離散的な値をランダムにサンプリングすることです。

    したがって、観測データや潜在変数を連続的な値として扱いたい場合には、ベルヌーイ分布は根本的に不向きです。このような場合には、連続的な変数の値をサンプリングできる確率分布に基づくモデルが必要になります。

    例えば、正規分布(ガウス分布)のような連続的な分布を潜在変数のモデルとして用いることが考えられます。連続分布を使うことで、潜在変数が0か1といった離散値ではなく、連続的に変化する滑らかな表現として捉えられるようになります。

    実際、ジェフリー・ヒントンらによって2006年に提案されたガウス–ベルヌーイRBM(Gaussian–Bernoulli RBM)は、可視層(観測データ)を連続値として扱い、隠れ層は従来通り離散的(ベルヌーイ分布)とする構造を持っています。画像や音声などの連続値データを対象とするための拡張です。

    そのほかにも、隠れ層を含めたすべての変数を連続値で扱えるようにするための拡張(たとえばガウス–ガウスRBMなど)も提案されました。

    ただし、こうした工夫を施しても、サンプリングに強く依存した学習・推論の仕組みは変わらず、非効率性の問題は依然として大きな課題として残っていました。

    こうした課題を乗り越えたのが、変分オートエンコーダ(VAE)です。VAEでは、潜在変数が連続値を取るので、より滑らかで意味のある潜在表現が可能です。さらにニューラルネットワークによって潜在変数の分布が学習されることで、効率的な学習と生成が可能になりました。

    VAEにおける推論と生成

    VAEの構造は、大きく2つのニューラルネットワークから成ります。

    • エンコーダ(推論モデル):観測データから潜在変数の分布を推定。

    • デコーダ(生成モデル):潜在変数のサンプルから観測データを生成。

    学習の流れとしては、まずエンコーダに画像x\boldsymbol{x}を入力し、画像空間から潜在変数の空間への変換を行います。このとき、潜在変数の値を直接求めるのではなく、それぞれの潜在変数が従うガウス分布の「平均」と「標準偏差」を出力します。

    画像

    この図の例では、2つの潜在変数z1z_1とz2z_2に対応するガウス分布「平均」と「標準偏差」(μ1,σ1)(\mu_1, \sigma_1)と(μ2,σ2)(\mu_2, \sigma_2)が、それぞれエンコーダによって出力されています。

    なお、これらの潜在変数をまとめて、z=(z1,z2)\boldsymbol{z} = (z_1, z_2)とベクトル表現したものを、以下では単に「潜在変数」と呼びます。これは文章を簡潔にするためで、ほとんどの場合は、個別の潜在変数(ベクトルの成分)かどうかは文脈から明らかです。また、多くの記事や論文でも同様の表現が使われます。

    なお、VAEの論文では、それぞれの潜在変数は互いに独立なガウス分布に従うものとして扱われており、計算の簡略化が図られています。この仮定により、共分散行列は対角行列となり、潜在変数同士の相関を考慮する必要がなくなります。

    ただし、これはVAEの理論的な制限ではなく、あくまで具体的な実装を容易にするための設計上の選択です。

    さらに、実装では標準偏差σ\sigmaを直接予測するのではなく、分散σ2\sigma^2の対数log⁡(σ2)\log(\sigma^2)を出力するのが一般的です。これは、予測された分散の値が負になるのを防ぐための工夫です。

    まず、log⁡(σ2)\log(\sigma^2)自体は、負の無限大から正の無限大までの範囲の値を取ることができるため、ニューラルネットワークで非常に扱いやすいです。線形層の出力をそのまま使えばよく、特別な制約を設ける必要がありません。

    さらに、このlog⁡(σ2)\log(\sigma^2)を指数関数に渡します。指数関数の値は常にゼロ以上になるため、exp⁡(log⁡(σ2))=σ2\exp(\log(\sigma^2)) = \sigma^2で計算される分散σ2\sigma^2の値も0以上であることが保証されます。また、標準偏差は分散の平方根として計算できます。

    次に、エンコーダが推定したそれぞれの独立なガウス分布に従って、生成に用いる潜在変数のz\boldsymbol{z}の値をサンプリングします。

    画像

    ここまでの流れは、制限ボルツマンマシン(RBM)などにおいて、可視層から隠れ状態をサンプリングする処理に相当します。ただし、VAEではサンプリングされる潜在変数の値は連続的なガウス分布に従う実数値である点が大きく異なります。

    また、ここで重要なのは、ガウス分布からのサンプリングが、ボルツマンマシン系におけるギブスサンプリングと比べて、はるかに簡単かつ効率的(高速)だという点です。このため、サンプリングが含まれていても、学習全体の計算効率は非常に高く保たれます。

    なお、連続潜在変数をサンプリングする場合、その操作は確率的であり、微分可能ではありません。このため、最終的な損失値から誤差逆伝播を行おうとしても、サンプリングの箇所で勾配が止まってしまうという問題が生じます。

    これに対して導入されたのが「再パラメータ化トリック」と呼ばれる手法です。これについての詳細は後述しますが、サンプリングを通しても誤差逆伝播が行えるようになっています。

    次に、サンプリングによって得られた潜在変数z\boldsymbol{z}をデコーダに入力することで、観測データと同じ空間に属するデータ(例:画像)を生成します。

    画像

    サンプリングされた潜在変数は、入力画像の特徴を反映したガウス分布に従ったものなので、そこから生成される画像は、入力された画像と似たものになります。

    よって、生成画像と入力画像との違いを損失値に含めて計算し、誤差逆伝播による学習を行います。なお、損失値の計算では変分下限(Evidence Lower Bound, ELBO)が使われますが、これについては後述します。

    もちろん、ガウス分布に基づくサンプリングにはランダム性が伴うため、生成画像は完全に入力画像を復元することは期待されていません。

    しかし、その変動の多くは入力画像の特徴を表現する潜在変数のガウス分布の平均値を中心とした範囲に収まります。また、分散の大きさもニューラルネットワークが学習を通じて調整するため、入力画像から極端に異なる画像が生成されることは通常はありません。

    この仕組みにより、学習中のVAEが生成する画像は、入力画像とよく似た内容を再現しながらも、微妙に異なるバリエーションを含むものとなります。

    画像

    このような訓練によって、学習を終えたVAEのデコーダは、標準正規分布からランダムにサンプリングされた潜在変数の値を入力として学習データセットにあるような(ありそうなしかし存在しない)画像を生成できるようになります。

    しかし、ここで疑問が湧くかもしれません。

    学習中は入力画像に基づいて得られたガウス分布から潜在変数をサンプリングしています。このガウス分布は入力画像の特徴に基づいており、標準正規分布とは限りません。それでも、学習後にデコーダへ与えるランダムな潜在変数は標準正規分布からサンプリングしています。なぜ、これで学習データに似たデータの生成が可能になるのでしょうか。この点についても後ほど解説します。

    サンプリングと誤差逆伝播

    ここまでの流れを通して、次の3つの疑問が残っています。

    • 再パラメータ化トリックとは何か?

    • 損失値の計算で使われる変分下限(Evidence Lower Bound, ELBO)とは?

    • 学習後の潜在変数はなぜ標準正規分布からサンプリングできるのか?

    ここからは、これらの疑問に答えていきます。

    再パラメータ化トリック

    VAEを訓練する際のデータの流れとして、ここまでは主にエンコーダからデコーダへの順方向処理を見てきました。今度は逆に、損失関数の値をもとに誤差逆伝播を行ってパラメータを更新する流れを見ていきます。これは、他の深層学習モデルと同様に損失値から各パラメータへの偏微分の連鎖を計算していきます。

    しかし、途中に確率的なサンプリング処理が挟まっているため、この部分は微分可能ではありません。その結果、最終的な損失値から誤差逆伝播を行おうとしても、サンプリングの箇所で勾配が伝播できなくなるという問題が発生します。

    この問題は、「再パラメータ化トリック」(Reparameterization Trick)を導入することで解決されました。

    仕組みは単純で、潜在変数の値をガウス分布から直接サンプリングするのではなく、パラメータとランダム性を分離した変換式を使います。

    zi=μi+σi×ϵiz_i = \mu_i + \sigma_i \times \epsilon_i

    ここで、ziz_iは、ii番目の潜在変数(要素)です。μi\mu_iとσi\sigma_iは、エンコーダが計算したziz_iが従うガウス分布の平均と標準偏差(分散の平方根)です。

    このμi\mu_iとσi\sigma_iは、エンコーダが決定論的に計算した値でありランダム性はありません。ランダム性があるのは、ϵi∼N(0,1)\epsilon_i \sim \mathcal{N}(0, 1)で、これは標準正規分布(平均0・標準偏差1)からサンプリングされた値です。

    つまり、この式で得られる潜在変数ziz_iは、エンコーダが出力したμi\mu_iとσi\sigma_iに対して微分可能な関数です。よって、サンプリング処理を含んだままでも誤差逆伝播による学習が可能になっています。

    結果として、確率的な潜在変数がディープラーニングの学習の枠組みにうまく統合されました。また、サンプリングも非常に容易で効率的です。

    変分下限(ELBO)損失

    VAEの学習で用いられる損失は、変分下限(Evidence Lower Bound, ELBO)として計算されます。

    ELBOは次の2つの項で構成されています。

    • 再構成誤差:デコーダが生成するデータが、入力データとどれだけ一致しているか

    • KLダイバージェンス:エンコーダが出力する潜在変数の分布が、標準正規分布にどれだけ近いか

    再構成誤差(Reconstruction Loss)は、観測データx\boldsymbol{x}と、デコーダによって生成(再現)されたデータ x′\boldsymbol{x}′との違いを数値化したものです。特に画像データの場合、これはピクセルごとの誤差を平均した平均二乗誤差(MSE)として定式化されるのが一般的です。

    KLダイバージェンス(Kullback–Leibler divergence)は、2つの確率分布がどれだけ異なるかを測る指標です。分布が完全に一致している場合、その値は 0 になりますが、一致していない場合には、その差に応じた正の値が返されます。

    VAEの学習では「エンコーダが出力する潜在変数の分布」と「標準正規分布」の違いをKLダイバージェンスで測ります。この値ができるだけ0に近づくように最適化を行います。

    なお、各入力画像の特徴は、エンコーダによって「潜在変数の分布(平均と分散)」として表現されます。つまり、各画像ごとに異なる平均ベクトルと分散ベクトルが出力されます。あくまで全体として、潜在空間が標準正規分布に近い構造を持つようにするということです。

    KLダイバージェンスの値を 0 に近づけるために、最適化によって、エンコーダのパラメータが調節されます。つまり、これは最終的な生成画像の質を評価するのではなく、潜在変数の分布を調節するためなので正則化(regularization)項として機能します。

    正則化がない場合、各データ(画像)に対する潜在変数の平均や分散がばらばらになり、潜在空間が分断されてしまうおそれがあります。そうなるとデコーダも安定して再構成を学習することが難しくなります。

    KLダイバージェンスはこちらでも解説しています。

    ELBOの中のKLダイバージェンスによって潜在変数の分布が標準正規分布に近づけられることで、全データに共通する構造を持った滑らかな潜在空間が形成され、学習と生成の両方が安定します。

    なお、ELBOに関しては、後でもう少し詳しく触れます。

    標準正規分布からサンプリング

    学習を終えたVAEのデコーダは、特定の入力画像に依存した潜在変数のガウス分布(一般には標準正規分布とは異なる)に縛られることなく、標準正規分布から各成分をサンプリングした潜在変数から、もっともらしいデータを生成できるようになります。

    とはいえ、「潜在変数の分布を標準正規分布に近づける」という設計は、本当に妥当な前提なのでしょうか?

    これはモデル側が勝手に仮定した事前分布であり、それに無理やり合わせようとしているようにも見えます。ここではこの点について、ベイズ的な観点からもう少し掘り下げながら考察してみます。

    ELBOの中のKLダイバージェンスは、潜在変数の事前分布として仮定された標準正規分布と、入力データを条件としてエンコーダが出力した潜在変数の事後分布との違いを定量化する指標です。

    • 潜在変数の事前分布P(z)P(\boldsymbol{z}):zi ∼N(0,1)z_i ~ \sim \mathcal{N}(0, 1)

    • 潜在変数の事後分布P(z∣ x)P(\boldsymbol{z}\mid \boldsymbol{x}):zi∼N(μi,σi2)z_i \sim \mathcal{N}(\mu_i, \sigma_i^2)

    個々の入力画像に対する潜在変数の分布はそれぞれの平均と分散を持ちますが、データセット全体で考えれば、標準正規分布に従うようにしたいわけです。そうすることで、学習後のデータ生成のためのサンプリングを標準正規分布から行うだけでランダムな画像が生成できます。

    なお、事前分布と事後分布の関係はベイズ定理によって次のように表現できます。

    P(z∣x)=P(x∣z)P(x)P(z)P(\boldsymbol{z}\mid \boldsymbol{x}) = \frac{P(\boldsymbol{x}\mid \boldsymbol{z})}{P(\boldsymbol{x})}P(\boldsymbol{z})

    ここで、VAEは潜在変数の事前分布P(z)P(\boldsymbol{z})をN(0,1)\mathcal{N}(0, 1)にしたいとしています。また、デコーダはP(x∣z)P(\boldsymbol{x}\mid \boldsymbol{z})という生成のための条件確率を学習しているわけです。

    よって、標準正規分布N(0,1)\mathcal{N}(0, 1)からサンプリングした潜在変数の値をデコーダに入力することは、観測データの空間に属するx\boldsymbol{x}をサンプリング(生成)するのと同じであることがベイズ定理からも理解できます。

    つまり、条件となる潜在変数の分布(=事前分布)は我々が決めても、デコーダがそれに対応するデータの再現を十分に学習できるのであれば、実用上は問題がありません。このため、サンプリングが容易な標準正規分布N(0,1)\mathcal{N}(0, 1)が、潜在変数の事前分布として選ばれたわけです。

    このように、ベイズ的な立場では、「主観的な事前分布」を自由に仮定できることが一つの利点です。

    ベイズ定理の関係さえ満たされていれば「事前分布は仮定であっても問題なく、結果として良い推論や生成が得られれば正当化される」という発想に立っています。

    これは、データに基づいて厳密な推定を行おうとする「客観的な統計学」の考え方とは、根本的に異なるアプローチです。この点が、ボルツマンマシン系のモデルとVAEとの間にある大きな思想的な違いでもあります。

    とすると、あとはそれぞれの観測データx\boldsymbol{x}に対応する潜在変数の分布P(z∣x)P(\boldsymbol{z}\mid\boldsymbol{x})をエンコーダが学習して、上記のベイズ定理の式が成り立つようにネットワークのパラメータを調節(最適化)できれば、エンコーダからデコーダへの一連の処理によって入力画像を再現できるようになります。

    このためエンコーダがうまく学習することが重要となります。

    エンコーダの重要性と役割

    潜在変数の事後分布の近似したい

    エンコーダは、観測データx\boldsymbol{x}を条件とした潜在変数z\boldsymbol{z}の事後分布P(z∣x)P(\boldsymbol{z}\mid\boldsymbol{x})を推定します。しかし、この分布がガウス分布のような単純な形をしているという保証は理論的にはありません。もしかすると、極めて複雑で解析が難しい分布かもしれません。

    そこでVAEでは、この未知の事後分布P(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})を計算が容易で微分可能なガウス分布で近似しているとします。これを、ニューラルネットワークによる効率的な学習によって実現しようというわけです。よって、エンコーダの役割は、潜在変数の各要素に対するガウス分布(平均と分散)を出力することになります。

    エンコーダが学習するガウス分布による近似分布を次のように表現します。

    Qϕ(z∣x)Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})

    ここでϕ\phiはエンコーダのパラメータ(ニューラルネットワークにある重みやバイアス)を意味します。

    ガウス分布による近似分布Qϕ(z∣x)Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})が真の事後分布P(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})に近づくように学習することを目指します。

    なお、これは真の事後分布の全体を一つのガウス分布で近似しているのではなく、特定の入力画像の特徴を条件として、その潜在変数の分布をガウス分布で近似しているわけで、局所的な近似をさまざまな入力データから学習するということです。

    近似がうまくいくように真の事後分布とのKLダイバージェンスが0に近づくように最適化を行います。

    DKL(Qϕ(z∣x)∥P(z∣x))=Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡P(z∣x) ]D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x})) = \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log P(\boldsymbol{z} \mid \boldsymbol{x}) \biggr]

    なお、この式やこの後に出てくるELBO関連の式の導出ステップの解説はこちらで行っています。また、詳細なVAEの解説は、変分オートエンコーダのシリーズの一読をオススメします。

    通常、KLダイバージェンスでは、真の分布に対してどれだけ近似分布が近いかを評価します。したがって、本来であれば期待値の計算にはP(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})を使うべきです。しかし、これは未知であるため、計算可能な近似分布Qϕ(z∣x)Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})を用いて期待値を評価しています。

    しかし、まだこの式には直接は計算できないP(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})が含まれているため、次にベイズ定理を用いて式を展開していきます。

    DKL(Qϕ(z∣x)∥P(z∣x))=Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡P(z∣x) ]=Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡(P(x∣z)P(x)P(z))]\begin{aligned} &D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x})) \\[2ex] &= \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log P(\boldsymbol{z} \mid \boldsymbol{x}) \biggr] \\[4ex] &= \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log \left( \frac{P(\boldsymbol{x} \mid \boldsymbol{z})}{P(\boldsymbol{x})}P(\boldsymbol{z}) \right) \biggr] \\ \end{aligned}

    この式変形から、次のことがわかります。

    • P(x∣z)P(\boldsymbol{x} \mid \boldsymbol{z})は、デコーダが学習する条件付き分布です。

    • P(z)P(\boldsymbol{z})は、標準正規分布と仮定しているので既知です。

    • P(x)P(\boldsymbol{x})は、観測データの分布なのでz\boldsymbol{z}に依存しないので、期待値の計算の外に出すことができます。

    よって、さらに次のように変形できます。

    DKL(Qϕ(z∣x)∥P(z∣x))=Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡(P(x∣z)P(x)P(z))]=Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡P(x∣z)−log⁡P(z)+log⁡P(x)]=−Ez∼Qϕ(z∣x)[log⁡P(x∣z)]+Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡P(z)]+log⁡P(x)\begin{aligned} &D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x})) \\[2ex] &= \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log \left( \frac{P(\boldsymbol{x} \mid \boldsymbol{z})}{P(\boldsymbol{x})}P(\boldsymbol{z}) \right) \biggr] \\[4ex] &= \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log P(\boldsymbol{x} \mid \boldsymbol{z}) - \log P(\boldsymbol{z}) + \log P(\boldsymbol{x})\biggr]\\[4ex] &= - \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[\log P(\boldsymbol{x} \mid \boldsymbol{z}) \biggr] + \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log P(\boldsymbol{z}) \biggr] \\[4ex] &\qquad + \log P(\boldsymbol{x})\\ \end{aligned}

    この式の各項について、次のことが言えます。

    • 第1項の期待値は、デコーダが生成するデータが観測データに近くなるように学習を行うことで大きくなる。つまり、生成されるデータの品質を意味する。

    • 第2項の期待値は、エンコーダが出力する潜在変数の近似分布と事前分布のKLダイバージェンス。

    • 第3項は、エンコーダが出力する潜在変数に依存しないので最適化の観点からは無視できる。

    これらを考慮して損失関数を組み立てればよいことがわかります。第1項をKLダイバージェンスとして表現しておきます。

    DKL(Qϕ(z∣x)∥P(z∣x))=−Ez∼Qϕ(z∣x)[log⁡P(x∣z)]+Ez∼Qϕ(z∣x)[log⁡Qϕ(z∣x)−log⁡P(z)]+log⁡P(x)=− Ez∼Qϕ(z∣x)[log⁡P(x∣z)]+DKL(Qϕ(z∣x)∥P(z)) +log⁡P(x)\begin{aligned} &D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x})) \\[2ex] &= - \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[\log P(\boldsymbol{x} \mid \boldsymbol{z}) \biggr] + \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) - \log P(\boldsymbol{z}) \biggr] \\[4ex] &\qquad + \log P(\boldsymbol{x})\\[4ex] &= - \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log P(\boldsymbol{x} \mid \boldsymbol{z}) \biggr] + D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z})) + \log P(\boldsymbol{x})\\ \end{aligned}

    つまり、近似分布と真の事後分布を近づけるには、第1項にある期待値を大きくして、第2項にあるKLダイバージェンスを最小化する必要があります。

    第1項にある期待値は、デコーダの出力が入力データに近づく(=再構成誤差が小さくなる)ほど大きくなります。これは、デコーダの出力の良さに直接に影響します。これにマイナスがついているので、最終出力から計算される損失値(Loss value)と捉えられます。

    なお、エンコーダが出力する分布からのサンプリング結果を使ってデコーダが生成するため、第1項にある期待値は両者の性能が一体となって反映される部分でもあります。

    第2項にあるKLダイバージェンスは、エンコーダが推定する潜在変数の事後分布を、事前分布である標準正規分布に近づけるために正則化項です。これが小さくなることが望まれます。

    第3項にあるlog⁡P(x)\log P(\boldsymbol{x})は、観測データのみに依存する定数項であり、最適化の観点では無視できます。

    なお、第1項と第2項のマイナスをかけたものをELBOと呼びます。

    ELBO=Ez∼Qϕ(z∣x)[log⁡P(x∣z)]− DKL(Qϕ(z∣x)∥P(z))\text{ELBO} = \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log P(\boldsymbol{x} \mid \boldsymbol{z}) \biggr] - D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z}))

    このELBOを最大化することは、正則化を含めた損失を最小化することに関連しますが、これについてはもう少し後に解説します。

    ここで一度、ディープラーニングの恩恵について考えてみます。

    ディープラーニングの恩恵

    これまで考察から、VAEにおいてエンコーダが極めて重要で、中心的な役割を果たしていることがわかります。

    そのため、良質なデータを生成できるようにするためには、データの特徴に応じて、エンコーダの構造を工夫することが大切です。ここでもディープラーニングを利用することで恩恵を受けています。

    たとえば、観測データx\boldsymbol{x}が画像データである場合には、RGB(3チャンネル)やモノクロ(1チャンネル)といった構造があります。これらを単純に平坦化して線形層に入力してもよいですが、畳み込み層(CNN)を活用することで空間構造を保持したまま特徴抽出することも可能です。

    現在では、こうした処理に適したネットワーク構造が多数提案されており、大量のデータから効率的に学習するための設計が発展しています。デコーダに関しても同様の恩恵があります。

    また一般に、潜在変数ベクトルz\boldsymbol{z}は、2 次元以上の連続値ベクトルとして設計されますが、ディープラーニングの高い表現力により、たとえ次元数が少なくても複雑なデータの生成が可能になります。

    たとえば、MNISTのような手書き数字のデータであれば、潜在変数を 2 次元に制限しても、十分な画像生成が実現できます。

    これは潜在変数が連続的な値を取り、特徴を滑らかかつ微細に表現できるという性質も大きく寄与しています。離散的な潜在変数に比べて、連続的な潜在空間は変化の自由度が高く、細かい表現による生成が可能となっています。ここでも、ディープラーニングが連続的な値を扱うのに適していることが役立っています。

    たとえば、「2つの潜在変数」がある場合でも、その意味は離散的か連続的かによって大きく異なります。

    ボルツマンマシン系のモデルでは、潜在変数はそれぞれ 0 または 1 の離散値しか取らないため、全体として取りうる状態は2×2=42 \times 2 = 4通りしかありません。

    一方、VAEでは潜在変数が連続値をとるため、その表現空間は理論的には無限に広がっています。よって、同じ「2次元」でも、その中に埋め込まれた特徴の細かさや滑らかさはまったく異なります。

    なお、VAEにおいては、エンコーダ内部の中間層(隠れ層)の状態は、潜在変数とはみなされません。エンコーダは、観測データを入力として「潜在変数の確率分布」(平均と分散)を出力する関数として機能しています。

    この点は、隠れ層の状態がそのまま潜在変数の役割を果たしていたボルツマンマシン系のモデルと設計思想が異なるところです。

    このような複雑な関数を学習するのにディープラーニングは適しています。

    変分推論とELBOの関係

    話をELBOに戻しましょう。

    VAEが「変分」(Variational)と呼ばれる理由は「変分推論」(Variational Inference)というベイズ推論の近似手法を使っているからです。

    すでに仕組みとしては解説しましたが、ここで改めてELBOとの関係を踏まえながら、あらためて全体像を整理しましょう。

    まず前提として、VAEは確率的生成モデルとして構築されています。

    観測データx\boldsymbol{x}は、潜在変数z\boldsymbol{z}によって生成される、つまりP(x∣z)P(\boldsymbol{x}\mid\boldsymbol{z})に従ってサンプリングされると仮定しています。

    よって、求めたいのは、観測データx\boldsymbol{x}が与えられたときの、その特徴を表す潜在変数の事後分布P(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})です。

    しかし、P(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})の具体的な形はわからないという問題があります。

    そこで、これをベイズの定理を使って分解して表現すると、以下になります。

    P(z∣x)=P(x∣z)P(x)P(z)P(\boldsymbol{z} \mid \boldsymbol{x}) = \frac{P(\boldsymbol{x}\mid\boldsymbol{z})}{P(\boldsymbol{x})}P(\boldsymbol{z})

    ここで注目すべきは、分母にあるP(x)P(\boldsymbol{x})の計算が困難だということです。

    P(x)P(\boldsymbol{x})は「周辺尤度」(Marginal Likelihood)や「証拠」(Evidence)と呼ばれ、すべての潜在変数を統合した確率として次のように表されます:

    P(x)=∫P(x,z)dz =∫P(x∣z)P(z)dzP(\boldsymbol{x}) = \int P(\boldsymbol{x},\boldsymbol{z}) \mathrm{d}\boldsymbol{z} = \int P(\boldsymbol{x}\mid\boldsymbol{z})P(\boldsymbol{z}) \mathrm{d}\boldsymbol{z}

    つまり、潜在変数z\boldsymbol{z}の全体にわたる積分が必要となるため、分布が複雑になると、この積分は解析的に求められず、さらに高次元になればなるほど、数値計算による評価も困難となります。

    ここでいう「数値計算」とは、潜在変数空間に対して等間隔にサンプルを取ったり、モンテカルロ法のようにランダムにサンプリングして積分を近似するような方法を指します。しかし、潜在変数が高次元になると、こうした数値積分は計算量が指数的に増加してしまい、現実的には実行が困難になります。

    ここで登場するのが「変分推論」です。

    「変分」とは、ある関数そのものの形を変形させて、特定の条件を満たす最適な関数を探すという考え方です。

    これは、関数の“形”は固定したまま、その中の変数に関する変化率(=傾き)を求める「微分」とは異なります。

    微分が「点における変化」に注目するのに対して、変分は「関数全体を変化させる」という操作を指します。

    VAEでは、事後分布P(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})を、より扱いやすい近似分布Qϕ(z∣x)Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})に置き換えます。そしてこの近似分布を変化させながら(=変分によって)、真の事後分布により近付くような最適化を行います。

    このように、関数そのものの形を変えて最適化を行うという枠組みにより、VAEは「変分推論」の手法を取り入れていると言えます。さらに、この近似分布の関数(エンコーダ)は、ニューラルネットワークによって表現されているため、ディープラーニングの強力な表現能力がここでも活用されています。

    この近似分布(=エンコーダが表現する関数)を、ディープラーニングによって自動的に最適化し、真の事後分布にうまく近づけようとするのがVAEの考え方です。このように、変分推論の手法を、オートエンコーダの枠組みに組み込んで学習するため、このモデルには「変分オートエンコーダ(Variational AutoEncoder)」という名前が付けられています。

    ちなみに「変分」ではないオートエンコーダもあります。例えば「PyTorchで作るノイズ除去オートエンコーダ」で紹介したもので、確率モデルではありません。

    すでに説明してきた通り、ベイズ推論では、目的に応じて事前分布を柔軟に設定できます。VAEでは、この利点を活かし、潜在変数の事前分布P(z)P(\boldsymbol{z})として、サンプリングしやすい標準正規分布を採用しています。また、観測データの生成モデルP(x∣z)P(\boldsymbol{x}\mid\boldsymbol{z})は、デコーダによって学習される確率分布として構築されます。

    VAEにおける変分推論の目標は、エンコーダが表現する近似の事後分布Qϕ(z∣x)Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})が、真の事後分布P(z∣x)P(\boldsymbol{z} \mid \boldsymbol{x})にできるだけ近づくようにすることになります。

    よって、KLダイバージェンスDKL(Qϕ(z∣x)∥P(z∣x))D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x}))を最小化するように、エンコーダとデコーダを同時に最適化しています。

    ただし、このKLダイバージェンスは直接には計算できません。

    そこで、式を変形して、最終的に以下の式になりました。

    DKL(Qϕ(z∣x)∥P(z∣x))=−Ez∼Qϕ(z∣x)[log⁡P(x∣z)]+DKL(Qϕ(z∣x)∥P(z))+log⁡P(x)\begin{aligned} &D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x})) \\[2ex] &= - \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log P(\boldsymbol{x} \mid \boldsymbol{z}) \biggr] + D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z})) + \log P(\boldsymbol{x})\\ \end{aligned}

    ここで、ELBOを次のように定義するとも言いました。

    ELBO= Ez∼Qϕ(z∣x)[log⁡P(x∣z)]− DKL(Qϕ(z∣x)∥P(z))\text{ELBO} = \mathbb{E}_{\boldsymbol{z} \sim Q_\phi(\boldsymbol{z} \mid \boldsymbol{x})} \biggl[ \log P(\boldsymbol{x} \mid \boldsymbol{z}) \biggr] - D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z}))

    これを使うと全体の式は次のように表現できます。

    DKL(Qϕ(z∣x)∥P(z∣x))=−ELBO+log⁡P(x)D_{\text{KL}}(Q_\phi(\boldsymbol{z} \mid \boldsymbol{x}) \| P(\boldsymbol{z} \mid \boldsymbol{x})) = -\text{ELBO} + \log P(\boldsymbol{x})

    なお、KLダイバージェンスは常に0以上なので、次の関係が成り立ちます。

    log⁡P(x)≥ELBO\log P(\boldsymbol{x}) \ge \text{ELBO}

    つまり、ELBO(Evidence Lower Bound)は、周辺尤度(証拠)の対数log⁡P(x)\log P(\boldsymbol{x})に下限を与えます。

    英語ではそのまま「証拠の下限」と呼ばれていますが、日本語では「変分推論における下限」という意味で、変分下限と訳すのが一般的です。

    また、ELBOを最大化することは周辺確率(証拠)の下限を最大化することになります。すでに見たように、ベイズ的には、周辺確率は次のように表されます。

    P(x)=∫P(x,z)dz =∫P(x∣z)P(z)dzP(\boldsymbol{x}) = \int P(\boldsymbol{x},\boldsymbol{z}) \mathrm{d}\boldsymbol{z} = \int P(\boldsymbol{x}\mid\boldsymbol{z})P(\boldsymbol{z}) \mathrm{d}\boldsymbol{z}

    すなわち、モデルがデータ全体をどれだけうまく説明できているかを評価しています。この積分自体は困難ですが、ELBOを通じてこの量の下限を最大化することで、間接的にモデルの説明力を高めることが可能になっているというわけです。

    ディープラーニングでは損失値を小さくすると考えるので、−ELBO-\text{ELBO}を損失値として扱います。これをできるだけ小さくすることで、データの説明能力(の下限)をできるだけ高めるわけです。

    なお、ELBOの中にあるKLダイバージェンスDKL(Qϕ(z∣x)∥P(z))D_\text{KL}(Q_\phi(\boldsymbol{z}\mid\boldsymbol{x})\|P(\boldsymbol{z}))は、比較している分布が両方ともガウス分布なので解析的に式を導くことができます。

    以上でVAEの理論的な側面の説明は終わりました。

    確率的生成モデルとしてのVAE

    以下に、確率的生成モデルとしてのVAEの特徴をまとめました。

    連続潜在変数による表現

    VAEの仕組みよって学習されたモデルは、連続的に変化する潜在変数に対応するデータの変化(たとえば数字の「書き方」の変化や「形のゆらぎ」)を自然に表現することができるようになります。また、ディープラーニングを活用することで大量のデータからの学習も効率的になりました。

    画像
    2次元の潜在空間における連続的な特徴の変化

    こういったサンプリングは容易で高速です。潜在変数の値は等間隔でずらしながらデコーダで画像生成をするだけです。

    このように、VAEでは「連続的な潜在変数」「効率的な学習」「効率的なサンプリング」「滑らかな生成」が可能となっており、BM系の生成モデルよりも実用的かつ柔軟なものにしています。

    有向確率モデル

    VAEは有向確率モデルと呼ばれ、BM系のモデルとこの点でも異なります。

    制限ボルツマンマシン以降のBM系のモデルでは、可視層と隠れ層(1層または多層)の間の推論と生成が、双方向の相互接続を通じて行われていました。

    • BM系の推論:可視層 → 隠れ層

    • BM系の生成:可視層 ← 隠れ層

    つまり、観測データ(可視層)から推論された隠れ層の状態をもとに、再び可視層を生成し直すという反復的で確率的な双方向の処理を、ギブスサンプリングを使った手法で実現していました。

    コントラスティブ・ダイバージェンス(CD法)では、このプロセスを1回または数回繰り返し、最初の状態と最終の状態の差から、パラメータ更新を行ってました。

    これに対して、VAEでは推論と生成の流れが「エンコーダ → デコーダ」の一方向の処理で行われます。ただし、概念的にはBM系と対応関係があります。

    • エンコーダ:BM系の「可視層 → 隠れ層」に相当

    • デコーダは:BM系の「隠れ層 → 可視層」の相当

    また、VAEでも途中にサンプリングが入るという意味ではBM系と共通点があります。それでも、VAEは「有向グラフ」として定義された確率モデルであり、学習における「推論から生成へ」の処理は一方向(フィードフォワード)です。

    有向グラフとは、グラフのノード間の接続に「向き」があり、一方向の関係性を持つ構造です。

    また、VAEの学習におけるサンプリングは、エンコーダの出力をもとに潜在変数を1回だけ生成する形式で行われます。

    これに対し、BM系のモデルではすべての層においてサンプリングが行われ、潜在変数も各層ごとに定義されているため、全体として繰り返しのサンプリングが必要になる点が大きな違いです。

    なお、VAEによる処理が一方向なのは、ディープラーニングのフレームワーク上で構築されているためです。フィードフォワードで損失を計算し、その損失に基づいて誤差逆伝播(backpropagation)を用いてネットワーク全体のパラメータを更新します。

    誤差逆伝播は情報の流れとしては逆方向ではありますが、ノードの接続というよりも勾配(損失値に対する各パラメータの偏微分)を計算する手段です。

    よって、この処理は、確率モデルにおける「推論」や「生成」のプロセスとは性質が異なります。

    とはいえ、VAEの学習において、生成されたデータと観測データの違いを損失として評価する点で、確率モデルとしての基本的な発想が引き継がれています。

    すなわち、「生成モデルは現実と一致するように調整されるべき」という教師なし学習の考え方は、BM系から続く確率的生成モデルの手法を受け継がれているとも言えます。

    VAEの良い点

    VAEの良い点を簡単にまとめると以下になります。

    • 大規模データセットを活用

    • 多層構造による複雑な特徴量の抽出

    • 推論(エンコーダ処理)と生成(デコーダ処理)が非常に高速

    そのため、観測データを条件とした潜在変数の事後分布の推論も、BM系と比較して遥かに効率的・実用的なものになりました。

    ここで、VAEの論文が提示した問いを改めて確認してみましょう。

    扱いにくい事後分布を持つ連続潜在変数と大規模なデータセットが存在する場合、有向確率モデルで効率的な推論と学習をどのように実行できるでしょうか?

    (以下原文)
    How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets?

    Auto-Encoding Variational Bayes

    この問いに対し、VAE(Auto-Encoding Variational Bayes)は、ニューラルネットワークを用いた学習と生成の枠組み、そして変分推論の手法を組み合わせることで、実用的かつスケーラブルな解決策を提示しました。

    VAEの問題点

    VAEは理論的にも整然としており、素晴らしい枠組みですが、もちろん限界や課題も存在します。特に、後発のGANと比べると「生成画像がぼやけやすく」「品質が劣る」ことが指摘されました。

    また、潜在変数の次元数は人間が決めるものなので、扱うデータセットによって適切な(多すぎなく、少なすぎない)値を設定する必要があります。

    なお、正則化項(KLダイバージェンス)の威力が強すぎると、エンコーダが標準正規分布にこだわりすぎて、意味のある潜在表現を学習できない問題もあります。

    このため、VAEの拡張として後に登場したβ-VAE(2017年)では、損失関数としてこの2つの項のバランスを取るためのハイパーパラメータ(β)が導入されました。

    • β=1:オリジナルのVAEと同じ

    • β>1:正則化による潜在変数の分布が重視される。

    • β<1:生成データの質が重視される。

    つまり、再構成誤差とKLダイバージェンスのバランスを調節することが可能です。しかし、新しいハイパーパラメータをうまく調節する必要も生まれました。

    次回予告

    次回は、VAEの翌年になる2014年に発表された生成的敵対ネットワーク(Generative Adversarial Network、GAN)を紹介します。

    GANは、識別器(Discriminator)と生成器(Generator)を対立させることで、サンプルの「リアリティ」(Reality)そのものを学習目標とします。

    これにより、VAEよりも鮮明で自然な画像が生成できるようになりました。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ