
画像生成AIの進化史②ガウス分布
前回は、そもそも「生成モデル」とは何をモデル化しているのかを議論しました。突き詰めると、生成モデルは、観測データからその背後にある分布を学習するモデルです。しかし、実際のデータを説明する分布は必ずしも一意に決まるわけではありません。多次元かつ複雑な構造を持つため、無数の可能性が考えられます。
そこで今回は、観測データからどのように確率分布を決定するか、その背景や理論について掘り下げます。例として、最も頻繁に用いられるガウス分布(正規分布)を取り上げます。
なお、この記事で取り上げるエントロピーの最大化による正規分布の導出についてはこちらで解説しました。この記事では詳細には触れずに概念的な説明から話を広げていきます。
ガウス分布について
まずは、ガウス分布と中心極限定理について簡単におさらいします。
ガウス分布のパラメータ
ガウス分布は、確率論や統計学において最も重要な分布の一つです。多くの自然現象や測定値がこの分布を使ってモデリングされています。
この分布の形状は釣鐘型で、中心付近にデータが集中し、平均値を中心に左右対称となっています。また、分布の広がりは標準偏差によって決まります。

しかし、なぜガウス分布のパラメータは平均と分散の2つだけなのでしょうか。この単純な構造にもかかわらず、なぜ統計学や機械学習で広く使われているのでしょうか。
この疑問を探るために、まずは歴史を少し振り返ってみます。
中心極限定理との関係は
ガウス分布は、統計学や機械学習で最もよく使われる分布のひとつですが、実はこれを最初に研究したのはカール・フリードリヒ・ガウスではありません。
18世紀、フランスの数学者アブラーム・ド・モアブルが二項分布の近似として正規分布を使用し、これが「ド・モアブル-ラプラスの定理」として知られるようになりました。その後、ピエール=シモン・ラプラスがこの理論を発展させ、中心極限定理の基礎を築きました。
中心極限定理については、こちらで解説しました。これは、多くの独立同分布の確率変数の和(または平均)が、サンプル数が十分に大きいときに正規分布に近づくという定理です。
例えば、コイン投げを10回行って表が出る平均を計算する試行を何度も繰り返すと、その分布は正規分布に近づきます。
あるいは、サイコロを5回振ってその目の平均を求める試行を何度も繰り返すと、結果の分布は正規分布に近づきます。
なお、一般に独立試行の回数が増えるにつれて、正規近似の精度は向上します。

つまり、二項分布や一様分布など、もともとガウス分布とは異なる分布に従う試行でも独立(試行同士に相関がない)であれば、多数回の平均や和をとることを繰り返すとその分布がガウス分布に近づきます。
このため複雑な要因によるノイズなどは、独立試行とみなせるため、ガウス分布による近似が適用できることが多いです。これが、多くの自然現象でガウス分布が現れる理由になっています。
実際、ガウスがこの分布を有名にした理由は、彼が天文学や物理学の測定誤差の解析に正規分布が適用できることを示したからです。測定誤差は、さまざまな要因による小さな影響の合成(和)であり、それぞれの影響は独立試行とみなせます。そのため、中央極限定理により、測定誤差の分布は正規分布に近づきます。
こうして正規分布は統計学の中心的な存在となり、ガウスの名を冠した「ガウス分布」として知られるようになりました。
さて、ガウス分布と中心極限定理の関係がわかったので、次になぜガウス分布のパラメータが平均と分散の2つだけなのかを考えます。
最も偏りがないモデル化
観測データからどのように確率分布を決定するか、特に余計な思い込みを持ち込まないためにどうするのか、その背景や理論について考えます。
限られた情報でモデル化
データの分布を決定するとき、以下のような状況に置かれているとします。
サンプルデータの平均と分散は分かっている
しかし、それ以外の情報は一切持っていない
余計なバイアスを排除し、最も自然な分布を求めたい
「自然な」とは、知らない(不自然な)情報を含まないと言うことです。例えば、サンプルデータの平均と分散しか情報がない場合、それ以外の形状を決めるパラメータを導入すると、無根拠なバイアスが入る可能性があるため、適切ではありません。
つまり、ここでは「どの分布が最も偏見なくデータを説明できるか?」 という問題に直面しています。しかし、それでも「サンプルがない領域」に対しても、どのような確率でデータが現れるのかをモデル化する必要があります。
ここで重要になるのが、エントロピーの最大化という考え方です。
最大エントロピーの原理
エントロピーとは、確率分布の「不確実性」や「情報の欠如の度合い」を示す指標です。エントロピーを最大化するとは、求めようとする確率分布にバイアスなどの未知の情報を持ち込まないということを意味します。
確率分布を決める際に、もし既知の情報が「平均」や「分散」のみだったとします。このとき、それ以外の情報を勝手に加えてしまうと、根拠のないバイアスを導入することになり、不適切な分布になり得るため、それを避けたいのです。
そこで、知っている情報は制約として(満たされるように)与え、その条件下で確率分布のエントロピーが最大になるようにします。これによって導かれる分布は「余計なバイアスを持たず、知らないことを含まない」ものになります。
最大エントロピー原理を使うと以下のような確率分布が得られます。
「何の制約もない場合」 → 一様分布
「平均のみ」を条件とすると、指数分布が得られます。
「平均のみ」でデータが離散的だと、ポアソン分布が得られます。
「平均と分散」を条件にエントロピーを最大化したのが正規分布です。
他にもたくさんの分布をこの手法で導くことができます。また、これらの確率分布の多くに指数関数が現れるのは、エントロピーを最大化すると指数関数の形が自然に現れるためです。
ガウス分布と生成モデル
生成モデルは、観測データからその背後にある分布を学習するモデルでした。そこで、ガウス分布によるモデル化について考えてみます。
ガウス分布によるモデル化
ガウス分布によってデータのモデル化を行う意味を考えます。
前述したように、測定誤差やノイズは、多くの独立した要因の影響によるものであり、それぞれの影響は独立試行とみなせます。そのため中央極限定理により、誤差の分布は正規分布に近づきます。また、測定誤差やノイズは「ランダムな事象」ではあるものの、平均と分散はサンプルデータから推定できる情報なので、ガウス分布でモデル化することが適切できることがよくあります。
「中心極限定理によってガウス分布が登場する」のと、「平均と分散を条件としてエントロピーを最大化するとガウス分布が登場する」のは、どちらも 「平均と分散以外の情報がなくなる」 というプロセスによるものと解釈できます。
イメージとしては、前者(中心極限定理)では「独立した確率変数の和や平均をとることで元の分布の詳細な特徴が消えていく」ことでガウス分布に収束する。後者(最大エントロピーの原理)では「平均と分散のみが既知であり、それ以外の情報が入らないような分布を求める」とガウス分布が現れる、といった感じです。
つまり、ガウス分布は「平均と分散の値以外に特別な情報を持たない」確率分布 です。だから、この分布を決定するために必要なのは、平均と分散の2つのパラメータのみです。また、この平均と分散はサンプルデータから推定しやすいため、統計学や機械学習などで広く用いられています。
ガウス分布を使えない理由
しかし、ガウス分布を仮定することが常に正しいわけではありません。
測定誤差やノイズをガウス分布でモデル化する際には、そのデータが多くの独立した要因によるものであるという「前提」を置いていますが、この前提が実際のデータと合致しているかは検証が必要です。もし観測データの分布がガウス分布に合わない場合、それは何か新しい情報が隠れている可能性を示唆しています。
例えば、分布が非対称ならば、データに偏りを生じさせる要因があるはずです。所得分布のように、右に裾が長い分布は所得格差に関連しており、様々な経済的・社会的要因によって引き起こされています。
また、極端な外れ値が頻繁に発生するならば、ガウス分布では適切にモデル化できません。金融市場の変動などはその典型例です。
さらに、単一のガウス分布ではなく、複数の異なる分布が混ざっている場合は、ガウス混合モデル(GMM)を用いることで、データを複数のクラスタに分けて表現することが可能になります。 GMMは、特に音声認識やクラスタリングなどでの利用が行われました。
こうしたケースでは、より適切な確率分布を選ぶか、データの背後にある構造を探ることが重要になります。また、データが単純な統計モデルでは捉えきれない場合は、ディープラーニングなどの柔軟な手法を適用することも考えられます。
これらのアプローチは単なる平均と分散以上の情報をデータ分布に取り入れる試みと理解することができます。
変分オートエンコーダ
生成モデルでガウス分布が使われる例として、変分オートエンコーダ(VAE)があります。VAEでは、潜在変数(latent variable)の分布をガウス分布として仮定 することが一般的です。
VAEには、エンコーダとデコーダがあります。エンコーダは、画像データの特徴を低次元の潜在変数に圧縮します。例えば、画像データの特徴を10個の潜在変数に落とし込むとします。このときVAEが学習するのは、各潜在変数の値そのものではなく、ガウス分布の「平均」と「分散」です。こうして学習した潜在変数の分布からサンプルした値をデコーダに与えることでランダムな画像生成を行います。
つまり、学習されたガウス分布からの潜在変数の値を用いて画像を生成します。
なお、潜在変数の分布としてガウス分布を使う利点として、近い特徴のデータが連続的に分布することを表現できることがあります。よって、潜在変数の値をスムーズに変化させると、特徴量がスムーズに変化することになります。これによって生成される画像も滑らかに変化します。

また、潜在変数がガウス分布に従うとすることで、余計なバイアスを持ち込まないことにもなります。これは、ガウス分布が最大エントロピーの原理により、平均と分散の条件以外は、最も偏りのない分布だからです。ディープラーニングはデータに過適合しやすいのでバイアスを減らす意味でも有効です。
拡散モデルとガウス分布
拡散モデル(Diffusion Models)の学習では、画像データをノイズによって徐々に破壊します。

その段階的な破壊の逆過程をニューラルネットワークが学習することで、最終的には純粋なノイズから徐々に新しい画像データを生成することが可能となるという手法です。

このノイズの付加にはガウス分布が使われます。画像データにステップごとにガウス分布に従うノイズを加えていくことで、最終的には白色ノイズ(純粋なガウス分布に従うランダムな状態)になります。逆過程では、ガウス分布に従うノイズを少しずつ除去することで、画像を再構成します。
逆過程はガウス分布による完全なノイズから始まるため、生成される画像はランダムに変化し、毎回異なるものになります。つまり、拡散モデルによる画像生成は「ガウス分布に従うノイズから画像を引き出すプロセス」 とも言えます。
ガウス分布の利便性とは
最後に、ガウス分布がよく使われる理由としてその利便性について考察します。
すでに述べたように、ガウス分布は平均と分散のみを情報として持ち、それ以外に余計なバイアスがありません。そのため、データの特徴をそのまま活かし、不要な情報や先入観を入れずに学習したい場合に便利です。
また、ガウス分布は連続的で微分が容易なため、数学的に扱いやすく、特にディープラーニングとの相性が良いことも大きな利点です。勾配降下法による最適化がスムーズに行え、計算の効率性にも優れています。さらに、確率的なデータ生成においても、ガウス分布はサンプリングが簡単であるため、多くの生成モデルで利用されています。
こうした特性から、ガウス分布は生成モデルにおいて基本的な要素として広く使われています。しかし、もちろんそれだけでは十分ではありません。生成モデルの発展は、ガウス分布を一つのツールとして活用しつつ、単なる平均や分散の情報を超えた特徴を学習し、より複雑な観測データを説明できるようにする試みの積み重ねでもあります。
次回予告
次回は、複数のガウス分布を組み合わせることで、より複雑な分布をモデル化する手法であるガウス混合モデル(GMM)を紹介します。
GMMは、データの生成に複数の要因が関与していることを考慮し、個々のガウス分布を組み合わせることでより柔軟な表現を可能にする手法です。クラスタリングの文脈ではこちらでも紹介していますが、次回は生成モデルの観点から解説していきます。
お楽しみに!