
画像生成AIの進化史①生成モデルとは
画像生成AIが本格的に普及し始めたのは、2022年8月にStability AIが「Stable Diffusion」を一般公開した頃からです。
このモデルは、オープンソースとして無料で利用できることから急速に注目を集めました。また同時期には、OpenAIの「DALL-E」やMidjourneyの「Midjourney」といった強力な画像生成モデルも登場しています。
AIによる画像生成は瞬く間に一般ユーザーの間で普及し、誰でも高品質な画像を生成できる時代が到来しました。しかし、これらの革新的な技術の背景には、綿々と研究されてきた生成モデル(Generative Model)の進化の歴史があります。
さて、そもそも「生成モデル」とは何をモデル化しているのでしょうか。
今回はこの疑問から話を始めます。
生成モデルに定義はあるのか?
生成モデルは、新しいデータを自動的に作り出すモデルという解釈が一般的で、多くの人にとって直感的に理解しやすい考え方です。
実際、生成モデルは、画像やテキストといった既存のデータのパターンや特徴を学習し、それに基づいて新しいデータを生成することができます。このため、画像生成AIが人間の描くような絵を作り出したり、テキスト生成AIが人間の書いたような文章を創り出したりすることが可能になっています。
生成モデルの魅力は、これまで存在しなかったデータを「創造」する力にあります。これにより、単に既存のデータを分類したり予測したりするだけではなく、データセットにない新しいデータを生み出すことができるため、特に画像生成など創造的な分野で非常に重宝されています。

たとえば、生成モデルは膨大な数の既存の画像を学習し、それに似た新しい画像を生成できます。これは、既存のデータの背後にあるパターンや関係性を理解し、それを活用して新しいサンプルを作り出す仕組みによるものです。
よって、この「自動生成するモデル」という解釈は、生成モデルの本質を捉えてはいます。しかし、すでに存在するデータから学習するモデルが、真の意味で「新しいデータを作り出す」ことなど可能なのでしょうか?
この疑問に答えるには、そもそも「新しいデータを作り出す」とはどういうことかを明確にする必要があります。そのためには、生成モデルの本質を数学的に表現して理解することが重要です。
次のセクションからは、確率的な視点を中心に、生成モデルとは何かについて深掘りしていきます。
サンプルデータから創造性は生まれるのか
確率論の視点から見ると、生成モデルは「観測されたデータからその背後にある分布を学ぶ」ことで、その分布に基づいて新しいデータを生成するモデルです。
例えば、「手書き数字」の画像データが大量にあるとします。

生成モデルはこのデータセットから、数字の形に関するパターンや特徴を学習します。そして、学習結果に基づいて、新たに手書き風の数字画像を作り出すことができるようになります。よって、元のデータセットには存在しない数字でありながら、まるで元のデータセットにあったかのような数字を自然な形で生成するため、人間が見ても違和感を感じにくい画像を生み出すことが可能になっています。
この仕組みを抽象化すると、生成モデルは、「点々としか存在しないデータの間を埋めるように、観測されなかった部分も含めた分布を作り出し、これまでにないサンプルを引き出せるようになる仕組み」と捉えることができます。

つまり、データセットにあるデータポイントは「背後にある全体のデータ分布からのごく一部のサンプル(点)に過ぎない」と考えます。よって、これらのサンプルから全体の分布を学習・推測すれば、それに基づいた新しいサンプルをいくらでも選び出すことが可能となります。
この分布が多次元になり複雑であればあるほど、これまでに存在しなかった多様なサンプルを取り出すことが可能であり、それは「新しいデータを生成する」ことになります。
たとえば、あらゆる絵画を学んだアーティストが、それらを参考にしながら新たな絵を描き始めるのと似ています。
よって、生成モデルを使うことで訓練されていない人間でも画像を生み出す楽しみに触れることが可能となりました。
ここで、次の疑問が浮かぶかもしれません。
「生成モデルは元のデータの特徴を反映しているだけであり、新しいデータを作り出しているわけではないのではないか?」
これは確かにそのような側面があります。以前は、よくAIアートが泥棒のように語られましたし、現在でもそのような議論は続いています。
もっと言うと「どこに創造性があるのか」という疑問です。
もちろん、生成モデルは元のデータセットに基づいて新しいデータを生成するので、単なる模倣をすることも可能です。
しかし、生成モデルでは、条件を加えることで生成過程をコントロールし、新しい組み合わせを生み出すことができます。
例えば、CGANなどは条件付き生成モデルの良い例です。特定の条件(クラスラベルやテキスト情報)を与えることで、その条件に基づいたデータを生成することが可能です。
初期の生成モデルでは単純な条件しか使えませんでしたが、条件付き生成モデルは急激に進化しています。
近年では、プロンプト(テキスト入力)による画像生成が主流になっています。この方法では、プロンプトに含まれる情報(「幻想的な風景」「未来的な都市」など)を条件として与え、生成モデルがその条件を反映した画像を生成します。
つまり、人間がプロンプトを工夫することで、新しいアイデアや視点を生成プロセスに取り入れることが可能になります。
このように、生成モデルが行っていることは、単に統計的な分布情報からサンプルを取得するだけではありません。元のデータの分布を深く学習し、それを基に新たな条件や組み合わせを取り入れることで、創造的に新しいデータを作り出すことができます。
もちろん、創造性とは何かという問題は哲学的な議論でもあります。しかし、ここでは生成モデルの仕組みに対する興味が中心なので「創造とは」については深入りしません。
よって、生成モデルが示す「新しいデータを生み出す力」は、人間の創造性を補完する強力なツールであると言えるでしょう。
「識別モデル」と「生成モデル」の関係
生成モデルの定義をより明確にするために識別モデル(Discriminative Model)と比較します。
まず識別モデルは、あるデータが与えられたときに、それがどのクラスに属するかを予測するためのモデルです。つまり、「入力データ」と「それに対応するラベル」の関係を学習し、与えられた未知のデータが特定のラベルに属する確率を予測します。
その代表例として、画像分類モデルがあります。例えば、画像が「犬」か「猫」かを識別するモデルの場合、識別モデルは「この画像が犬である確率」や「この画像が猫である確率」を推定します。
また、物体検出モデルでも、物体があると予測される領域(四角で囲まれた)部分の画像に関して画像分類を行なっています。

ここで画像自体は、観測データです。つまり、識別モデルは、データを生成するプロセス自体には関与しません。ある観測データが与えられたときに最も可能性の高いクラスを予測することに特化しています。
よって、データとラベルの条件付き確率を学習するのが識別モデルの特徴です。
:入力データ
:入力データのクラスがであること
例えば、「画像が犬である確率」あるいは「画像 が猫である確率」を求める場合、それぞれの確率は次のように表されます。
識別モデルの目的は、この条件付き確率の分布を学習し、データが与えられたときに最も可能性の高いクラスを予測することです。
一方、生成モデルは、観測データにあるような新しいデータを生成するプロセスをモデル化します。例えば、「犬」という条件の下でのデータ分布 を利用し、新しいサンプルを生成することが目的です。
しかし、「識別モデル」と「生成モデル」の概念には関連があります。それはベイズ定理を使って理解することができます。
ベイズ定理を通して考える
識別モデルが扱う条件付き確率は、ベイズ定理を用いて次のように表現できます。
事後確率:識別モデルが学習する条件付き確率
尤度:生成モデルがデータ を生成する過程の条件付き確率
事前確率:クラスの確率
周辺確率:観測データの全体分布
太字は、ベイズ定理における呼び名です。
このように、識別モデルと生成モデルは理論的にはベイズ定理を通じて密接に関連しています。
ただし、実際の識別モデル(例:ResNetなどの分類器)と生成モデル(例:GANやVAE)が、実装において直接的な繋がりを持つわけではありません。通常は、それぞれ異なる目的やアルゴリズムで設計されており別物です。
識別モデルは、左辺の を学習します。これにより、観測データ に対して、そのデータがどのクラス に属する可能性が高いかを予測します。
識別モデルでは、最尤法(MLE:Maximum Likelihood Estimation)や事後確率最大化(MAP:Maximum A Posteriori)による学習がよく行われます。いずれも、目的は事後確率を最大化することです。
最尤法では、尤度を最大化するようにモデルのパラメータを調節します。また、事後確率最大化は、「尤度」と「事前確率」の積を最大化するように学習します。
なお、ベイズ定理から次の比例関係を導けます。
よって、を最大化するようなは、を最大化すると同等です。なお、ベイズ定理からの分母を使わないのは、クラスに依存しないからです。
例として、ナイーブ・ベイズ(分類器)があります。
また、ニューラルネットワークを使った識別モデルでも、観測データを入力して、最終の出力層にソフトマックス関数を適用することで 条件付き確率を近似的に計算(予測)できます。
一方で、生成モデルは、観測データの分布を学習します。この分布を学習することで、観測データに類似した新しいデータを生成できるようになります。
たとえば、GANでは生成されたデータが元の分布 に近づくようにモデルを訓練します。
ただし、生成モデルは、観測データとそのラベルの同時確率分布 を学習していると考えた方が、後で条件付き生成が理解しやすくなります。
同時確率は、次のように表現できます。
も成立しますが、ここではに注目しています。
は、ベイズ定理の尤度と事前確率の積になっています。つまり、生成モデルもデータとラベルの関係を学習していると捉えられます。あるいは両方を含めてデータ全体の分布を学習しているとも言えます。
なお、生成モデルが同時確率分布によって新しいデータの生成が行えるのは、がデータとそれに関連する情報がどのような組み合わせで生じやすいかを示しているからです。
この分布に従ってデータのペアを生成すると、自然な組み合わせは高い確率で選ばれます。逆に、不自然なケースは確率が低くほとんど生成されません。これを利用すると、特定の条件を指定した上でのデータ生成が可能になります。
条件付きで生成するとは
同時確率分布におけるを与えられたとして、サンプリングすることは「条件付きのデータ生成」になります。
例えば、条件確率を使って、データを生成するとします。つまり、ある特定のクラスが与えられたときに、高い確率で選ばれるデータ は、より自然にそのクラスに属するデータになるはずです。
たとえば、「犬の画像」を生成したい場合には、クラスを固定して、その条件下でのデータを生成することで「犬らしい画像」を作り出せます。
なお、識別モデルとの対比のためにを「クラス」として説明をましたが、実際にはをクラスに限定する必要はありません。がプロンプト(テキスト入力)であっても理論的には同じです。
DALL-EやStable Diffusionのようなモデルでは、プロンプトを条件として与え、それに対応する画像を生成します。
たとえば、「青空のビーチにパラソルが立っている」というプロンプトを入力すると、それに基づいた画像が生成されます。つまり、プロンプトがに該当し、画像が条件付き確率 に従って生成されます。
よって、プロンプトから文脈を抽出した情報をとし、生成モデルに与えることで、文章に対応する画像を生成することが可能になるわけです。
潜在変数を考えるのはなぜか
生成モデルの多くは、データの背後にある隠れた構造や要因を捉えることで、新しいデータを生成します。この隠れた構造を捉えるための仕組みとして「潜在変数」が登場します。
潜在変数とは、観測データ(例:画像やテキスト)に直接は現れないものの、データの生成過程に重要な影響を与える隠れた要因を指します。
たとえば、画像の場合、観測される画素値(ピクセル)の背後には「形状」や「色」、「視点」といった要因が潜んでおり、これらを潜在変数として表現することでデータ生成を効率的に行えます。
ただし、潜在変数の学習はモデルが自動的に行います。そのため、どのような特徴を捉えているかを人間が簡単に理解できるわけではありません。実際に我々が指定できるのは、潜在変数の次元数(数)などのハイパーパラメータのみです。
潜在変数を利用することにはいくつかの利点があります。
圧縮表現:観測データを圧縮して低次元の表現に変換するため、データの背後にある重要な特徴を抽出できます。また、データからノイズからの影響を減らすことにもなります。
メモリ効率:潜在変数の次元を観測データよりも少なくすることで、モデルの計算や保存に必要なリソースを削減できます。
学習効率:圧縮された潜在空間で学習することで、訓練データの分布を効率的に学ぶことが可能になり(期待され)ます。
例えば、変分オートエンコーダ(VAE)では、観測データ(例:画像)の特徴は、入力画像の画素数よりもずっと少ない次元のパラメータ数(潜在変数の数)で表現できると仮定します。
さらに、VAEでは潜在変数が標準正規分布(平均 0、分散 1)に従うと仮定して学習を行います。この仮定により、学習後は潜在変数の標準正規分布からランダムに値をサンプリングし、これを条件とすることで、学習データにある画像に似た自然な画像がランダムに生成されます。
潜在変数については後々の記事でより詳しく解説します。
次回予告
今回は、生成モデルの理論的な側面に焦点を当てて解説しました。ただし、生成モデルが実際に効率よく学習し、実用的な生成が可能になるまでには、数多くの課題を解決する必要がありました。
生成モデルの進化の歴史は、こうした課題に対処しながら、より効果的にデータを学習・生成する方法を模索してきた努力の積み重ねと言えます。
また、生成モデルは、観測データからその背後にある分布を学習するモデルです。しかし、実際のデータを含むような分布は必ずしも一意に決まるわけではありません。多次元かつ複雑な構造を持つため、無数の可能性が考えられます。
次回は、観測データからどのように確率分布を決定するか、その背景や理論について掘り下げます。例として、最も頻繁に用いられるガウス分布を取り上げます。
お楽しみに!