メインコンテンツへスキップ
見出し画像

画像生成AIの進化史⑨生成的敵対ネットワーク(GAN)

    前回は、変分オートエンコーダ(VAE)をご紹介しました。ボルツマンマシン系のアプローチと対比しながら、ニューラルネットワークと変分推論を組み合わせた実用的な画像生成モデルの姿を見てきました。

    2013年に登場したVAEは、深層生成モデルに新たな可能性をもたらしました。しかしその一方で、当時のVAEには、生成される画像がどこかぼんやりとしてしまうという課題もありました。

    この課題を打ち破る形で、翌2014年に登場したのが、生成的敵対ネットワーク(Generative Adversarial Network、GAN)です。

    GANは、生成された画像の「本物らしさ」そのものを評価軸とする仕組みによって、生成性能を自ら高めていく構造を持っています。その結果、より鮮明で自然な画像を生み出すことに成功しました。

    この革新は、画像生成モデルの風景を一変させる転機となりました。

    この記事では、VAEとGANの違いを比較しながらGANの理解を深めていきます。

    「本物らしさ」を中心に学習するGAN

    従来の手法がぼやけがちな理由

    GANが登場する前の画像生成モデル、たとえばボルツマンマシン系の手法やVAEでは、生成される画像がどこかぼやけていたり、細部が粗かったりといった課題がありました。

    VAEが生成する画像が「平均的でぼやけがち」になる背景には、学習の枠組みにおける目的が「本物らしさ」にフォーカスしていない点があります。

    VAEでは、入力画像を再構成することを通して潜在空間の分布を学習しますが、その再構成は元画像を正確に復元することではなく、確率的にもっともらしい平均的な近似をすることが目的です。

    なお、VAEでは、生成画像と入力画像の差を測るために、ピクセルごとの平均二乗誤差(MSE)がよく使われます。

    MSEは、複数の可能性がある場合に「最も平均的な画像」を出力するように働くため、不確実性の高い状況では「安全な平均像」が生成され、結果的にぼやけた画像になりやすいと考えられます。

    これは、生成モデルとして分布全体を学ぶという点では理にかなっていますが「見た目のクオリティ」「リアルさ」といった視覚的な鋭さは重視されていません。

    また、VAEでは潜在変数に対して正則化(標準正規分布への制約)を課すことが一般的ですが、これは生成の多様性やスムーズな潜在空間を得るための工夫であり、必ずしも高品質な画像生成を目指すものではありません。

    つまり、VAEは「生成のための分布」を学習することには長けていますが、生成された画像の「本物らしさ」を判断することにフォーカスしていませんでした。結果として「破綻はしていないが、どこか曖昧で無難な」画像になりがちでした。

    もちろん、それ以前の手法と比べるとクオリティはずっと良いものでしたが、まだ伸び代(成長の可能性)があったということです。

    一方で、GANは、本物らしさを判断する仕組みを導入しました。

    生成画像の「本物らしさ」とは

    GANは、以下の2つのニューラルネットワークを同時に訓練します。

    • 識別ネットワーク(識別器):与えられた画像が本物か偽物かを見分ける

    • 生成ネットワーク(生成器):識別ネットワークに本物と思わせる画像の生成

    このように、識別ネットワークが「本物らしさ」の判断基準を提供し、それに応じて生成ネットワークが改善されていく仕組みによって、GANは画像の鮮明さやリアリティを高めるという仕組みです。

    補足:識別と生成という言葉について
    機械学習の分野では、モデルを「識別モデル」と「生成モデル」の2つに大別することがあります。

    • 識別モデルは、データ間の違いを見分けることを目的とし、分類や回帰など、「入力から答えを導く」タスクに用いられます。
    • 生成モデルは、データの背後にある分布を学習し、その分布に従って新たなデータを生成することを主な目的とします。

    ただし、生成モデルもデータの特徴を学習するため、識別タスクに転用(ファインチューニング)されることもあります。

    このようなモデルの区分において、GANは生成モデルの一種と位置づけられます。ただし、その内部には「生成ネットワーク」と「識別ネットワーク」という2つのネットワークが存在し、互いに対立しながら学習を進めます。

    GANの学習が完了したあとは、識別ネットワークは不要となり、生成ネットワークだけがデータ生成に使われます。すなわち、GANは「本物らしいデータを生み出すために、生成ネットワークを鍛える枠組み」として設計されています。

    識別ネットワークは、「本物の画像」と「偽物の画像」を見分けることを目的に学習しますが、ここで言う「本物の画像」とは、学習データとして与えられる画像のことです。一方、「偽物の画像」とは、生成ネットワークが作り出す画像を指します。

    例えば、あるアニメの画像をたくさん含む学習データによって訓練すれば、そのアニメに現れるような画像が「本物らしい」と判断されるわけです。必ずしも「写実的」である必要はありません。

    つまり、「本物らしさ」という曖昧な概念は、識別ネットワークが学習データを通して自然と組み込まれるようになっています。

    生成ネットワークは、識別ネットワークを欺くような、つまり「本物」と誤認させるほどの「本物らしさ」を持つ画像を生成することを目的に学習します。そして、この「本物らしさ」は、識別ネットワークが画像から抽出した特徴に基づいて判断します。

    このようにGANは、識別ネットワークと生成ネットワークという性質の異なる2つのネットワークを対立させながら同時に学習させるという構造を持っています。この「学習と生成を敵対的に行う」構造は、従来の画像生成モデルとは一線を画す存在となりました。

    VAEでは視覚的なリアルさ(=「本物らしさ」)を定量的に評価する視点が損失関数に組み込まれていません。GANでは「評価の仕方」そのものを変えることで、生成画像の質を直接的に向上させるアプローチを実現しました。

    GANの登場により、モデルが「本物らしさ」そのものを学習目標にできるようになったことで、生成画像の鮮明さやリアリティは一気に跳ね上がりました。

    一方で、生成画像があまりにリアルになったことで、フェイク画像や偽動画といった社会的な問題も現実のものとなり始め、画像生成の影響範囲を社会全体に広げる存在にもなりました。

    GANを起点とした派生モデル

    GANは画像生成モデルとして広く知れ渡るようになり、ベースのGANを起点とした多くの派生モデルが生まれ、深層生成モデルの研究がさらに発展しました。

    DCGAN:畳み込みニューラルネットワーク(CNN)の導入
    CNNは、画像のように空間的な構造を持つデータの処理に非常に優れており、GANでもこれを導入したDCGANは、高品質な画像生成のベースモデルとして大きな影響を与えました。

    参考:DCGANでMNISTの画像を自動生成してみたらクオリティーがグンと上がった話

    CGAN(Conditional GAN、条件付きGAN)
    CGAN
    では、ラベル情報を追加のパラメータとして生成ネットワークに与えることで出したい画像を指定することができます。

    参考:条件付き生成的敵対ネットワーク(Conditional GAN、CGAN)で出したい数字を指定

    Pix2Pix「画像を翻訳する」
    Pix2Pixでは、画像を変換することを「画像から画像への翻訳」(Image-to-Image Translation)と称して、たとえば、鉛筆で書いた絵をリアルな写真のように変換するモデルをCGANを利用して学習しました。

    参考:pix2pixが条件付き生成的敵対ネットワーク(CGAN)で画像翻訳をする仕組み

    CycleGAN(双方向の画像変換)
    CycleGANは馬の画像からシマウマの画像へ変換したり、その逆方向(シマウマから馬)の変換をするデモで有名です。Pix2Pixにあった課題を解決することでさらに発展したモデルになっています。

    参考:CycleGANとは?ディープラーニングで馬をシマウマに変換する仕組みの解説

    このようにさまざまに波及したGANですが、次はその基本的な学習の仕組みを見ていきます。

    GANによる敵対的な学習の仕組み

    ここからはより具体的にGANの敵対的な学習の仕組みを解説します。なお、実装例についてはこちらの記事を参照してください。

    生成ネットワーク:潜在変数から画像生成

    GANにおける生成ネットワーク(Generator)は、ランダムな入力データから画像を生成します。

    例として、MNISTデータセットにあるような手書き数字の画像を生成することを考えます。

    画像
    MNISTの手書き数字画像の学習データの一部

    100次元の潜在変数を入力として、28×28ピクセルの手書き数字の画像を出力するとします。

    画像

    また、この100個の潜在変数の値は、標準正規分布(平均0、分散1)からランダムにサンプリングします。

    これは、VAEのデコーダが標準正規分布(平均0、分散1)からランダムにサンプリングされた潜在変数をもとに画像を生成するのと同じ考え方です。

    もともとは単なるランダムな数値だったものが、学習が進むにつれて「どのような画像が生成されるか」を決定するパラメータのような役割を果たすようになります。この数値に従って、出てくる画像のスタイルや内容が決まるからです。

    このように、ランダムな数値が画像の特徴をコントロールする潜在的な変数として機能するため潜在変数と呼ばれています。

    つまり、VAEやGANの特徴は、学習によってランダムな数値の分布に意味を持たせることにあります。ただし、VAEとGANでは学習方法が大きく異なります。

    VAEの場合は、エンコーダは入力画像が潜在空間に写像することを学習します。また、その潜在変数が正規分布に従うように損失関数に正則化項が追加されています。そして訓練が進むと、ランダムにサンプリングされた潜在変数からでも意味のある画像が生成できるようになります。

    ただし、GANの学習が始まったばかりの段階では、潜在変数にはまだ意味がありません。そのため、生成ネットワークが出力する画像も、最初のうちはほとんどランダムなノイズのようなものになります。

    画像
    最初はノイズを生成

    生成ネットワークが潜在変数から「らしい画像」を生成できるように導くための「損失」を与える必要があります。

    この役割を担っているのが、識別ネットワークです。

    識別ネットワーク:本物らしさを見極める

    識別ネットワーク(Discriminator)は、生成された画像がどれだけ学習データに似ているか、つまり「本物らしさ」を評価します。その結果を損失として生成ネットワークにフィードバックします。

    このため、識別ネットワークに「本物らしい」と思わせる画像を出力するように、生成ネットワークの学習が徐々に進んでいきます。

    識別ネットワークの役割はシンプルで、本物を1、偽物を0と判定する二項分類(Binary Classification)を行います。

    この分類ができるようになるために、教師あり学習で訓練されます。

    • 「本物」として与えられるのは、学習データからの画像

    • 「偽物」として与えられるのは、生成ネットワークが出力した画像

    画像
    本物として学習データからの画像を与える
    画像
    偽物として生成ネットワークの画像を与える

    学習初期の段階では、生成ネットワークの出力はまだランダムなノイズにすぎないため、識別ネットワークはすぐにそれを見分けることができるようになります。

    しかし、生成ネットワークの学習が進むにつれて、出力される画像は次第に本物らしくなっていきます。すると、識別ネットワークもより精密に特徴を捉えようと学習を深めていきます。

    このようにして、「騙す」生成ネットワークと「見抜く」識別ネットワークが、お互いを高め合うように競い合う構造が生まれます。

    画像

    この競争的な学習の仕組みが、敵対的学習(Adversarial Learning)と呼ばれる所以です。

    GANにおける敵対的学習の訓練ステップ

    GANは生成ネットワークと識別ネットワークを交互に訓練するための枠組みとして機能します。

    GANの内部にこの2つのネットワークが組み込まれていると考えてください。

    まず、生成ネットワークの学習ステップを考えます。

    潜在変数(ランダムな数値ベクトル)をGANに入力すると、内部にある生成ネットワークが数字の画像を生成します。そしてこの画像が、識別ネットワークに渡されて「本物らしさ」が評価されます。

    もし生成ネットワークがうまく画像を作れていれば、識別ネットワークはそれを「本物に近い」と判断します。しかし、学習の初期段階では、生成ネットワークはまだノイズのような画像しか作れません。そのため識別ネットワークはすぐに偽物と見抜き、その損失値は大きくなります。

    これが、識別ネットワークの評価を通じて生成ネットワークを訓練するという、GAN特有の学習方法です。

    この段階では、識別ネットワークの重みは更新しません。ここでは、あくまで評価のために使われており、そのパラメータの更新は次のステップで行います。

    次に、識別ネットワークを訓練するステップを考えます。

    ここでは、2種類の画像を入力として使用します。

    • 本物の画像:MNISTの実データ(ラベル:本物=1)

    • 偽物の画像:生成ネットワークが出力した画像(ラベル:偽物=0)

    これらを識別ネットワークに与えることで、「本物か偽物か」を見分ける能力を学習していきます。損失関数に基づいて識別ネットワークのパラメータが更新され、より正確に「本物らしさ」を判断できるようになっていきます。

    このステップにおいては、生成ネットワークは識別ネットワークの訓練のために「偽物データを供給する役割」を果たしているにすぎません。つまり、この段階では生成ネットワークの重みは更新されません。

    まとめると、GANの学習は次のような2ステップの繰り返しで構成されます。

    1. 識別ネットワーク(Discriminator)を更新するステップ
       → 本物と偽物を見分けられるように訓練する
       → このときは生成ネットワークの重みは固定

    2. 生成ネットワーク(Generator)を更新するステップ
       → 識別ネットワークをだませるような画像を生成するように訓練する
       → このときは識別ネットワークの重みは固定

    しかし、この交互に学習させるというGANの基本構造にも課題があります。

    GANの学習を安定させるのが難しい原因

    GANがうまく機能するためには、識別ネットワークが本物の特徴を適切に学習できていること、そして生成ネットワークがその特徴を巧みに模倣できることの両方が必要です。

    この「両者のバランス」が崩れると、学習がうまく進まなくなります。これは、GANの学習を不安定にしている最大の要因です。

    たとえば、学習の初期段階では、識別ネットワークがまだ「本物らしさ」の特徴を十分に捉えられていないことがあります。この状態では、生成ネットワークがどんな画像を出しても、それがリアルかどうかを適切に評価できず、結果として生成画像がノイズのような意味のないものになってしまうことがあります。

    逆に、生成ネットワークがまだ未熟で、明らかに偽物とわかる画像しか出せない場合には、識別ネットワークは簡単に判別できてしまいます。その結果、識別ネットワークは「深い特徴を学習する必要がない」状態に陥り、表面的な「楽な判別」を繰り返すだけになります。

    このように、GANの学習は生成する側と識別する側が互いに適度な強さで競り合うことで初めて機能します。どちらかが強すぎても、弱すぎても成立しません。

    GANの学習を安定させるための主な工夫

    GANは非常にパワフルなモデルですが、その学習は簡単ではありません。
    生成ネットワークと識別ネットワークのバランスが崩れると、うまく学習が進まず、意味のない画像ばかりが生成されてしまうこともあります。

    そこで、研究者たちは学習を安定させるためのさまざまな工夫を考案してきました。ここでは代表的なものをいくつか紹介します。

    • Wasserstein GAN(WGAN)
      本物と生成画像のミニバッチに「本物らしさ」のスコアをつけ、その平均の差を損失とすると、勾配が消えにくく学習が安定して進みます。

    • ラベルスムージング
      ラベルを少しだけ曖昧にします。たとえば「本物=0.9」「偽物=0.1」とすることで、識別ネットワークの過学習や過自信を防ぎ、汎化性能を高めます。

    • ノイズの追加
      学習データや生成画像にわずかなノイズを加えることで、識別ネットワークが過学習することを避け、より本質的な特徴を学ぶようになります。

    • バッチ正規化
      生成ネットワークや識別ネットワークの中間層に深層学習では定番のバッチ正規化を入れることで、学習が安定しやすくなります。

    • 学習率の調整
      識別ネットワークと生成ネットワークで学習率を少し変えることで、学習スピードのバランスを取ることができます。

    • 訓練回数のバランス調整
      生成ネットワークを1回更新する前に、識別ネットワークを2〜5回先に更新することで、識別ネットワークが常に一歩先を行く状態を保ちます。

    これらの工夫を組み合わせることで、GANの不安定な学習を少しでも滑らかにし、高品質な画像生成へとつなげていく努力がなされました。

    次回予告

    これまでの画像生成AIの流れを大まかに整理すると、以下のようになります。

    • ボルツマンマシン系:確率的生成のはじまり(学習が難しい)

    • VAE:ニューラルネットによる効率的な分布近似(画像がぼやける)

    • GAN:生成リアリティ重視の敵対的な学習(学習が不安定)

    GANでは、学習が不安定になりやすく、さまざまな改良が加えられてきました。

    それでも、同じような画像ばかりが生成される「モード崩壊」や、条件付き生成の柔軟性の低さといった課題が残っています。

    モード崩壊とは、本来であれば多様な画像が生成されるはずなのに、特定のパターンばかりが繰り返し出力されてしまう現象です。

    そこで次回は、拡散モデルを紹介します。

    拡散モデルでは、「少しずつ良くしていく」プロセスを繰り返すことで、各ステップの学習が安定し、結果としてGANよりも安定した訓練と高品質な画像生成が可能になりました。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ