メインコンテンツへスキップ
見出し画像

画像生成AIの進化史⑬DDPMのノイズ予測

    前回までの記事では、画像生成AIの代表的な手法である拡散モデルDDPM(Denoising Diffusion Probabilistic Models)について、拡散と生成という2つの過程を紹介しながら、その仕組みや実装を見てきました。

    簡単に振り返ると、拡散過程では画像に少しずつノイズを加えていき、最終的にランダムなノイズに変換していきます。一方の生成過程では、その逆をたどってノイズを少しずつ取り除き、画像を再構築します。

    このとき、「どのくらいノイズを除くか」を決めるのが、ノイズ予測モデル の役割です。これまでの記事ではこの部分をブラックボックスとして扱ってきましたが、今回はその中身に注目します。

    拡散と生成という2つの過程は、方向こそ逆ですが、共通の「分散スケジュール」 に基づいて動いています。たとえば、あるステップttでは「これくらいのノイズが混ざっている」という情報が、両方の過程で共有されています。

    このスケジュールは、ノイズの強さや画像の更新の仕方をステップごとに決めており、U-Netは「ノイズが加わった画像」と「現在のステップ数tt」を入力として、その時点でのノイズ量を予測します。

    つまり、これまで紹介してきた拡散過程と生成過程は、ノイズ予測を学習できるようにするための土台となっています。今回はその中核を担う、ノイズ予測モデルは「U-Net」をバックボーン(中核的な構造)としています。

    今回は、U-Netを中核としたDDPMのノイズ予測モデルの仕組みと実装について解説していきます。

    U-NetとPixelCNN++

    そもそもU-Netとは

    2015年に発表されたU-Netは、畳み込みニューラルネットワーク(CNN)を利用したセマンティック・セグメンテーションを行うモデルです。

    「セマンティック・セグメンテーション」(Semantic Segmentation)は、画像内の各ピクセルがどのクラスに属するかを分類するモデルです。

    なお、U-Netは生物医学画像の解析を目的としており、例えば、神経細胞の構造をピクセル単位で分割するようなタスクを行いました。

    特徴的なのは、U字型のエンコーダ・デコーダ構造になっていることです。

    画像
    U-Net: Convolutional Networks for Biomedical Image Segmentation

    U-Netは、エンコーダ・デコーダ構造を持っています。エンコーダが入力画像を段階的に低次元に圧縮(ダウンサンプリング)することで重要な特徴を抽出し、そこから目的とする情報を表現するようにデコーダが段階的に拡大(アップサンプリング)して最終的な出力を予測します。

    ただし、エンコーダ・デコーダ構造では、情報の圧縮によりピクセルごとの細かい情報を見逃してしまうため、U-Netでは、エンコーダとデコーダ間の横方向の接続(グレーの矢印)によって、画像の細かな位置情報を保持しながら高精度なピクセル単位の分類できるようになっています。

    つまり、U-Netでは、細かい情報を維持しつつ、画像からの特徴の抽出にも優れているという特徴があります。これはノイズ予測に役立つ特徴と考えられます。

    PixelCNN++との関係(その1)

    DDPMでは、U-Netをバックボーンとしているわけですが、それについて論文では、次のように述べられています。

    我々のニューラルネットワーク(ノイズ予測モデル)のアーキテクチャは、PixelCNN++のバックボーン(Wide ResNetを利用したU-Net構造)を採用しています。また、実装を簡素化するために、重み正規化の代わりにグループ正規化を用いています。

    Our neural network architecture follows the backbone of PixelCNN++ [52], which is a U-Net [48] based on a Wide ResNet [72]. We replaced weight normalization [49] with group normalization [66] to make the implementation simpler.

    https://arxiv.org/abs/2006.11239

    ここでいろんな名前が登場するので、一つずつ解説します。

    まず、「PixelCNN++」は、OpenAIが2017年に発表した画像生成モデルです。

    画像

    CNNを利用しており、入力画像を「32x32、16x16、8x8」とダウンサンプリングしたあと、「8x8、16x16、32x32」とアップサンプリングする、エンコーダ・デコーダ構造になっています。また、エンコーダとデコーダの間に結合があるため全体としてU-Netと似た構造になっています。

    ただし、PixelCNN++の論文では、このモデルをU-Netベースと明言はしていません。U-Netはセグメンテーションを目的としており、PixelCNN++は画像生成のモデルなので、そのように見なかったのかもしれません。

    DDPMの論文では、PixelCNN++を「Wide ResNetを利用したU-Net構造」と解釈して、同様のモデル構造をノイズ予測のバックボーンとしたというわけです。

    Wide ResNetとの関係

    なお、ResNet(残差ネットワーク)は、残差接続(スキップ結合)によって、層の数(深さ)を増やしても勾配消失の問題が起きにくくなるという特徴を持つ分類モデルです。

    これに対して、Wide ResNetは、「ネットワークの幅」を広げる(各層のチャネル数やフィルター数を増やす)ことで、より少ない層数でResNetと同等以上の性能を実現しました。また、層数が少なくなることで、GPUの並列処理により計算がより効率的に(高速に)になりました。

    Wide ResNetは「深さ」よりも「幅」を重視することで、パラメータ数は増えますが、訓練時間の短縮や高精度化が可能となり、実際に16層のWide ResNetが1000層のResNetに匹敵する精度を達成した例も報告されています。

    参考:https://arxiv.org/pdf/1605.07146

    まとめると、DDPMのノイズ予測モデルは、Wide ResNetを利用したU-Net構造をベースにしています。

    また、DDPMのような生成モデルは、推論時に何度もネットワークを通過させる必要があるため、計算効率は極めて重要です。Wide ResNetの効率的なブロック設計が重視されたと考えられます。

    PixelCNN++との関係(その2)

    では、なぜこのU-Net構造をノイズ予測モデルのバックボーンとして採用したのでしょうか。論文では、これについての明確な説明はありません。

    そこで、原文からの引用をもとにその理由を考えてみます。

    逆過程(reverse process)を表現するために、U-Net バックボーンを使います。これは、マスクされていないPixelCNN++の全体にグループ正規化を適用したものです。

    To represent the reverse process, we use a U-Net backbone similar to an unmasked PixelCNN++ [52,48] with group normalization throughout [66].

    https://arxiv.org/abs/2006.11239

    ここでいう「マスク」とは、Transformerのデコーダが将来のトークンをマスクするのと似た概念です。

    PixelCNN++は、画像をピクセルごとに順番に生成する自己回帰モデルです。あるピクセルを予測する際に、そのピクセルより前のピクセルの情報を参照し、次のピクセルの情報は参照しない、という制約があります。

    この制約を強制するために、畳み込み層に「マスク」を適用します。 つまり、畳み込みカーネルで、マスクされるべきカーネルの重みをゼロにします。これにより、情報が未来のピクセルから逆流するのを防ぎ、因果関係を保ちます。

    しかし、DDPMでは、ノイズ予測モデル自体は画像生成を行いません。そのためPixelCNN++にあるようなマスクは必要ありません。むしろ、あらゆるピクセルからの情報が役立ちます。

    つまり、ノイズ除去モデルにとっては、入力画像全体のコンテキストを最大限に活用できることが重要となっています。

    なぜU-Netが選ばれたのか

    これは論文には詳細が書かれていませんが、理由は以下に推測します。

    まず、エンコーダ・デコーダ構造はノイズ付き画像から画像の本質的な特徴を学習することができます。ただし、それだけだと、ノイズは失われてしまいます。

    オートエンコーダによるノイズ除去では、この性質を利用しています。ただし、この場合の学習はノイズの予測ではなく、ノイズ付き画像から元画像を予測することになります。よって、画像生成には使えません。

    そこで、U-Netにある横の結合によってノイズのような細かい情報も維持します。これもスキップ接続(skip connection)と呼ばれます。

    これによって、画像の本質的な特徴とノイズの情報を区別することが可能となります。また、Wide ResNetを採用したことで処理も速くなっています。

    ノイズ予測モデルの特徴

    グループ正規化について

    グループ正規化は、バッチ正規化(Batch Normalization)のような正規化の手法の一種です。

    バッチ正規化は、バッチ全体でチャンネルごとの平均・分散を計算するため、バッチサイズがある程度大きくないとその効果が低下します。

    DDPMは高解像度の画像を扱うことが多く、U-Netバックボーン自体も非常に大きなモデルになるため、GPUメモリの制約からバッチサイズを小さくせざるを得ないことがよくあります。すると、バッチ正規化がうまく機能しません。

    グループ正規化はこの点を考慮したものです。

    入力のチャネル(特徴マップ)をいくつかのグループに分割し、各グループごとに平均と分散を計算して正規化します。よって、バッチサイズに依存せず、1つのサンプルごとに正規化を行うため、バッチサイズが小さい場合でも安定して学習できます。

    ちなみに、言語モデルが扱うシーケンスデータはバッチ正規化がうまく機能しないため、レイヤー正規化(Layer Normalization)がよく使われます。これをグループ正規化の観点から考えると、グループを一つにして、トークンごとに正規化したものと捉えられます。

    たとえば、入力画像を3チャンネル(RGB)から128チャンネルにした後に、グループ正規化を8グループで行うと16チャンネルごとに正規化が行われるというわけです。

    Swish活性化関数

    DDPMのリポジトリを見ると活性化関数として次のようなコードがあります。

    def nonlinearity(x):
      return tf.nn.swish(x)

    つまり、Swish(PyTorchnのnn.SiLUと同じ)を活性化関数として使っています。

    時間ステップの埋め込み

    ノイズ予測モデルは、どのステップのノイズ付き画像を処理しているのかを知る必要があるため、DDPMでは時間(ステップ)をニューラルネットワークが扱いやすいように、埋め込みベクトルへと変換しています。

    パラメータは時間(ステップ)に関わらず共通で、時間はTransformer の正弦波による位置埋め込みによって指定されます。

    Parameters are shared across time, which is specified to the network using the Transformer sinusoidal position embedding [60].

    https://arxiv.org/abs/2006.11239

    これは、「ネットワークの重み自体がステップによって変わらない」という意味です。時間情報は埋め込みを通じて与えられ、ネットワーク内部で活用されます。

    なお、DDPMの拡散過程では、ステップ数が1000となっており、Transformerの位置埋め込み(エンコーディング)と同じ方法を使うのは理にかなっています。

    Transformerの位置エンコーディングは、こちらでも解説しています。

    時間の埋め込みでは、以下の一連の処理を行います。

    • Transformerと同様のsin/cosの位置エンコーディングを使用

    • エンコーディング後、2層のMLP(活性化関数はSiLU)で変換

    こうして、もとは整数のステップ番号ttだったものをベクトルに変換し、モデルがどの程度ノイズが残っているかを認識しやすいようにします。

    この値が次の残差結合ブロックの入力として使われます。

    残差ブロックの特徴

    残差ブロックは次のような構成と流れになっています。

    • ブロック1

      • 3×3の畳み込み(Conv2d)

      • グループ正規化(GroupNorm)

      • Swish 活性化(SiLU)

    • 時間ステップ:ステップの埋め込みベクトルを加算

    • ブロック2

      • 3×3の畳み込み(Conv2d)

      • グループ正規化(GroupNorm)

      • Swish 活性化(SiLU)

    • 残差接続(スキップ結合)

      • in_channelsとout_channelsが異なる場合は、1×1のConvで揃えてから

    自己アテンション

    CNNでは、離れたピクセル間の関係を捉えるのが難しいため、DDPMでは自己アテンションを取り入れています。

    16×16解像度の特徴マップに、自己アテンション(self-attention)を挿入しています。

    We use self-attention at the 16 × 16 feature map resolution [63,60].

    https://arxiv.org/abs/2006.11239

    ここで言われているのは、CIFAR10を想定しています。CIFAR10の入力画像は32x32のサイズで、これを16x16にダウンサンプリングした後に、自己アテンションを適用します。

    その際に、チャンネル数が128であれば、各ピクセル位置は、128の要素を持つベクトル(あるいは言語モデルにおけるトークンの埋め込み)となります。つまり、16x16個のベクトル間で、アテンションの計算を行うということです。

    これによって、各空間位置が画像全体の他の位置情報を参照できるようになっています。

    局所的な畳み込みだけでは捉えきれない広域的な依存関係をモデル化できます。

    なお、アテンションの計算は、エンコーダで1回、デコーダで1回ずつ途中の層で使われています。

    CIFAR10の場合、16x16の中程度の解像度で自己アテンションを導入します。これは、大域的な依存関係を捉えるために非常に効果的です。

    あまり低解像度すぎると局所的な情報が失われ、高解像度すぎると計算コストが爆発するため、このような選択になっています。

    U-Netの全体の設計

    ここでは、U-Netの設計上の特徴をまとめました。論文の著者による実装(Tensorflow v1なので古い)や他のオープンソースの実装を参考にしています。

    CIFAR10を扱う前提での全体構造は以下になっています。

    • 入力

      • 画像:32×32×3(ノイズ付きRGB画像)

      • タイムステップ:埋め込みに変換される

    • 出力

      • 画像:32×32×3(ノイズを画像として予測)

    • エンコーダ・ブロック1

      • 残差ブロック(32×32、C=128)を2回(デコーダへスキップ結合1)

      • ダウンサンプル(MaxPooling か ストライド=2の畳み込み)

    • エンコーダ・ブロック2

      • 残差ブロック(16×16、C=256)を2回

      • アテンション(デコーダへスキップ結合2)

      • ダウンサンプル

    • エンコーダ・ブロック3

      • 残差ブロック(8×8、C=256か512)を2回(デコーダへスキップ結合3)

      • ダウンサンプル

    • ボトルネック

      • 残差ブロック(4×4、C=256か512)を2回

    • デコーダ・ブロック1

      • アップサンプル(最近傍補間、最近傍補間+畳み込み、転置畳み込みなど)

      • スキップ接続(エンコーダからのスキップ結合3)

      • 残差ブロック(8×8、C=256か512)を2回

    • デコーダ・ブロック2

      • アップサンプル

      • スキップ接続(エンコーダからのスキップ結合2)

      • 残差ブロック(16×16、C=256)を2回

      • アテンション

    • デコーダ・ブロック3

      • アップサンプル

      • スキップ接続(エンコーダからのスキップ結合1)

      • 残差ブロック(32×32、C=128)を2回

    • 出力層

      • 1 x 1 畳み込み(入力チャンネル数=3に戻す)

    次回予告

    次回は、ノイズ予測モデルを実際にMNIST用にPyTorchで実装したソースコードを解説します。これを使って、画像生成ができるように訓練を行います。

    MNISTは画像サイズも小さく、チャンネル数も1つであり、CIFAR10よりずっと単純なので、より短い時間で学習を行うことができます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ