
画像生成AIの進化史⑦ディープボルツマンマシン
前回は、深層信念ネットワークを紹介しました。
これまで、ボルツマンマシン(BM)、制限ボルツマンマシン(RBM)、深層信念ネットワーク(DBN)と、生成モデルの進化を段階的に追ってきました。それぞれの特徴を簡単にまとめると以下の通りです。
ボルツマンマシン(BM)
脳の神経ネットワークに着想を得た全結合型の確率モデル。
あらゆるノードが双方向に接続されるため、理論的には表現力が高い。
ただし、学習が非常に困難。制限ボルツマンマシン(RBM)
可視層と隠れ層の2層構造に限定し、層内の接続を排除。
これによって学習が容易に。
ただし、構造が浅いため表現力に限界がある。深層信念ネットワーク(DBN)
複数のRBMを層状に積み重ねることで表現力を向上。
層ごとの事前学習とファインチューニングによって深層構造を学習。
ただし、全体を一貫して最適化するのが難しい。
このように、ボルツマンマシン系列のモデルは、「高い表現力をいかに学習可能なかたちで実現するか」という問いに対し、ネットワークの構造と学習の工夫を重ねながら進化してきました。
理論的な表現力に優れるBMは学習の困難さに悩まされ、学習を容易にするために構造を制限したRBMは今度は表現力が足りなくなりました。そこで、RBMを階層的に積み重ねたDBNは表現力と学習可能性のバランスを図りましたが、各層の事前学習は段階的にに行われるため、エンド・ツー・エンドでの最適化には限界がありました。
今回紹介するのは、こうした進化の流れの集大成とも言えるモデル、ディープボルツマンマシン(Deep Boltzmann Machine、DBM)です。
2009年にジェフリー・ヒントンらによって発表されたDBMは、DBNのような深いアーキテクチャを持ちながらも、全体を一貫して同時に学習することを目指した深層生成モデルです。
RBM、DBN、DBMの構造比較
RBM、DBN、DBMの構造の違いを理解するために疑似コードを使った定義で比較してみます。
制限ボルツマンマシン(RBM)の構造
まずは、RBMはこんな感じです。可視層と隠れ層の2層構造になっています。
class RBM:
def __init__(self, n_visible, n_hidden):
self.W = Parameter(n_hidden, n_visible) # 双方向の結合(隠れ層×可視層)
self.v_bias = Parameter(n_visible) # 可視層のバイアス
self.h_bias = Parameter(n_hidden) # 隠れ層のバイアス
def forward(self, v): # 可視 → 隠れ
prob = sigmoid(self.W @ v + self.h_bias)
return prob
def reverse(self, h): # 隠れ → 可視
prob = sigmoid(self.W.t() @ h + self.v_bias)
return prob
...重み W は、双方向であり「可視層→隠れ層」と「隠れ層→可視層」で共有されています。逆方向で、W.t() となっているのは行列の転置の意味です。
バイアスは、可視層と隠れ層それぞれに独自にあります。なお、「@」は行列とベクトルの積の意味です。
RBMでは、お互いの層の状態が確率計算の条件となっています。状態とは、ニューロンの活性化の値を並べたベクトルです。
たとえば、隠れ層の番目のニューロンが活性化する確率は、可視層の状態によって決まります。
はシグモイドです。以前にも触れましたが、シグモイドが登場する理由は、「0か1だけのニューロンの値の分布」に、ボルツマン分布を適用しているからです。
この確率は、ニューロンの活性化の度合い(しやすさ)を示すため、潜在変数と捉えることができます。つまり、この計算は潜在変数の値を推論しているということになります。具体的な隠れ値(0か1)を得るには、この確率を使ってベルヌーイ分布からサンプリングする必要があります。
逆に、可視層の番目のニューロンが活性化する確率は、隠れ状態によって決まります。
この確率も、ニューロンの活性化の度合い(しやすさ)を示すため、潜在変数と捉えることができます。具体的な可視値(0か1)を得るには、この確率を使ってベルヌーイ分布からサンプリングする必要があります。
なお、「推論」とは、ある層の状態を与えられたときに、それを条件として他の層の事後分布(活性化確率)を計算する操作を指します。
このため、「推論」は特定の方向に限られるものではありません。
たとえば、可視層から隠れ層を推論することも、隠れ層から可視層を推論することも、いずれも推論と呼ぶことができます。
つまり、forward と reverse は、両方向でお互いの層の状態を条件として、潜在変数の値を推論できるということです。
よって、双方向でのサンプリング(可視→隠れ、隠れ→可視)も可能です。
class RBM:
...
def sample_h(self, v):
prob = self.forward(v)
return bernoulli( prob ) # 可視 → 隠れ
def sample_v(self, h):
prob = self.reverse(h)
return bernoulli( prob ) # 隠れ → 可視ここで、bernoulli はベルヌーイ分布を意味しており、確率(prob)によって0か1をランダムに出力します。つまり、bernoulli(prob) は、入力確率に対して 0 または 1 を出力する確率的なサンプリング処理です。
以上より、RBMでは確率によるモデルと実装が一致しています。また、推論もサンプリングも双方向です。
これが、DBNでは少し変わってきます。
深層信念ネットワーク(DBN)の構造
DBNは複数のRBMを積み上げた構造なので次のようになります。
class DBN:
def __init__(self, layer_sizes):
self.rbms = []
for i in range(len(layer_sizes) - 1):
n_visible = layer_sizes[i]
n_hidden = layer_sizes[i+1]
self.rbms.append( RBM(n_visible, n_hidden) )ここで、「隠れ層のサイズ」と「次の可視層のサイズ」が同じになっています。
たとえば、以下のように2つのRBMを使って、実質3層のネットワークを構成することができます。
# 例:3層 [64, 100, 50]
self.rbms = [
RBM(64, 100), # 可視(64)→隠れ(100)
RBM(100, 50), # 可視(100)→隠れ(50)
]なお、可視層は、下層の隠れ層からの値を引き受けるだけなので、途中の可視層を省くことも可能です。しかし、分けた方がRBMの実装を利用できて、構造の理解がしやすいです。
ここまでは、期待通りです。DBNはRBMを積み重ねた構造になっています。
次に、順方向の推論を考えます。
最下層(可視層)の状態を条件として、最上層(隠れ層)の潜在変数を推論をするには、次のようにRBMを順番に呼び出します。
class DBN:
....
def forward(self, v): # 推論
for rbm in self.rbms:
v = rbm.forward(v)
return v # 確率ここで、入力となる v は、最初の可視層の状態(0と1を含むベクトル)です。RBMでと表記したものと同じです。
ただし、この後すぐに「v は確率値」となります。
1番目のRBMでは、最初の可視層の状態を条件として、隠れ層の潜在変数(ベルヌーイ分布の確率)が計算されています。よって、v は状態ではなく確率になっています。
2番目のRBMでは、1番目のRBMで得られた隠れ層の活性化確率を入力(可視層の状態)としています。ここが、RBMと理論的に異なる点です。
なぜなら、RBMの条件確率の式では、隠れ層の活性化の確率の条件は、可視層の状態(0か1)を使うのが前提ですが、DBNでは確率(平均値)をそのまま次のRBMの可視層に渡しているからです。
これは、確率の条件としては近似ということになります。理論上はサンプリングすべきところを、平均値で近似することで計算を単純化していると言えます。
よって、本来なら次のようにするべきでしょう。
class DBN:
....
def forward(self, v): # 推論
for rbm in self.rbms:
v = rbm.sample_h(v) # サンプリングするならこう(実際にはやらない)
return vただし、このように毎層でサンプリング(0か1)を行うと、出力が離散値になるため、パラメータの更新に大きなばらつきが生じやすくなります。
また、サンプリングによる推論は確率的に変動するため、学習が不安定になりやすく、確率分布としても十分なサンプル数を確保しないと精度が出ません。
そのため実装上は、各層の出力として活性化確率(平均値)をそのまま次のRBMへの可視層に渡すことで、学習を安定化させています。
このように、DBNの推論は理論的にはサンプリングによるべきものの、実装上は平均値で近似されています。つまり、RBMの「厳密な確率的推論」と比べて、DBNが近似的なモデルになっています。
生成をするには、逆方向にサンプリングを行います。
class DBN:
....
def sample_v(self, h): # 生成(サンプリング)
for rbm in reversed(self.rbms):
h = rbm.sample_v(h)
return h # 最下層の可視状態この場合の入力 h は、理論的には、最上層のRBMの隠れ状態をサンプリングしたものになります。そこから始めて、RBMの逆方向のサンプリングを続けていけば、最下層のRBMの可視層の状態が生成(サンプリング)されます。
return h となっていますが、これは最下層の可視状態のサンプルになります。
しかし、最上層のRBMの隠れ状態をサンプリングするためには、最下層から最上層へのサンプリングを実行する必要があり、「ニワトリとたまご」の状況になってしまいます。
もちろん、完全にランダムな値から始めて生成するということも考えられますが、DBNでそのような生成がうまくいく保証はありません。
ランダムな入力によるデータ生成の課題は、後に変分オートエンコーダ(VAE)によって道が開かれました。
よって、前回に紹介したDBNの実験結果では、生成したい数字をワンホット・エンコーディングで指定して条件付けをしていました。
条件付き生成の一例として、最上層の隠れ変数のうち「最後の10ユニット」を数字ラベルに対応させていました。
たとえば、「3」を生成したい場合は [0, 0, 0, 1, 0, ..., 0] のようなワンホットベクトルを用いて初期状態を与えることにより、特定の数字を狙ったデータの生成が可能であることが示されていました。
よって、完全にランダムな最上層(隠れ層)の状態から始めるというよりも、最上層のRBMの隠れ状態に条件を与えるための入力ととらえます。
このメソッドからの最終的な出力は、生成(サンプリング)された最下層(可視層)の値となります。
このように、DBNにおける生成(上→下)は確率モデルに沿った理論的なサンプリングになっています。一方で、推論(下→上)は平均値による近似推論に頼っています。結果として、推論と生成が理論的に整合していません。
DBNでは、近似推論によって各層のパラメータを学習するため、必ずしも逆方向のサンプリング(生成)がうまくいくとは限らず、理論的な保証もありません。
そのため、DBNではこの学習をあくまで事前学習と位置づけ、最終的には分類タスクなどを用いて誤差逆伝播によるファインチューニングを行います。これによって、事前学習で得た「良い初期値」を基に、全体のパラメータを微調整します。
たとえば、手書き数字画像を用いてDBNで「教師なし」事前学習を行い、その後に数字ラベルを使った「教師あり」ファインチューニングを加えることで、分類性能が大きく向上します。また、画像生成にも好影響があることが実験で示されています。
このように、多層構造の特徴を効果的に学習できるようになったという点で、DBNは大きな進歩でした。
しかし、推論と生成が理論的に整合していないという構造的な課題は残りました。
そこで、次に登場するディープボルツマンマシン(DBM)では、生成と推論を同じ確率モデルのもとで双方向的に扱えるようになっています。
ディープボルツマンマシン(DBM)の構造
DBMとDBNが似ているので、名前を再掲します。
ボルツマンマシン(BM):全結合
制限ボルツマンマシン(RBM):2層構造
深層信念ネットワーク(DBN):多層RBM
ディープボルツマンマシン(DBM)
DBMの構造は、RBMの隠れ層だけを多層化したものです。
RBMと同様に、各層内では、ニューロン間は互いに接続されません。隣接する層同士の間だけが双方向に接続されています。
たとえば、「可視層」「第1隠れ層」「第2隠れ層」「第3隠れ層」からなるDBMがあるとすると、隣同士の層だけに双方向接続があります。
「可視層」と「第1隠れ層」が双方向接続
「第1隠れ層」と「第2隠れ層」が双方向接続
「第2隠れ層」と「第3隠れ層」が双方向接続
言い方を変えると、DBNから中間の可視層を除いたものとも捉えられます。
しかし、ここで疑問が湧くかもしれません。「DBNでも中間の可視層は、その前のRBMの隠れ層からの確率値(平均値)を入力として受け取るだけなので、可視層がなくとも同じでは?」
違いがあるのは、逆方向の生成のプロセスです。DBNの生成では、上層から下層へとサンプリングをしていきます。よって、活性化値(0か1)が下の層へと渡されます。
一方で、DBMの生成では、多層の隠れ層は一つの条件となっているため、途中でサンプリングをする必要がありません。つまり、順方向も逆方向も計算の仕方が同じです。つまり、生成と推論を同じ確率モデルのもとで双方向的に扱えるようになっています。
たとえば、可視層と2つの隠れ層があるDBMの構造は次のように表現できます。
class DBM:
def __init__(self, n_visible, n_hidden1, n_hidden2):
self.W1 = Parameter(n_hidden1, n_visible)
self.W2 = Parameter(n_hidden2, n_hidden1)
self.b_v = Parameter(n_visible)
self.b_h1 = Parameter(n_hidden1)
self.b_h2 = Parameter(n_hidden2)
...W1 は「可視層」から「第1隠れ層」への重み行列。
W2 は「第1隠れ層」から「第2隠れ層」への重み行列。
b_v, b_h1, b_h2 は、「可視層」「第1隠れ層」「第2隠れ層」のバイアス。
この定義では、層内(例えば第1隠れ層内部)には結合はなく、隣接層間のみが双方向に接続される制限付きの接続構造を持っています。これは、オリジナルの全結合BMと異なり、学習を可能にするためのRBMからのアイデアを採用しています。また、同じ多層のDBNとは異なり中間の可視層が存在しません。
これだけ見ると、まるで普通の多層パーセプトロン(MLP)のようです。
しかし、学習方法が大きく異なります。
RBM、DBN、DBMの学習比較
制限ボルツマンマシン(RBM)の学習
RBMは、可視層と隠れ層の2層モデルであり、学習にはコントラスティブ・ダイバージェンス(CD法)を使います。
これを疑似コードで書くとしたら以下のようになります。
class RBM:
def __init__(self, n_visible, n_hidden):
self.W = Parameter(n_hidden, n_visible) # 双方向の結合(隠れ層×可視層)
self.v_bias = Parameter(n_visible) # 可視層のバイアス
self.h_bias = Parameter(n_hidden) # 隠れ層のバイアス
def forward(self, v): # 可視 → 隠れ
prob = sigmoid(self.W @ v + self.h_bias)
return prob
def reverse(self, h): # 隠れ → 可視
prob = sigmoid(self.W.t() @ h + self.v_bias)
return prob
def sample_h(self, v):
prob = self.forward(v)
return bernoulli( prob ) # 可視 → 隠れ
def sample_v(self, h):
prob = self.reverse(h)
return bernoulli( prob ) # 隠れ → 可視
# CD法による学習
def contrastive_divergence(self, v_0, k=1, lr=0.01):
h_0 = self.sample_h(v_0) # 初期の隠れ状態(サンプル)
v_k = v_0.clone() # コピー
# CD-k サイクル
for _ in range(k):
h_k = self.sample_h(v_k)
v_k = self.sample_v(h_k)
# 実装ではバッチ平均をとる。ここでは省略
self.W += lr * ( v_0 @ h_0.t() - v_k @ h_k.t() )
self.v_bias += lr * ( v_0 - v_k )
self.h_bias += lr * ( h_0 - h_k )バッチなどは考慮せずになるべく簡単にしました。k は、CD法におけるサイクルの数です。また、lr は学習率(learning rate)です。
まず、入力された可視層の状態を使って、隠れ層の状態を初期化します。また、可視層の初期状態が変更されないように、コピーしておきます。
h_0 = self.sample_h(v_0) # 初期の隠れ状態(サンプル)
v_k = v_0.clone() # コピー次に、CDのサイクルを k 回繰り返します。
# CD-k サイクル
for _ in range(k):
h_k = self.sample_h(v_k)
v_k = self.sample_v(h_k)なお、CD法についてはこちらで詳しく解説しています。
次にパラメータを更新します。
# 実装ではバッチ平均をとる。ここでは省略
self.W += lr * ( v_0 @ h_0.t() - v_k @ h_k.t() )
self.v_bias += lr * ( v_0 - v_k )
self.h_bias += lr * ( h_0 - h_k )v_0 @ h_0.t() や v_k @ h_k.t() となっているのは、可視層と隠れ層の間におけるすべてのノードの活性化の組み合わせを計算しており、結果は行列になります。
なお、バッチの場合は平均を計算しますが、ここでは簡単のため省略しています。
CD法のポイントは、入力として与えられた可視状態 v_0 をもとに、隠れ状態 h_0 を初期化することで、多くのサイクルを必要とせずに、オリジナルのボルツマンマシンよりも効率の良い学習が可能となったことです。
深層信念ネットワーク(DBN)の構造
DBNでは事前学習を行います。擬似コードで書くと次のようになります。
class DBN:
def __init__(self, layer_sizes):
self.rbms = []
for i in range(len(layer_sizes) - 1):
n_visible = layer_sizes[i]
n_hidden = layer_sizes[i+1]
self.rbms.append( RBM(n_visible, n_hidden) )
def forward(self, v): # 推論
for rbm in self.rbms:
v = rbm.forward(v)
return v
def sample_v(self, h): # 生成(サンプリング)
for rbm in reversed(self.rbms):
h = rbm.sample_v(h)
return h # 最下層の可視状態
# 事前学習
def retrain(self, v, k=1, lr=0.01):
# 下層から上層のRBMを順番に訓練
for i, rbm in enumerate(self.rbms):
rbm.contrastive_divergence(v, k, lr)
v = rbm.forward(v) # 隠れ層の状態サンプルが次の可視層へDBNでは、下層から上層のRBMを順番にCD法で学習させます。前述したように、上層のRBMの可視層への入力は、潜在変数の値(確率値)になっておりサンプルではありません。
ディープボルツマンマシン(DBM)の構造
DBMの学習を疑似コードで書くと以下のようになります。
class DBM:
def __init__(self, n_visible, n_hidden1, n_hidden2):
self.W1 = Parameter(n_hidden1, n_visible)
self.W2 = Parameter(n_hidden2, n_hidden1)
self.b_v = Parameter(n_visible)
self.b_h1 = Parameter(n_hidden1)
self.b_h2 = Parameter(n_hidden2)
def mean_field_update(self, v, steps = 5):
# 初期推論:可視層から第1隠れ層へ、そして第1隠れ層から第2隠れ層へ(順方向)
h1_prob = sigmoid( self.W1 @ v + self.b_h1 )
h2_prob = sigmoid( self.W2 @ h1_prob + self.b_h2 )
# 反復更新: 各ステップで、上下両方の影響を取り入れる
for _ in range(steps):
# h1の更新: 入力 v からの影響と上位層h2からのフィードバックを足し合わせる
h1_prob = sigmoid(
self.W1 @ v + self.W2.t() @ h2_prob + self.b_h1 )
# h2の更新: h1からの伝播のみ(上位層なので)
h2_prob = sigmoid( self.W2 @ h1_prob + self.b_h2 )
return h1_prob, h2_probこれは、RBMのCD法を多層の隠れ層へと拡張したものですが、2つの異なる点があります。
中間の隠れ層は、下層と上層からの影響を取り入れる
サンプリングではなく、潜在変数の値(確率値、平均値)を使う。
コードを参照しながら解説します。
まず、「可視層から第1隠れ層」「第1隠れ層から第2隠れ層」へと順方向に推論を行います。
# 初期推論:可視層から第1隠れ層へ、そして第1隠れ層から第2隠れ層へ(順方向)
h1_prob = sigmoid( self.W1 @ v + self.b_h1 )
h2_prob = sigmoid( self.W2 @ h1_prob + self.b_h2 )これによって、入力の可視状態 v によって2つの隠れ層の潜在変数の値(確率値、平均値)が初期化されます。
つまり、DBNの学習と同様に近似を使っているのですが、DBNでの学習が下層から上層のRBMへと一方通行だったのに対し、DBMでは双方向を同時に学習しています。
次に指定されたステップ数だけ反復して更新を行います。
# 反復更新: 各ステップで、上下両方の影響を取り入れる
for _ in range(steps):
# h1の更新: 入力 v からの影響と上位層h2からのフィードバックを足し合わせる
h1_prob = sigmoid(
self.W1 @ v + self.W2.t() @ h2_prob + self.b_h1 )第1隠れ層は、可視層と第2隠れ層の両方の影響を受けるので両方の結合の重さによってエネルギーの計算が行われます。バイアスはこの隠れ層のものなので一つだけです。
self.W2.t() @ h2_prob とW2が転置になっているのは逆方向からです。
次に第2隠れ層を更新しますが、これは最上層なので、第1隠れ層からの影響しか受けません。
# 反復更新: 各ステップで、上下両方の影響を取り入れる
for _ in range(steps):
...
# h2の更新: h1からの伝播のみ(上位層なので)
h2_prob = sigmoid( self.W2 @ h1_prob + self.b_h2 )この手法は、各層の状態を離散的なサンプル(0/1)ではなく平均値(確率値)で更新するため、平均場更新(Mean Field Update)と呼ばれます。
DBMでは下層から上層だけでなく、上下両方向の影響を同時に取り入れるため、DBNのように一方向の近似ではなく、全体として一貫したエネルギー関数の下での近似推論が実現されています。
平均場更新(Mean Field Update)は、統計力学や物理学の平均場理論(Mean Field Theory)から影響を受けた手法です。これは、各粒子が周囲の粒子によって受ける複雑な相互作用を、全体の平均的な影響として近似する方法です。
同様の理由によって、ディープボルツマンマシン(DBM)などの複雑な確率モデルでは、各層の状態を離散的なサンプルではなく、確率分布の平均値として近似する「平均場更新」を採用しています。
DBMの生成とその実例
DBNと同様に、DBMは教師なし学習による特徴抽出や生成モデルとして用いられました。
DBMの生成手法
DBMが生成を行うためには、可視層の状態をサンプリングする必要があります。ここで再びギブスサンプリングが登場します。
まず、学習済みのDBMの可視層とすべての隠れ層を0/1のランダムな状態に初期化します。そして、各層を固定しながら隣接層を交互にサンプリングします。
たとえば、3層DBM(可視層、隠れ層1、隠れ層2の場合は以下のように行われます。
とを固定しての活性化状態をサンプリング
を固定してとの活性化状態をサンプリング
このように、偶数層と奇数層のノードを交互に固定して、それに条件付けた隣の層をサンプリングするという更新を「交互」に何十〜何百ステップ繰り返します。理論的には、十分な反復によりモデルの学習した全体分布からのサンプルが得られることが保証されています。
なお、最上層がラベルノードになっている場合などは、条件付きで生成することができます。たとえば、数字のラベルを固定して画像を生成する場合です。
まず、最上層にある ラベルノード(たとえば10クラスの one-hot ベクトル) の固定します。例:label = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0](= 数字 2 を生成したい)
あとは、ギブスサンプリングを行うだけですが、その際にラベルノードは固定したままです。これにより、固定された条件のもとで「それに整合的な下位の状態(画像など)」が生成されるようになります。
生成画像の実例
2009年のDBMの論文「Deep Boltzmann Machines」には、DBMによって生成されたイメージの実例が掲載されています。
例えば、手書き数字(MNISTなど)のデータに対して、DBMは複雑なデータの潜在構造を学習し、その後の分類や生成(新しいデータのサンプル生成)などに応用されました。
以下は、隠れ層が2つ(2-layer BM)と3つ(3-layer BM)による生成画像の例です。はっきりと数字とわかるような生成画像になっています。

なお、この画像は確率値を表示しています(0/1ではありません)。
このDBMのネットワーク構成は以下になっています。

学習に使われたMNISTの画像は28x28なので、これをフラットにしたものが可視層の状態です。500 units や 1000 units とあるのは隠れ層のニューロンの数です。
次回予告
DBMは、推論と生成を一貫した確率モデルのもとで統合的に扱えるという点で、理論的に非常に整合性のあるモデルです。
しかし、ギブスサンプリングによる生成は非常に遅く、計算コストも高いという難点がありました。さらに、層を深くすると学習が収束しにくい問題が生じます。
これらの課題の根源には、確率モデルの理論的な土台としてサンプリングやその近似(平均場など)を使っていることがあります。
そこで次回は、2013年に登場した変分オートエンコーダ(Variational Auto-Encoder、VAE)を紹介します。
VAEでは、潜在変数の事後分布の推論をニューラルネットで直接近似することで、高速でかつ多層化による学習と推論が可能となりました。
お楽しみに!