メインコンテンツへスキップ
見出し画像

画像生成AIの進化史⑥深層信念ネットワーク

    前回は、制限ボルツマンマシンを解説しました。

    今回は、そのRBMを階層的に積み重ねることで、より複雑な特徴抽出とそれによるデータ生成を可能にした深層信念ネットワーク(Deep Belief Networks、DBN)を紹介します。

    とはいえ、単に「積み重ねる」と言っても、ディープラーニングがまだ未発達だった当時は、それは決して容易なことではありませんでした。また、RBMの持つ双方向の結合構造も、ネットワーク全体の学習を難しくする一因となっていました。

    そこでまずは、DBNの登場に至るまでの歴史的な研究の流れを追うところから始めます。

    歴史的な流れのおさらい

    深層信念ネットワークは、先行する様々なAIモデルからの影響を受けています。ここでおさらいの意味も含めて、簡単に歴史的な流れを整理しました。

    ホップフィールドネットワーク(1982年)

    ジョン・ホップフィールド(John Joseph Hopfield)が提案したホップフィールドネットワークは、脳の中にある神経回路に着想を得た再帰的・全結合型のネットワークです。データのパターンを記憶した上で、不完全な入力を与えると補完してデータを再現するという連想記憶モデルです。

    このモデルは、生物学的な学習方法であるヘッブ則や、統計物理のイジングモデルに基づくエネルギーの最小化の仕組みを学習に取り入れました。不完全なデータをネットワークの初期状態として与えると、ネットワークは学習済みのニューロン同士の接続の重みによって、よりエネルギーの低い安定状態へと遷移します。これにより、記憶されたパターンの中から、最も類似したものを回復・想起することができます。

    全結合型であるため、すべてのノードの組み合わせの関係を表現できるという理論的な強みはありましたが、記憶できるパターンの数に限界があるなどの課題も存在しました。また、その目的はあくまで「記憶したパターンによる補完」であり、新たなデータを生成するようなモデルではありませんでした。

    その意味で「生成AI」ではありませんが、「全結合型ネットワーク」や「エネルギー最小化」というアイデアは、後に登場するボルツマンマシンに受け継がれ、生成モデルの発展に影響を与えました。

    ボルツマンマシン(1985年)

    ジェフリー・ヒントンとテリー・セジュノフスキーによって提案されたボルツマンマシンは、ホップフィールドネットワークと同様に全結合型ネットワークを採用しており、すべてのノード間の関係性を学習できるという理論的・構造的な利点を引き継いでいます。

    また、エネルギー最小化の概念も採用しています。ネットワークの状態をx\boldsymbol{x}し、そこに含まれる各ノードの状態をxi∈{0,1} (i=1…n)x_i \in \{0, 1\} (i = 1 \ldots n)とします。xi=1x_i = 1ならノードiiは活性化しており、xi=0x_i = 0なら活性化していないということです。これによって、ネットワークの状態x\boldsymbol{x}のエネルギーは次の式で定義されます。

    E(x)=−12∑i∑j≠iwijxixj−∑ibixiE(\boldsymbol{x}) = -\frac{1}{2} \sum\limits_i \sum\limits_{j \neq i} w_{ij} x_i x_j - \sum\limits_i b_i x_i

    この式では、異なるノード同士の結合の強さ(活性化が同時に起こりやすいか)を重みwijw_{ij}としています。wijw_{ij}が負だったら、一方が活性化すると他方は活性化しない傾向が強いということです。また、各ノード自体の活性化しやすさは、バイアスbib_iで表現されています。

    これらのパラメータによって、ネットワークの状態の自然さが数値化されています。値が小さいほど、より自然で安定した状態であるとされます。

    この式にはマイナスが付いているので、接続の重みwijw_{ij}が大きいノード同士が同時に活性化するほど値が低くなります。また、活性化しやすいbib_iが大きいノードが活性化するほと値が小さくなります。要するにより自然なネットワークの状態であればあるほどエネルギーが小さくなります。

    このエネルギー関数E(x)E(\boldsymbol{x})を使って、ネットワークの状態x\boldsymbol{x}に確率を割り当てるのがボルツマン分布です。

    P(x)=1Ze−βE(x)P(\boldsymbol{x}) = \frac{1}{Z} e^{-\beta E(\boldsymbol{x})}

    ここでZZは、分配関数と呼ばれ確率を合計したときに1になるように正規化する役割があります。この分布では、エネルギーが低くなるほど確率が大きくなります。よって、自然なネットワークの状態に対してより高い確率を与える確率分布を表現しています。

    また、この確率分布からは、エネルギーが低い状態ほど高い確率でサンプリングされるため、ボルツマンマシンが生成するデータは自然であり、かつランダム性も持つことになります。つまり、新しいデータの生成に使うことができます。

    なお、ハイパーパラメータであるβ\betaを調節することによって、分布の形状を変えることができます。例えば、β\betaを小さくすると、エネルギーの差が弱まり、よりランダムなネットワークの状態が選ばれやすくなります。よって、生成されるデータのバリエーションが増えます。

    ただし、実際の学習には課題もありました。エネルギーをもとに確率分布を学習するには、マルコフ連鎖モンテカルロ法(MCMC)、特にギブスサンプリングを用いて大量の状態をサンプリングし、期待値を近似する必要があります。高次元なデータなどでは、非常に多くの計算リソースが必要となります。

    調和系(1986年)

    ポール・スモレンスキー(Paul Smolensky)によって提案された調和系(Harmonium)は、ボルツマンマシンにおける計算困の難さを回避し、効率よく学習・推論を実現するための構造を模索したモデルです。

    特徴的なのは、可視層と隠れ層の2層構造であり、層内のノード同士には結合がなく、異なる層に属するノード間のみが双方向に結合している点です。

    この構造は、ディープラーニングにおける層の概念と似ていますが、結合が双方向である点で異なります。

    つまり、可視層から隠れ層の状態を計算することができるし、逆に隠れ層の状態から可視層の状態を予測することもできます。

    画像

    可視層の状態をv\boldsymbol{v}(その各ノードの活性化状態をviv_i)とします。また、隠れ層の状態をh\boldsymbol{h}(その各ノードの活性化状態をhih_i)とします。

    可視層の状態v\boldsymbol{v}を条件として、隠れ層のノードjjが1になる確率は、次のように計算されます。

    P(hj=1∣v)=σ(∑iwijvi+bj)P(h_j = 1 \mid \boldsymbol{v}) = \sigma \left(\sum\limits_{i} w_{ij} v_i + b_j \right)

    bjb_jは、隠れノードjjのバイアスです。

    σ\sigmaはシグモイドです。以前にも触れましたが、シグモイドが登場する理由は、ボルツマン分布を2値しか取らないノードの値に適用しているからです。

    ソフトマックスでクラスが2つしかない場合を考えるとわかりやすいです。

    このように可視層の状態が与えられたとき、各隠れノードの活性化は他のノードに依存せず、個別に計算できるようになっています。

    逆に、隠れ層の状態h\boldsymbol{h}を与えられたときに、各可視ノードの活性化の確率は次のように計算できます。

    P(vi∣h)=σ(∑jwijhj+ci)P(v_i \mid \boldsymbol{h}) = \sigma \left( \sum\limits_{j} w_{ij} h_j + c_i \right)

    cic_iは、可視ノードiiのバイアスです。双方向結合なのでwijw_{ij}は同じij_{ij}の組み合わせなら方向によらず共通です。

    オリジナルのボルツマンマシンでは、ノード同士が全結合していて、状態が相互依存になっているので、一つのノードを更新するたびに他すべてのノードの状態を参照する必要がありました。よって、ノードの更新が逐次的(一つ一つしか行えない)になり、サンプリングがとても遅くて収束しづらい問題がありました。

    2層構造によって、層内は非結合(制限付き)なため、各ノードを更新するには多層のノードだけを条件とすればよくなりました。よって、一つの層内のすべてのノードを一括(並列)にサンプリングすることが可能です。

    また、この2層構造によって、観測データの統計量とモデルが生成する統計量を比較しながらパラメータを更新するという学習手法が以下のように行われます。

    ここで比較される統計量は、期待値⟨vihj⟩\braket{v_i h_j}です。これは可視層のノードiiと隠れ層のノードjjの活性化の積の平均値を計算したものです。

    まず、観測データを可視層に設定して、隠れ層の状態をシグモイドに従って計算(サンプリング)します。例えば、kk番目の観測データとモデルのパラメータに従って、隠れ層の状態は次のようにサンプリングされます。

    h(k)∼P(h∣ v(k))\boldsymbol{h}^{(k)} \sim P(\boldsymbol{h} \mid \boldsymbol{v}^{(k)})

    まとめて書いていますが、可視状態v(k)\boldsymbol{v}^{(k)}を条件として各隠れノードの活性化値hi(k)h_i^{(k)}を選んでいます。このように、一つの層内のすべてのノードを一括(並列)にサンプリングすることが可能な点がオリジナルのボルツマンマシンより効率的になっている点です。

    これによって、以下の期待値⟨vihj⟩data\braket{v_i h_j}_\text{data}を計算します。

    ⟨vihj⟩data=1N∑k=1Nvi(k)hj(k)\braket{v_i h_j}_\text{data} = \frac{1}{N} \sum\limits_{k=1}^N v_i^{(k)} h_j^{(k)}

    こので、NNは観測データ(学習データ)の総数です。(k)^{(k)}は、kk番目のサンプルを意味します。この期待値は、「観測されたデータを入力したときに、可視層ノードiiと隠れ層ノードjjが同時に活性化する度合いの平均」を表します。

    次に、期待値⟨vihj⟩model\braket{v_i h_j}_\text{model}を計算します。ここではモデルのパラメータに従って、ネットワーク全体の状態を生成する必要があります。

    つまり、可視層と隠れ層の両方をサンプリングする必要がありますが、これらは互いに条件付きの関係にあるため、交互にサンプリングを繰り返すことで徐々にモデルによる分布に近づけていく必要があります。

    そこで、以下のようにギブスサンプリングを繰り返します。

    隠れ層を初期化:まず、隠れ層を何らかの方法で初期化します。例えば、ランダムな値を設定します。これをh(t=0)\boldsymbol{h}^{(t=0)}とします。ここでのttはステップの意味です。

    可視層をサンプル:隠れ層の状態h(t=0)\boldsymbol{h}^{(t=0)}から、可視層の状態をシグモイドに従ってサンプリングします。

    v(t=1)∼P(v∣ h(t=0))\boldsymbol{v}^{(t=1)} \sim P(\boldsymbol{v} \mid \boldsymbol{h}^{(t=0)})

    隠れ層をサンプル:可視層の状態v(t=1)\boldsymbol{v}^{(t=1)}から、隠れ層の状態をシグモイドに従ってサンプリングします。

    h(t=1)∼P(h∣ v(t=1))\boldsymbol{h}^{(t=1)} \sim P(\boldsymbol{h} \mid \boldsymbol{v}^{(t=1)})

    再び可視層をサンプル:

    v(t=2)∼P(v∣ h(t=1))\boldsymbol{v}^{(t=2)} \sim P(\boldsymbol{v} \mid \boldsymbol{h}^{(t=1)})

    再び隠れ層をサンプル:

    h(t=2)∼P(h∣ v(t=2))\boldsymbol{h}^{(t=2)} \sim P(\boldsymbol{h} \mid \boldsymbol{v}^{(t=2)})

    このように、交互に何度もサンプリングを繰り返すことで、モデルのパラメータが表現する分布に近い1つのサンプル(ネットワークの状態)が得られます。一つのネットワーク状態の生成だけでも時間がかかるのに、これを繰り返して複数個の生成データを用意する必要があります。

    オリジナルのボルツマンマシンよりは効率が良くなったとはいえ、時間がかかりすぎるのが課題でした。特に当時のコンピュータでは非常に重く遅くなるのが必至でした。

    これによって、以下の期待値⟨vihj⟩model\braket{v_i h_j}_\text{model}を計算します。

    ⟨vihj⟩model=1M∑k=1Mvi(k)hj(k)\braket{v_i h_j}_\text{model} = \frac{1}{M} \sum\limits_{k=1}^M v_i^{(k)} h_j^{(k)}

    MMは生成データの総数です。この(k)^{(k)}は、kk番目の生成データを意味します。

    こうして得られた2つの期待値の差を用いて、重みwijw_{ij}を更新します。

    • ⟨vihj⟩data>⟨vihj⟩model\braket{v_ih_j}_\text{data} > \braket{v_i h_j}_\text{model} → 結合の重みを増加させる

    • ⟨vihj⟩data<⟨vihj⟩model\braket{v_ih_j}_\text{data} < \braket{v_i h_j}_\text{model} → 結合の重みを減少させる

    この更新の方向は、誤差を最小化するように重みが調整されるという点で、現代の学習アルゴリズムにおける勾配降下法と同様の考え方に基づいています。

    ここまでくるとほぼ前回紹介した制限ボルツマンマシン(RBM)と同じ仕組みなのですが、実際には調和系による学習は困難でした。なぜならば、期待値⟨vihj⟩model\braket{v_i h_j}_\text{model}の計算するのに必要なサンプルを十分な量(大きなMM)だけ生成する必要があり、時間がかかりすぎるからです。

    この課題が克服されるまでには、コントラスティブ・ダイバージェンス(Contrastive Divergence、CD)の登場をあと16年ほど待つ必要があります。

    誤差逆伝播法(1986年)

    誤差逆伝播法の研究はもっと古くからありましたが、ニューラルネットへの適用と実験を通して実装可能で効果的な学習アルゴリズムとしての地位を確立したのは以下の3名による研究です。

    • デイヴィッド・ルメルハート(David E. Rumelhart)

    • ジェフリー・ヒントン(Geoffrey E. Hinton)

    • ロナルド・ウィリアムズ(Ronald J. Williams)

    フィードフォワード(一方通行)のニューラルネットワークにおける学習方法ですが、以下の手順に従って効率的な学習が行えます。

    1. 順伝播:入力から出力まで計算し、損失関数(誤差)を求める

    2. 誤差の計算:出力層での誤差を計算

    3. 逆伝播:誤差を各層に伝播させ、パラメータ勾配(損失への影響度)を計算

    4. 重みの更新:勾配降下法を用いて、重みを少しずつ修正

    ヤン・ルカン(Yann LeCun)が1989年の提案した畳み込みニューラルネットワークであるLeNetなどでも応用されました。

    ヤン・ルカンは1998年までジェフリー・ヒントンの研究室に所属していました。

    その後、誤差逆伝播法は広まりましたが、生成モデルよりも分類や回帰などを行う「識別モデル」における教師あり学習の話でした。

    やがて、誤差逆伝播法は深層信念ネットワークでも応用されます。

    ベイジアン(信念)ネットワーク(1990年代)

    1990年代はAIの冬の時代でしたが、その頃発展したベイジアンネットワーク(信念ネットワークとも呼ばれる)は、確率変数間の依存関係をグラフで表現し、複雑な推論や学習を可能にする枠組みを与えました。

    画像

    ここでいうグラフとは有向非巡回グラフ(Directed acyclic graph、DAG)と呼ばれるもので、以下の特徴があります。

    • 有向:ノードの接続に方向がある(有向、双方向ではない)

    • 非巡回:巡回してもとに戻る経路(ループ)がない

    全結合型ネットワークもグラフ構造で表されますが、ノード間が双方向に結びついています。よって、巡回(ループ)を持ち、依存関係が複雑です。

    一方、調和系では、可視層と隠れ層の2層に分け、層内の結合を排除することで、依存関係が比較的単純になっています。

    DAG(有向非巡回グラフ)によって、条件付き確率による依存関係を簡潔に表現できます。

    画像

    ここで、A、B、Cは、確率的に値を取る変数(ランダム変数)とします。矢印(エッジの向き)が条件付きの依存関係を表現しています。

    • A → C:C は A に依存

    • B → C:C は B にも依存

    つまり、C の確率分布が A と B によって条件付けされていることになります。

    これらの関係を確率で表現してみます。まず、A と B の間にはエッジがないため、両者は独立であると仮定できます。

    P(A,B)=P(A)⋅P(B)P(A, B) = P(A) \cdot P(B)

    C は A と B に依存するので、次のように条件付き確率で表されます。

    P(C∣A,B)P(C \mid A, B)

    よって、A、B、Cを同時に確率として、次のように表現できます。

    P(A,B,C)=P(C∣A,B)⋅P(A)⋅P(B)P(A, B, C) = P(C \mid A, B) \cdot P(A) \cdot P(B)

    この構造は、A と B を可視層のノード、C を隠れ層のノードと見なせば、調和系における2層ネットワークと似た役割分担を表しています。

    可視層内のノードAとBは独立(依存関係がなし)で、隠れノードは可視層の状態(ノードAとBの値)に依存しています。

    また、ベイズの定理を用いれば、以下のように可視層→隠れノードの関係が表現できます。

    P(C∣A,B)=P(A,B∣C)⋅P(C)P(A,B)P(C \mid A, B) = \frac{P(A, B \mid C) \cdot P(C)}{P(A, B)}

    この式は、ノードA、Bからなる可視層の状態が与えられたときに、隠れ層のノードCの活性化が確率的にきまることを表現しています。

    つまり、これは調和系における隠れ層の推論ステップそのものです。

    この式をひっくり返すと、今度は隠れ層の状態から可視層の状態を生成する方向の関係が見えてきます。

    P(A,B∣C)= P(C∣A,B)⋅P(A,B)P(C)P(A, B \mid C) = \frac{P(C \mid A, B) \cdot P(A, B)}{P(C)}

    つまり、Cの値に応じて、AやBの確率分布が変化するのがわかります。また、AとBは独立なので以下の関係が成り立ちます。

    P(A,B∣C)=P(A∣C)⋅P(B∣C)P(A, B \mid C) = P(A \mid C) \cdot P(B \mid C)

    これは、「1つの隠れノードが複数の可視ノードに影響を与えるが、可視ノード間には直接の依存がない」という構造を示しています。調和系の隠れ状態から各可視ノードの値をサンプルするステップに相当します。

    なお、入力された情報をもとに内部的に導かれる“意味的な特徴”(より抽象的な特徴)を潜在表現(latent representation)と呼びます。また、具体的な確率または活性度を数値として扱っているものを潜在変数(latent variable)と呼びます。潜在という言葉には、「観測されないが、データの生成や意味に影響を与える内部にあるもの」といったニュアンスが含まれています。

    潜在変数は観測できない内部の変数ですが、データの生成や意味に大きな影響を与える抽象的な要因を表現しています。
    この考え方は、調和系や制限ボルツマンマシン、さらに深層信念ネットワーク(DBN)において、データの階層的な特徴を学習・表現するうえでの中核的な概念となっています。

    なお「信念ネットワーク」(Belief Network)とも呼ばれるのは、モデル設計者が想定した依存関係に基づいて構築されており、各変数の状態についての確率的な“信念”をDAG構造として表現するネットワークであるためです。

    ”信念”とは「こっちのノードの値がこうなら、あっちのノードはこうなる“可能性が高い”だろう」といった、不確実な関係に対する確率的な期待を意味します。

    信念ネットワークは、全結合型ネットワークのような複雑な依存構造を、層状のモデルとして効率的に分解・表現するための理論的な土台となっています。

    この発想は、のちに登場する深層信念ネットワーク(Deep Belief Network)において、多層的な確率モデルを構築する際に応用されました。

    制限ボルツマンマシン(2002年)

    制限ボルツマンマシン(RBM)は、ジェフリー・ヒントンらによって提案されたモデルであり、ボルツマンマシンの持つ理論的な強みを保ちながらも、学習が効率的になるよう構造とアルゴリズムが改良された生成モデルです。

    基本的な特徴は調和系(Harmonium)と同様で、可視層と隠れ層の2層構造を取っています。この「制限された構造」によって、各ノードが条件付きで独立にサンプリング可能となり、処理が効率的になります。

    RBMの最大の革新点は、調和系で問題となっていた「モデルによる分布の期待値を得るために大量のギブスサンプリングが必要」という課題に対して、コントラスティブ・ダイバージェンス(Contrastive Divergence、CD)を採用したことです。

    調和系では、ネットワーク全体をモデル分布に従わせることでデータ生成を行いますが、そのためには隠れ層と可視層を交互にサンプリングするギブスサンプリングを多数回繰り返す必要がありました。これは、分布の収束に必要なステップですが、時間がかかりすぎるという問題がありました。

    コントラスティブ・ダイバージェンスでは、以下の簡略化した処理を行います。

    • 可視層を観測データで初期化し隠れ層を推定(サンプリング)

    • こうして得られた隠れ層から可視層を再構成(サンプリング)

    • 再構成された可視層からさらに隠れ層を推定(サンプリング)

    この一往復(CD-1)、または数回(CD-k)だけで、学習に必要な期待値の近似を行っています。

    これが成り立つのは、サンプリングの初期値として観測データを使っているからです。これにより、モデルによる分布と観測データの分布の差を効率的に検出できるため、少ないステップでも有効な学習が可能となります。

    「理論的には無限に繰り返す必要がある」とされていたサンプリングが「たった1ステップ(あるいはせいぜい数ステップ)のギブスサンプリングで近似できる」というコントラスティブ・ダイバージェンス(CD)の発想が登場するまでには、調和系の提案から実に16年近い歳月が必要でした。

    驚くほど単純なこのアイデアが、なぜそんなにも長く現れなかったのでしょうか。

    その理由は、おそらくひとつではありません。当時はAIが冬の時代だったし、またコンピュータ性能の不十分でした。また、そしてエネルギーベースモデルに対する理解や関心が足りなかったのかもしれません。

    それでも、ジェフリー・ヒントンは心折れずに生成モデルの研究を綿々と続けていたということになります。

    あくまで筆者の解釈です

    しかし、複雑な分布に対しては、一つの隠れ層だけでは表現力が足りず、RBMの持つ能力を階層的に拡張する必要がありました。

    深層信念ネットワーク

    深層信念ネットワーク(Deep Belief Network、DBN)は「複数のRBMを階層的に積み重ねて構成される」生成モデルです。以下の3名による研究成果であり、が2006年に発表されました。

    RBMの登場から4年が経過していました。おそらく、RBMを多層化して、より複雑な表現を学習できるようにするアイデアはすでに存在していたと思われます。

    しかし、2012年のAlexNetの登場によるディープラーニングのブレイクスルーよりも6年前のことでもあります。ImageNetによるコンペが始まったのは2010年からで、DBNが発表された当時は、学習に必要な大規模なデータセットも十分ではありませんでした。深層ネットワークは「学習がうまくいかない」と認識され模索が続いていた時代でした。

    DBNが層を重ねる意味

    DBNは、複数のRBM(制限ボルツマンマシン)を階層的に積み重ねたモデルです。入力データを最下層と考えると次のように処理が流れていきます。

    入力データ → RBM① → 潜在表現 → RBM② → 潜在表現 → ... → RBM最上層

    画像

    各RBMは、可視層と隠れ層の2層で構成されています。あとで紹介しますが、事前学習の時にのみ、各RBMは単体として双方向の結合で確率的にデータをモデル化します。学習後に推論する際には、最下層から最上層へと一方向に処理します。

    前述したように、潜在表現(latent representation)とは、データが持つ意味的な特徴を、モデル内部で抽象的に表現したものです。それを数値として表現しているのが、潜在変数(latent variables)です。

    これまで「隠れ層の状態」「隠れノード」と呼んでいたものを、ベイジアンネットワーク的な観点から「潜在表現」「潜在変数」と言い換えただけです。

    一番下のRBMの潜在表現(隠れ層の状態)は、そのまま次のRBMの可視層へ入力として使われます。この構造により、下層で抽出された情報が、より抽象的な特徴として上層へと伝わっていくという階層構造が実現されます。

    学習済みのDBNで推論を行う際には、基本的には一方向(下から上)への接続構造として動作します。

    このように、RBMを積層することで、より複雑なデータ構造を段階的に推論したり学習できるようになっています。

    特に注目すべきは、その学習手順です。DBNでは、まず教師なしの事前学習によって、下層から順にRBMを一つずつ訓練し、モデルを積み上げていきます。すべてのRBMが学習された後、最後に教師ありのファインチューニングを行って、ネットワーク全体を微調整します。

    教師なし事前学習の理由

    DBNにおける事前学習とは、複数のRBMを一つずつ段階的に教師なしで学習させていくステップのことです。このような手順が必要な理由は、複数のRBMを積み重ねた深いネットワークを、いきなり全体で訓練する方法が当時は現実的でなかったためです。

    たとえば、すべての隠れ層をランダムに初期化して、DBN全体を同時に学習させようとすると、層をまたぐギブスサンプリングが必要となり、計算コストや収束の面で現実的ではありません。

    また、教師あり学習(誤差逆伝播法)でDBN全体を同時に学習させようとすると、当時は勾配消失問題が深刻で、学習がうまく進みませんでした。

    DBNの事前学習の具体的手順は以下になります。

    ① 最初のRBMを学習
    まず、1つ目のRBMに入力データを与え、通常のRBMと同様にCDを使って教師なしで学習します。このRBMの学習が完了したら、そのパラメータ(重みとバイアス)は固定されます。

    ② 次のRBMを学習
    次に、2つ目のRBMには、1つ目のRBMから得られた潜在表現を入力として使います。この潜在表現は、1つ目のRBMに入力データを渡し、その隠れ層の値を取り出すことで得られます。よって、異なる学習データからの潜在表現を入力として使うことができます。2つ目のRBMも、同様にCDによって学習されます。

    ③ 上の層へと積み重ねていく
    同じようにして、さらに上の層へとRBMを段階的に積み重ねていきます。各層の学習が終わるたびに、そのパラメータは固定され、次のRBMへの入力は、入力データを最下層から通してきたときの出力(潜在表現)が使われます。

    このようにして、各階層でより抽象的な表現を獲得しながら、最上層のRBMまで学習を進めていくのが、DBNの教師なし事前学習です。各層は独立して学習されるので全体として複数のRBMによる多層構造を学習させることが可能です。

    こうして得られたパラメータ(重みとバイアス)を「良い初期値」として、次に教師ありファインチューニングを行います。

    教師ありファインチューニング

    教師ありファインチューニングでは、教師なしで事前学習されたネットワークをベースに、ラベル付きデータを用いてパラメータの微調整を行います。

    事前学習されたDBNをコンパクトに描くと以下の図になります。

    画像

    事前学習ではラベルを使わずに「データの構造」を学習しただけなので、分類や回帰などのタスクには最適化されていません。そこで、最上層に分類層(ソフトマックスなど)を追加し、出力との誤差に基づいてネットワーク全体を調整する必要があります。回帰なら線形出力などを用意します。ここでの出力は連続値です。

    この段階では誤差逆伝播を利用した勾配降下法によってネットワーク全体のパラメータを微調整します。

    まず、入力データを全体のネットワークに通して順伝播し、事前学習済みの層を通って出力まで到達させます。次に、ラベルと出力の誤差を計算(損失関数)して、誤差逆伝播と勾配降下法によって各層の重みを微調整し損失を最小化していきます。

    こうしてみると、DBNはディープラーニングに近い構造を持ちますが、各ユニットは確率的に0または1をとる2値変数です。その活性化はシグモイド関数で決まりますが、その値はあくまで「活性化する確率」であり、連続値ではありません。

    このように事前学習とファインチューニングを通して、ランダム初期化から深いネットワークを学習させるよりも、はるかに安定して学習が進むようになりました。特にラベル付きデータが少ない場合でも、事前学習の潜在表現が汎用的な特徴抽出器として働くという利点もあります。

    これは「自己教師あり学習」の初期的なアイデアとも重なる発想であり、ヤン・ルカンが自己教師あり学習やエネルギーベースのモデルを信奉している背景になっているようです。

    個人の印象です

    どのくらい積み重ねられる?

    2006年に発表された Geoffrey Hinton らの論文「A Fast Learning Algorithm for Deep Belief Nets」では、DBNは3〜5層程度が中心的な実験構成でした。それ以上は、計算負荷や学習の安定性の問題から一般的ではありませんでした。

    それでも、手書き文字認識(MNIST)などでは、十分な性能(誤認識率は1.25%)が出たことが確認されています。

    画像

    MNISTは28x28の手書き数字のデータセットなので、入力は784(=28x28)の数値です。これを可視層が受け取って、3つの隠れ層を通し、最終的にはソフトマックスを通して10個の数字に対する確率分布が出力されます。

    1998年には、ヤン・ルカンによる LeNet がすでに存在していたため、DBNの登場は一見すると驚きの成果には見えないかもしれません。

    しかし、DBNが発表された2006年当時のLeNetは、活性化関数にシグモイドやtanhを用いていたため、勾配消失問題に悩まされており、層を深くすると学習が困難でした。

    そんな中でDBNは、層ごとの事前学習によって安定した深層ネットワークの学習が可能であることを示し、「深層学習は現実的に使えそうだ」という認識を広げた点で、歴史的に非常に重要な転換点となりました。

    その後、ReLUの登場、パラメータ初期化の工夫、そしてGPUの普及といった進展により、ディープラーニングは飛躍的に効率を高めていきます。

    DBNは生成モデルとしても機能します。

    生成モデルとしてのDBN

    DBNは、学習したRBMの最上層を起点として、潜在変数から順に下の層に状態を伝播させることで、可視層のデータを確率的に生成することができます。つまり、「多層構造で学習した分布に従って新しいデータを作る」ことができます。

    以下のように、生成のためには逆方向の推論やサンプリングを行います。

    1. 最上層からのサンプリング
      まず最上層の隠れ層からデータをサンプリングします。この層では、隠れユニットが確率的に活性化され、新しいデータ点が生成されます。

    2. 下層への伝播
      最上層で生成されたデータを基に、次の下位層へと情報を伝播します。各層では、条件付き確率分布に基づいて可視層の値を再構築します。このプロセスは逐次的に進み、最下層までデータが伝播されます。

    3. 可視層での再構築
      最下層(入力層)では、生成されたデータが元の入力形式(例えば画像やテキストなど)として復元されます。この復元されたデータは、学習時にモデルが捉えたデータ分布に基づいたものです。

    理論上は上記の通りですが、論文中では、純粋にランダムな潜在変数から意味のある画像を生成することは示されていません。実際には、生成する数字を条件付けすることで、特定の数字の画像を生成する実験が行われています。

    画像
    論文:図8

    この図の各行は「特定のラベル(0〜9のいずれか)を指定」したときに生成された画像の例となっています。この条件付けは、出力層にある最後の10ユニットのひとつだけ1にして残りは0に設定(ワンホット・エンコーディング)して、サンプリングを始めるということです。

    ギブスサンプリングを行うときに、ラベルユニットを特定のクラスに固定すると、モデルのクラス条件付き分布から画像を得ることができます。

    If we clamp the label units to a particular class during the Gibbs sampling we can see images from the model’s class-conditional distributions.

    A Fast Learning Algorithm for Deep Belief Nets

    後続モデルに与えた影響

    深層信念ネットワーク(DBN)は、多層構造を持つ深層生成モデルを現実的に訓練可能にした最初のモデルのひとつであり、「深層学習は訓練できる」という認識を世の中に広げました。

    また、隠れ層の状態が意味のある潜在変数として機能することを示した点でも画期的でした。この「潜在変数による生成」という考え方は、後に登場する以下のようなモデルに影響を与えました。

    • VAE(変分オートエンコーダ):潜在空間から確率的にデータを再構成

    • GAN(敵対的生成ネットワーク):ランダムな潜在ベクトルからリアルなデータを生成

    VAEやGANは、連続値の潜在変数を用いることで、より柔軟なデータ生成を可能にしましたが、「データの本質的な特徴を潜在表現に変換し、そこからデータを生成する」というアプローチは、DBNにおける潜在表現の概念から大きな影響を受けています。

    DBNにおける課題について

    DBNの各RBMを個別に事前学習して積み重ねる仕組みは、当時としては非常に効率的で実践的なものでした。

    ただしこの方法は、あくまで各層を局所的に最適化する手法に過ぎず、ネットワーク全体としての一貫した最適化(全体最適)を保証するものではありません。

    つまり、そのため、各層がバラバラに学習された結果として、最上層での潜在表現が必ずしも全体のデータ生成に最適とは限らないという問題が生じます。

    学習結果が、こうした局所最適にとどまる場合には、その後に行う教師ありファインチューニングの効果を制限してしまうことがあります。いくら微調整しても良い成果を出せなくなってしまいます。

    次回予告

    次回は、ディープボルツマンマシン(Deep Boltzmann Machine、DBM)を紹介します。

    2009年にジェフリー・ヒントンらが発表したディープボルツマンマシンは、深層信念ネットワークの限界を克服するために、全体として統一された確率モデルを構築・学習できるように設計された生成モデルです。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ