メインコンテンツへスキップ
見出し画像

画像生成AIの進化史④ボルツマンマシン

    前回は、ガウス混合モデル(GMM)を取り上げました。GMMは、観測データから確率分布を学習するモデルです。学習された分布からサンプリングすることで、生成モデルとして用いることができることを実験などを通して解説しました。

    また、GMMによる生成の問題点も議論しました。そして、より性能を高めるには「生成されたデータの質を評価し、高品質なものほど高い確率を与えるようにモデルを更新する」必要があるという結論に達しました。

    そこで今回は、2024 年のノーベル物理学賞を受賞したジェフリー・ヒントンが提案した生成モデルであるボルツマンマシン(Boltzmann Machine)を紹介します。エネルギーという物理学の概念を機械学習に取り入れたモデルであり、エネルギーベースモデル(Energy-based Model、EBM)とも呼ばれます。

    「エネルギーの最小化」が「生成されるデータの質」にどう関係するのかを考えていきましょう。

    ボルツマンマシンの起源

    ここではボルツマンマシンに関連する背景的な情報を解説します。

    脳の計算モデルへの興味

    ジェフリー・ヒントンは、もともと脳の計算モデルに関心を持っていた研究者であり、ニューラルネットワークを用いた認知や記憶の数学的モデリングに興味を持っていました。

    1985年にジェフリー・ヒントンとテリー・セジュノフスキー(Terry Sejnowski)が提案したオリジナルのボルツマンマシンの論文「A Learning Algorithm for Boltzmann Machines」では、次のように述べています。

    脳のアーキテクチャに関する証拠と、新しい VLSI 技術の可能性により、"コネクショニスト" システム(Feldman & Ballard, 1982; Hinton & Anderson, 1981)への関心が再び高まっています。これらのシステムは、シンプルなニューロンのような処理要素間の結合の強さとして長期的な知識を保存します。

    Evidence about the architecture of the brain and the potential of the new VLSI technology have led to a resurgence of interest in "connectionist" systems (Feldman & Ballard, 1982; Hinton & Anderson, 1981) that store their long-term knowledge as the strengths of the connections between simple neuron-like processing elements.

    https://www.sciencedirect.com/science/article/pii/S0364021385800124

    ここでは、「脳のアーキテクチャの研究が進んでいること」と「ハードウェアの進化(VLSI 技術)により、コネクショニストシステムの研究が加速している」ということを述べています。

    VLSI(Very Large Scale Integration) は、 1980年代に開発された「超大規模集積回路」 のことです。当初は数万~数十万トランジスタ規模でしたが、その後も開発が進み、1986年には100万トランジスタを集積したものが登場しています。今でいう半導体のことですが、現在から見ると規模は小さかったです。

    コネクショニストのシステムとは、知識は個々のニューロンではなく、それらの結合(シナプス強度)として保存されるという考え方に基づいています。これは、脳のシナプス結合が学習によって変化する仕組みを模倣しているともいえます。

    現在における人工ニューラルネットワークのことで「ニューロンのような処理要素間の結合の強さとして長期的な知識を保存する」という表現からも脳の仕組みに刺激を受けていることがわかります。

    このようなシステムを、当時は新しいVLSI 技術で実現しようとしていたようです。例えば、カーバー・ミード(Carver Mead)は、ジョン・ホップフィールドやリチャード・P・ファインマンとともに動物の脳を研究し、ニューラルネットワークをVLSI上に実装することを試みていたとのことです。

    そして、ジェフリー・ヒントンによるボルツマンマシンの研究は、ホップフィールド・ネットワークに影響を受けています。

    ホップフィールド・ネットワーク

    ジェフリー・ヒントンと同時に2024年ノーベル物理学賞を受賞したジョン・J・ホップフィールドは、1982年にホップフィールド・ネットワークを考案しました。

    こちらでも解説していますが、簡単におさらいします。

    ホップフィールド・ネットワークは、連想記憶と呼ばれる仕組みによってデータのパターンを記憶できます。

    連想記憶(Associative memory)とは、不完全な情報を基に、学習済みの完全な情報を想起できる記憶モデルです。不完全な情報とは、部分的に欠損しているとか、ノイズがある画像などを指します。

    物理学のイジングモデルから着想を得ており、統計力学的手法を応用しています。

    参考:言語AIの進化史⑪ホップフィールド・ネットワーク

    ホップフィールド・ネットワークは、全結合型のニューラルネットワークであり、各ニューロン(ノード)が他のすべてのニューロンと接続されています。ニューロン間の相関関係は「重み」として計算されます。また、この重みはヘッブ則に従って学習されます。

    例えば、画像データの場合、各ピクセルをニューロンとします。すべてのピクセル間の重みが計算され、画像のパターンとして記録されます。限界がありますが、複数の画像パターンを記憶できます。

    ホップフィールド・ネットワークは不完全な入力データを与えられた時、記憶されたパターンとの整合性(マッチする度合い)をエネルギー関数で表現します。整合性が高いほどエネルギーが低くなります。よって、エネルギーを最小化するように、入力データの値を調節すると、記憶されたパターンの一つに到達します。これを復元と呼んでいるわけです。

    一見、不完全な情報から完全なデータが生成されたような印象を受けますが、ホップフィールド・ネットワークでは新しいデータを生成することはできません。あくまで「過去に学習したパターンの復元」を目的としており、データの分布を学習するわけではないからです。

    それでもボルツマンマシンはホップフィールド・ネットワークと共通点も多く、その拡張と捉えることもできます。

    しかし、大きな違いはボルツマンマシンが確率的であることです。

    統計力学におけるボルツマン分布

    統計力学では、多数の粒子(たとえば気体の分子)の集団としてのふるまいを、粒子の運動(速度や位置)の平均的な性質として説明します。

    たとえば、気体の温度は、分子の持つ運動エネルギーの平均値と関係があります。温度が高い気体では、個々の分子は平均的に速く動いており、全体としての運動エネルギーも高くなります。逆に、温度が低い場合、分子の運動はゆっくりとなり、運動エネルギーも低下します。

    ただし、個々の分子の速度にはばらつきがあり、速い分子も遅い分子も混ざっています。つまり、エネルギーには分布があります。この「分子がどのくらいのエネルギーを持つか」を確率的に表したものが ボルツマン分布(またはギブス分布、マクスウェル・ボルツマン分布とも呼ばれる)です。

    これは古典的な統計力学の話であり、超流動などの量子力学的な効果は考えていません。

    温度が高くなるほど、分子が持つ運動エネルギーの分布のピーク(最も多くの分子が持つエネルギー)は、より高エネルギー側(速く動いている状態)に移動します。つまり、運動エネルギーの大きい分子の割合が増え、平均的に「元気」な分子が増えるわけです。

    ある分子の状態をベクトルx\boldsymbol{x}で表現し、そのエネルギーをE(x)E(\boldsymbol{x})とすると、ボルツマン分布では、この状態x\boldsymbol{x}の確率は以下になります。

    P(x)=1Ze−βE(x)P(\boldsymbol{x}) = \frac{1}{Z} e^{-\beta E(\boldsymbol{x})}

    ここで、β\betaは温度TTに依存するパラメータであり、温度が変わると分布の形が変化します。

    より具体的には、β\beta は温度 TT の逆数 1T\frac{1}{T} に比例するパラメータであるため、温度が高くなるほどエネルギーの差による状態の確率の差が小さくなり、分布は一様分布に近づきます。逆に、温度が低くなるほど、エネルギーが少しでも低い状態に集中する傾向が強くなります。

    画像
    あくまでイメージです

    また、ZZ は分配関数(partition function)と呼ばれるもので、すべての状態にわたる確率の合計がちょうど 11 になるよう調整(正規化)するための数値です。

    数学的には、すべての可能な状態 x\boldsymbol{x} にわたって以下の積分として表されます。
    Z=∫x e−βE(x) dxZ = \int_{\boldsymbol{x}} e^{-\beta E(\boldsymbol{x})} \ \rm{d}\boldsymbol{x}

    状態が離散的(有限個)な場合は、積分の代わりに総和が計算されます。
    Z=∑x e−βE(x)Z = \sum\limits_{\boldsymbol{x}} e^{-\beta E(\boldsymbol{x})}

    ボルツマン分布では「エネルギーが低い状態ほど起こる確率が高く、エネルギーが高い状態ほど確率が低い」という点が重要です。

    物理学ではこの傾向を「エネルギー最小化の原理」と呼んでおり、物質が自然にできるだけエネルギーの低い安定した状態に落ち着こうとする性質を表しています。

    この「エネルギー最小化」のアイデアはホップフィールド・ネットワークでも使われています。ただし、ホップフィールド・ネットワークはあくまでエネルギーが最も低い状態(安定状態)に決定論的に落ち着こうとするモデルであり、「状態が確率的に変わる」という概念はありません。

    一方、ボルツマンマシンではエネルギーと確率的な要素が結びついています。

    ボルツマン分布の導出

    興味がある方のために、ここでボルツマン分布を導出します。飛ばしてもらっても構いません。ガウス分布の記事でも紹介した最大エントロピーの原理やラグランジュ未定乗数法を使います。

    確率分布P(x)P(\boldsymbol{x})のエントロピーは次のように定義されます。

    S=−∑xP(x)log⁡P(x)S = -\sum\limits_{\boldsymbol{x}} P(\boldsymbol{x}) \log P(\boldsymbol{x})

    エントロピーは「不確実性(情報量の散らばり)」の尺度であり、最もエントロピーが高い分布は「一様分布」 です。

    制約を与えてエントロピーを最大化すると特定の分布になります。例えば、平均と分散の値を条件とするとガウス分布が導出されます。

    ボルツマン分布では、平均エネルギー(エネルギー期待値)が一定という条件を与えます。

    ∑xP(x)E(x)=U\sum\limits_{\boldsymbol{x}} P(\boldsymbol{x})E(\boldsymbol{x}) = U

    また、確率分布なので、正規化条件も必要です。

    ∑xP(x)=1\sum\limits_{\boldsymbol{x}} P(\boldsymbol{x}) = 1

    この2つの制約のもとで、エントロピーを最大化すると「情報を保ったまま最もランダムな分布」を得ることができます。

    エントロピーを最大化するために、ラグランジュ未定乗数法を適用します。

    L=−∑xP(x)log⁡P(x)+λ1(∑xP(x)−1)+λ2(∑xP(x)E(x)−U)L = -\sum\limits_{\boldsymbol{x}} P(\boldsymbol{x}) \log P(\boldsymbol{x}) + \lambda_1 \left( \sum\limits_{\boldsymbol{x}} P(\boldsymbol{x}) - 1 \right) + \lambda_2 \left( \sum\limits_{\boldsymbol{x}} P(\boldsymbol{x})E(\boldsymbol{x}) - U \right)

    λ1\lambda_1とλ2\lambda_2はラグランジュ乗数です。

    では、関数LLをP(x)P(\boldsymbol{x})について最適化します。

    ∂L∂P(x)=−log⁡P(x)−1+λ1+λ2E(x)=0\frac{\partial L}{\partial P(\boldsymbol{x})} = -\log P(\boldsymbol{x}) - 1 + \lambda_1 + \lambda_2 E(\boldsymbol{x}) = 0

    よって、以下が導かれます。

    P(x)=eλ1−1 eλ2E(x)P(\boldsymbol{x}) = e^{\lambda_1 - 1} \, e^{\lambda_2 E(\boldsymbol{x})}

    また、確率の正規化条件より以下が必要となります。

    ∑xP(x)= ∑xeλ1−1 eλ2E(x)=1\sum\limits_{\boldsymbol{x}} P(\boldsymbol{x}) = \sum\limits_{\boldsymbol{x}} e^{\lambda_1 - 1} \, e^{\lambda_2 E(\boldsymbol{x})} = 1

    ここで、Z= ∑xeλ2E(x)Z = \sum\limits_{\boldsymbol{x}} e^{\lambda_2 E(\boldsymbol{x})}と定義すると以下のように書き換えられます。

    ∑xeλ1−1 eλ2E(x)=eλ1−1 Z=1\sum\limits_{\boldsymbol{x}} e^{\lambda_1 - 1} \, e^{\lambda_2 E(\boldsymbol{x})} = e^{\lambda_1 - 1} \, Z= 1

    よって、eλ1−1=1Ze^{\lambda_1 - 1} = \frac{1}{Z}となり、以下が導かれます。

    P(x)=1Zeλ2E(x)P(\boldsymbol{x}) = \frac{1}{Z} e^{\lambda_2 E(\boldsymbol{x})}

    この確率を全てのエネルギーに関して積分した∫eλ2EdE\int e^{\lambda_2 E} \mathrm{d}Eが収束するにはλ2<0\lambda_2 < 0である必要があるので、λ2=−β\lambda_2 = -\beta(β>0\beta > 0)とするとボルツマン分布が導出されます。

    P(x)=1Ze−βE(x)P(\boldsymbol{x}) = \frac{1}{Z} e^{-\beta E(\boldsymbol{x})}

    ちなみに、物理的にもエネルギーが上がると確率は低くなるべきなのでλ2=−β\lambda_2 = -\betaとするのが妥当です。

    ソフトマックスとの対比

    これもおまけですが、ボルツマン分布はソフトマックス関数と非常に似た形をしています。機械学習では、kkクラス分類の出力確率を以下のような形で計算します。

    P(y=k)=ezk∑jezjP(y = k) = \frac{e^{z_k}}{\sum\limits_j e^{z_j}}

    これは、各クラスのスコアzkz_kに指数関数を適用し、全体の和で正規化したものです。スコアが高いほど確率が高くなります。

    スコアzkz_kは、ロジット(logits)とも呼ばれます。

    ボルツマン分布における−βE(x)-\beta E(\boldsymbol{x}) がスコアzkz_k に相当しますが、エネルギーが低いほど確率が高くなり、またβ\betaによって分布の形を調節できるところが異なります。

    確率的全結合型ネットワーク

    ボルツマン分布の詳細で脇道にそれましたが、ボルツマンマシンに話を戻します。

    全結合型ネットワークで分布学習

    ボルツマンマシンは、各ノード(ニューロン)が互いに接続しあう構造を持ちます。これはホップフィールド・ネットワークと同様であり、ニューラルネットワークでよく使われるような「層」(layer)という概念がありません。

    ノード間に層の区別がなく、全てのノード同士が相互に接続した全結合型ネットワークであるため、ノード数が増えると接続数が急激に増加します。その結果、計算や学習が複雑になりやすいという欠点があります。これもホップフィールド・ネットワークと同じです。

    さらに、「エネルギー最小化」の考え方なども、ホップフィールド・ネットワークから大きな影響を受けています。

    ただし、ボルツマンマシンはデータの分布を学習するモデルであり、「連想記憶モデル」であるホップフィールド・ネットワークとは目的が異なります。そのため、実際のデータ分布の特徴を捉え、それらに似た新しいデータを生成できるように設計されています。

    よって、ボルツマンマシンは、ホップフィールド・ネットワークのエネルギー最小化などを受け継ぎながら、確率分布の仕組みを加え拡張したものと捉えることができます。

    エネルギー最小化と生成データの質

    ホップフィールド・ネットワークでは、「データが記憶されたパターンに近いほどエネルギーが低い状態になる」と考えました。ボルツマンマシンでは、このエネルギーの分布として、統計力学におけるボルツマン分布の概念を取り入れています。

    P(x)=1Ze−βE(x)P(\boldsymbol{x}) = \frac{1}{Z} e^{-\beta E(\boldsymbol{x})}

    ボルツマン分布では、「エネルギーが低い状態ほど起こる確率が高く、エネルギーが高い状態ほど確率が低くなる」という傾向を持つため、エネルギーを低くすることは、「データが観測される確率が高い=よりもっともらしい状態」を見つけることと同じ意味になります。

    ボルツマンマシンにおけるエネルギーは次の式で計算されます。

    E(x)=−12∑i∑j≠iwi,jxixj−∑ibixiE(\boldsymbol{x}) = - \frac{1}{2} \sum\limits_i\sum\limits_{j \neq i} w_{i, j} x_i x_j - \sum\limits_{i} b_i x_i

    これはホップフィールド・ネットワークのエネルギーの式と以下の点が共通です。

    • wijw_{ij}はニューロン(ノード)同士の結合の強さを表すパラメータ(重み)です。

    • 自己結合を除外するため対角線上の重みは0(wii=0w_{ii} = 0)です。

    結合の重みwij>0w_{ij} > 0によってエネルギーが決まるのは、ホップフィールド・ネットワークにおけるヘッブ則と共通します。つまり、同時に活性化するニューロン同士は結合が強くなるように学習します。

    しかし、以下の点で異なります。

    • xix_iは各ニューロンの状態を表す変数で0か1の値を取ります。

    • bib_iは、各ニューロンが持つバイアスです。

    ホップフィールド・ネットワークでは、変数の値は+1+1か−1-1であり、バイアスはありませんでした。

    なお、12\frac{1}{2}があるのは、ホップフィールド・ネットワークと同じく重み行列が対称行列(結合は双方向で方向によらない)ため、wij=wjiw_{ij} = w_{ji}​であり、二重に重みをカウントしないようにするためです。そのため次のようにも表記できます。

    E(x)=−∑i∑j>iwi,jxixj−∑ibixiE(\boldsymbol{x}) = - \sum\limits_i\sum\limits_{j > i} w_{i, j} x_i x_j - \sum\limits_{i} b_i x_i

    このエネルギーの直感的に説明すると、状態 xi,xjx_i, x_j の結合が強い場合(重みが正wij>0w_{ij} > 0で大きいほど)、状態 xi,xjx_i, x_j がともに活性化(xi=xj=1x_i = x_j = 1)するとエネルギーが低くなります。よって、そうなるのがより自然で(確率が高くなり)安定的だということです。

    一方、結合が負の場合(wij<0w_{ij} < 0)は、2つのノードが一緒にオンになるとエネルギーが上昇するため、同時に活性化しないのがより自然です。よって、ともに活性化する確率が低くなります。

    さらにバイアスbib_iがあることでその変数が活性化(xi=1x_i=1)しやすいかどうかが決まります。バイアスが正(bi>0b_i>0)で大きいほど、活性化によってエネルギーが低くなるので活性しやすくなります。バイアスが負(bi<0b_i<0)ならば活性化しにくくなります。

    これが、ボルツマンマシンが生成するデータがより自然で質が高くなる仕組みであり、「エネルギーの最小化」が「生成されるデータの質」につながっています。

    また、確率分布に基づいているためサンプリングが可能となり、単一の安定状態だけでなく、「もっともらしいけれど少しずつ異なるデータ」を多様に生成できるようになります。

    温度による多様性のコントロール

    ボルツマンマシンには、「温度」(または逆温度β\beta)があります。これは実際の物理的な温度とは直接関係なく、モデルが生成するデータの多様性を調整するために使うハイパーパラメータ(調整可能なパラメータ)です。

    温度が高いと、エネルギーが多少高い状態でも許容されやすくなり、生成されるデータがより多様になります。一方で、温度が低いと、同じようなパターンばかりが生成され、他のパターンが十分に現れないという問題が生じます。

    ホップフィールド・ネットワークでは確率的な変化がなく、「常にエネルギーの低い安定状態へ落ち着こうとする」ため、生成される状態に多様性はなく、記憶されたものに限られていました。

    よって、ホップフィールド・ネットワークは実質的に「温度ゼロに近いモデル」であり、最終的に少数の安定状態に落ち着くという性質があると捉えられます。

    これに対し、ボルツマンマシンは「確率的に」状態を選べるので、エネルギーが低い状態を中心としながらも、よりバリエーション豊かな状態を生成できる仕組みになっています。

    この「温度」によって、生成されるデータの質や多様性を柔軟に調整できることが、ボルツマンマシンがホップフィールド・ネットワークと大きく異なる点です。

    以上より、ボルツマンマシンは学習した分布からサンプリングすることで新しいデータを生成することができることがわかりました。しかし、ボルツマン分布からのサンプリングはガウス分布と違ってそう単純ではありません。

    マルコフ連鎖による生成

    マルコフ連鎖モンテカルロ法

    ボルツマンマシンの確率分布 P(x)P(\boldsymbol{x}) はボルツマン分布に従っているため、この分布に従ったサンプリングが必要です。

    すでに何度か述べましたが、ボルツマンマシンの場合、状態x\boldsymbol{x}に対する確率は次のように定義されました。

    P(x)=1Ze−βE(x)P(\boldsymbol{x}) = \frac{1}{Z} e^{-\beta E(\boldsymbol{x})}

    ここで、ZZ は「分配関数(正規化定数)」であり、すべての状態について総和を取ったものです。

    Z=∑xe−βE(x)Z = \sum\limits_{\boldsymbol{x}} e^{-\beta E(\boldsymbol{x})}

    しかし、ボルツマンマシンでは、可能な状態x\boldsymbol{x} の数が膨大になります。

    ボルツマンマシンの各ノード(ニューロン)の状態xix_iは「0 または 1」をとる離散的な変数です。このノードの値の組み合わせはノードの数が増えると指数関数的に増加します。

    例えば、3×3 の画像(9ピクセル)を扱う場合、ボルツマンマシンのノード数 n=9n=9 となり、状態数は29=5122^9 = 512通り です。

    100 個のノード(ニューロン)がある場合、状態の総数は21002^{100}になり、すべてのx\boldsymbol{x}を列挙してZZを計算するのは事実上不可能です。

    このような場合、「全ての状態の確率を直接計算できない」と言います。

    そこで、マルコフ連鎖モンテカルロ法(Markov Chain Monte Carlo、MCMC)を使うことを考えます。MCMC では「すべての状態の確率を直接計算せずに、確率分布に従ったサンプルを得る」ことが可能です。

    MCMC の基本的な考え方は以下の通りです。

    ステップ1:初期状態を適当に決める
    まず、すべての変数xix_iを適当に初期化します。例えば、すべてのxix_iをランダムに 0 または 1 に設定します。

    ステップ2:確率的な遷移ルールに従って状態を少しずつ変えていく
    現在の状態x\boldsymbol{x}から、少しだけ変えた新しい状態 x′\boldsymbol{x'} に変更します。この新しい状態への遷移を受け入れるかどうかをエネルギーの変化を考慮して決めます。ここではエネルギーが低くなる遷移を優先して受け入れます。

    ステップ 3:十分な回数の遷移を繰り返す
    この更新を何度も繰り返すことで、「確率的にエネルギーが低い状態が多く現れるような遷移」が行われ、最終的に目的の確率分布に従うサンプルが得られます。

    メトロポリス法

    なお、遷移を受け入れるかどうかをエネルギーの変化を考慮して決めるルールには異なる手法が存在します。例えば、MCMC の代表的な方法の一つに メトロポリス法(Metropolis-Hastings法) があります。これを使うと、以下のように状態を更新します。

    1. 変数xix_i を 1 つ選ぶ(例:画像の中のあるピクセルを選ぶ)。

    2. その値を反転(0 → 1 または 1 → 0)させた新しい状態x′\boldsymbol{x'}を作る。

    3. エネルギー変化ΔE=E(x′)−E(x)\Delta E = E(\boldsymbol{x'}) - E(\boldsymbol{x})を計算する。

    4. ΔE≤0\Delta E \leq 0(エネルギーが低くなる)なら必ず受け入れる。

    5. ΔE>0\Delta E > 0 の場合、確率e−βΔEe^{-\beta \Delta E}で受け入れる。

    なぜ確率e−βΔEe^{-\beta \Delta E}を使うのか?

    これは、高エネルギー状態への遷移をある程度許容するためです。この条件がないとエネルギーが低い状態ばかりが選ばれるようになるので、確率分布に従ったサンプリングができなくなります。例えば、稀な状態が生じる可能性がなくなってしまいます。

    なお、e−βΔEe^{-\beta \Delta E}は、ΔE>0\Delta E > 0ならば常に0<e−βΔE≤10 < e^{-\beta \Delta E} \leq 1の範囲にあるので、確率の条件0≤P≤10 \leq P \leq 1を満たします。

    また、ΔE\Delta E が大きくなるほど e−βΔEe^{-\beta \Delta E} は小さくなるため、エネルギーが大幅に増加するような「不自然な」遷移は起こりにくくなります。

    メトロポリス法によるサンプリングをまとめると以下になります。

    • 初めはランダムな状態からスタートし、少しずつ状態を変えていく。

    • エネルギーの低い状態は選ばれやすいが、たまにエネルギーの高い状態も選ぶことで、広い状態空間を探索できる。

    • こうして、徐々にボルツマン分布に従うサンプルが得られる。

    このような遷移を繰り返せば繰り返すほど、生成される画像のピクセルの配置が、モデルが持つ分布に従ったものになっていきます。

    メトロポリス法は一般的なサンプリングに有効ですが、次に述べるギブスサンプリングと比べると効率的ではありません。

    ギブスサンプリング

    オリジナルのボルツマンマシンの学習においては、マルコフ連鎖モンテカルロ法の一種であるギブスサンプリング(Gibbs Sampling) が使われました。

    ギブスサンプリングは、MCMC の中でも特に単純化された方法であり、メトロポリス法とは異なり、提案した状態を拒否するステップがありません。

    次のような手順に従います。

    1. ランダムに 1 つの変数 xix_i を選ぶ。

    2. 条件付き確率P(xi=1∣xj≠i)P(x_i = 1 | x_{j \neq i})に従ってxix_iの値(0か1)を決める。
      xj≠ix_{j \neq i}は、他のすべての変数を意味し、条件として固定されています。

    3. 次の変数を選び、同様の更新を繰り返す。

    この方法でも、遷移が確率分布に従って行われるので、ボルツマン分布に従うサンプルを得られます。また、提案を拒否しないので無駄がなく効率が良いです。

    メトロポリス法では、新しい状態を提案するたびにエネルギー E(x)E(\boldsymbol{x}) を計算する必要があります。もしその提案が拒否されると、計算は無駄になり状態も変わらないままとなります。

    また、メトロポリス法では、ある変数xix_iを 0 → 1 または 1 → 0 にランダムに反転させますが、この提案はxix_i が 1 になる確率(または 0 になる確率)を考慮していません。

    例えば、本来xix_i が 1 になる確率が 90% なら、90% の確率で 1 にすべきですが、メトロポリス法ではこの情報を考慮せず、単に反転を試みるため、不適切な提案が多くなり、拒否が続きやすくなります。

    一般に、上記の条件確率は次のように表現できます。

    P(xi=1∣xj≠i)=P(xi=1,xj≠i)P(xj≠i)P(x_i = 1 \mid x_{j \neq i}) = \frac{P(x_i=1, x_{j \neq i})}{P(x_{j \neq i})}

    この条件確率をエネルギーを使って表現するために、エネルギー関数においてxix_iに関係する項だけを抜き出します。

    E(x)=E(xi)+E(xj≠i)=−xi(∑j≠iwijxj+bi)+E(xj≠i)E(\boldsymbol{x}) = E(x_i) + E(x_{j \neq i}) = -x_i \left(\sum\limits_{j \neq i} w_{ij} x_j + b_i \right) + E(x_{j \neq i})

    ここで、ΔEi\Delta E_iを次のように定義します。

    ΔEi=(∑j≠iwijxj+bi)\Delta E_i = \left(\sum\limits_{j \neq i} w_{ij} x_j + b_i \right)

    よって、エネルギー関数は次のように書き直せます。

    E(x)=E(xi)+E(xj≠i)=−xiΔEi+E(xj≠i)E(\boldsymbol{x}) = E(x_i) + E(x_{j \neq i}) = -x_i \Delta E_i + E(x_{j \neq i})

    ΔEi>0\Delta E_i > 0だと、xix_iが0から1になるとエネルギーが減るので、活性化の確率が高くなるべきです。逆に、ΔEi<0\Delta E_i < 0だと、xix_iが0から1になるとエネルギーが増えるので、活性化の確率が低くなるべきです。

    ΔEi\Delta E_iを使って条件確率の分子を以下のように表現します。

    P(xi=1,xj≠i)=1Ze−β(−ΔEi+E(xj≠i))P(x_i= 1, x_{j \neq i}) = \frac{1}{Z} e^{-\beta \left(-\Delta E_i + E(x_{j \neq i})\right)}

    分母はxi=1x_i = 1とxi=0x_i= 0の確率の和で表現できます。

    P(xj≠i)= P(xi=1,xj≠i)+ P(xi=0,xj≠i)= 1Ze−β(−ΔEi+E(xj≠i))+ 1Ze−βE(xj≠i)\begin{aligned} P(x_{j \neq i}) &= P(x_i= 1, x_{j \neq i}) + P(x_i= 0, x_{j \neq i}) \\[2ex] &= \frac{1}{Z} e^{-\beta \left(-\Delta E_i + E(x_{j \neq i})\right)} + \frac{1}{Z} e^{-\beta E(x_{j \neq i})} \end{aligned}

    したがって、ボルツマン分布に従う条件確率は以下になります。

    P(xi=1∣xj≠i)=P(xi=1,xj≠i)P(xj≠i)=11+e−βΔEiP(x_i = 1 \mid x_{j \neq i}) = \frac{P(x_i = 1, x_{j \neq i})}{P(x_{j \neq i})} = \dfrac{1}{1 + e^{-\beta \Delta E_i}}

    xix_iが活性化しやすいほどΔEi\Delta E_iが大きくなるので、P(xi=1∣xj≠i)P(x_i = 1 \mid x_{j \neq i})が1に近づき確率が高くなります。

    なお、この条件確率の表現では、分配関数ZZが除外されているので計算が可能になっています。その上、全体のエネルギーを求める必要もなく、計算が非常に軽いです。

    なお、y=βΔEiy = \beta \Delta E_iとすると、P(xi=1∣xj≠I)=11+e−yP(x_i = 1 \mid x_{j \neq I}) = \frac{1}{1 + e^{-y}}となり、これはシグモイド関数(ロジスティック関数)の形をしています。

    このようにソフトマックス的なボルツマン分布の変数の更新確率がシグモイドになるのは、一つの変数xix_iのみを対象とし、その変数が2値(0または1)しか取らないからです。

    ボルツマンマシンの学習

    これまで、ボルツマンマシンの構造や学習後のサンプリングについて解説しました。残るは、モデルのパラメータ(ニューロン間の結合強度、重み)がどのように学習されるのかを理解することです。

    学習の目的は「分布の一致」

    ボルツマンマシンの学習の目的は、観測データの分布を再現することです。そのために、データに含まれる特徴的な関係(相関)を使って学習します。

    まず、観測データの特徴を表現するために、どの変数のペアが同時に活性化しているかを調べます。これは、変数xix_iとxjx_j の積をとって平均を求めることで計算できます。

    ⟨xi xj⟩data=1N∑k=1Nxi(k)xj(k)\langle x_i \, x_j \rangle_{\text{data}} = \frac{1}{N} \sum\limits_{k=1}^N x_i^{(k)} x_j^{(k)}

    ⟨…⟩\langle \ldots \rangleは期待値(平均値)を意味します。NNは観測データ(学習データ)の総数です。

    例えば、3x3の画像がN=10N=10枚あり、ピクセル値が0か1になっているとします。このとき、xi xjx_i \, x_jは「ピクセルiiとjjが同時に1になるときのみ1になります。これを全ての画像で計算して平均することで、どのピクセルの組み合わせがよく一緒に活性化するのかを測ることができます。

    次にモデルが生成する画像の分布を調べます。

    ボルツマンマシンが持つ確率分布に従って画像をたくさん生成(ギブスサンプリング)し、それらについて同時活性化の期待値を計算します。

    ⟨xi xj⟩model=1M∑k=1Mxi(k)xj(k)\langle x_i \, x_j \rangle_{\text{model}} = \frac{1}{M} \sum\limits_{k=1}^M x_i^{(k)} x_j^{(k)}

    MMはモデルが生成した画像の数です。

    ボルツマンマシンの学習中のギブスサンプリングでは、ある程度収束(平衡状態に到達)した後に、そこからMM個のサンプルを取得します。また、学習の際はβ=1\beta=1としておきます。

    ボルツマンマシンの学習の目的は「観測データの分布を再現すること」なので、観測データにおける相関⟨xi xj⟩data\langle x_i \, x_j \rangle_{\text{data}}と、モデルが生成する相関⟨xi xj⟩model\langle x_i \, x_j \rangle_{\text{model}}が近づくことが望まれます。

    勾配降下法でパラメータ更新

    そこで、重みwijw_{ij}を以下のルールで更新します。

    wij←wij+η(⟨xi xj⟩data− ⟨xi xj⟩model)w_{ij} \leftarrow w_{ij} + \eta \biggl(\langle x_i \, x_j \rangle_{\text{data}} - \langle x_i \, x_j \rangle_{\text{model}} \biggr)

    η\eta(エータ)は学習率でハイパーパラメータです。例えば、0.01~0.1といった値が使われます。値が大きすぎると発散し、小さすぎると収束が遅くなるので調整が必要です。

    • ⟨xi xj⟩data>⟨xi xj⟩model\langle x_i \, x_j \rangle_{\text{data}} > \langle x_i \, x_j \rangle_{\text{model}} だとカッコの中が正なので、重みwijw_{ij}の値が増加します。よって、モデル内の結合の重みwijw_{ij}が強化されます。

    • ⟨xi xj⟩data<⟨xi xj⟩model\langle x_i \, x_j \rangle_{\text{data}} < \langle x_i \, x_j \rangle_{\text{model}} ならばカッコの中が負なので、重みwijw_{ij}の値が減少します。よって、モデル内の結合の重みwijw_{ij}が弱くなります。

    厳密な勾配計算を行なっていないですが、「勾配降下法」と呼ばれます。これは上記の式が観測データと生成データの分布の違いを小さくする勾配の方向を表現しているからです。

    バイアスbib_iも同様に学習されます。

    bi←bi+η(⟨xi⟩data−⟨xi⟩model)b_i \leftarrow b_i + \eta \biggl(\langle x_i \rangle_{\text{data}} - \langle x_i \rangle_{\text{model}} \biggr)

    この更新式は、観測データにおけるxix_iの平均値(活性化頻度)と、モデルが生成するxix_i の平均値が一致するように調整するものです。

    例えば、もしデータではxix_i がよく活性化する(xi=1x_i=1 になりやすい)にもかかわらず、モデルの生成ではxix_i があまり活性化しない場合(bib_iの影響が弱い)、bib_i を増加させることでそのズレを修正します。

    これにより、モデルが学習データの分布に従うように調整されます。

    学習効率に関する問題

    オリジナルのボルツマンマシンは理論的には確率分布を学習する能力を持っています。しかし、実用上の問題点がいくつか存在します。

    まず、ボルツマンマシンの学習では、モデルの分布に従った期待値 ⟨xi xj⟩model\langle x_i \, x_j \rangle_{\text{model}}を求める必要があります。この期待値はギブスサンプリングを使って近似的に計算しますが、一般的にどのMCMCアルゴリズムでも収束にはある程度の時間がかかります。

    簡単に勾配の計算ができるディープラーニングの学習とは大きく異なる点です。

    特に高次元ではサンプリングを行う状態空間が指数的に増大するため、サンプルをたくさん得る必要があり非効率です。また、学習ごとに多くのサンプルを取得する必要があり、計算コストがさらに増大します。

    これは、ボルツマンマシンがすべてのノードが相互に結合する全結合型ネットワークであることに起因します。また、層構造がないため、隠れ層などの導入ができず、階層的な特徴抽出が不可能です。よって、複雑な特徴の学習を行えません。

    次回予告

    次回は、オリジナルのボルツマンマシンの学習効率の問題を解決するために提案されたの制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)を紹介します。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ