
Gymで強化学習㊼TRPO:理論編
前回は、A2Cの実装をしました。A3CとA2Cは、Actor-Criticにおける学習の不安定性を解消することを主要な目的としています。今回紹介するTRPO(Trust Region Policy Optimization)もActor-Criticの一種ですが、A2Cなどとは異なる手法によって学習の安定性をもたらしています。
TRPOの手法では、新しいポリシーが古いポリシーから「あまりにも遠くならないように」制限することが可能です。これにより、学習過程においてポリシーが急激に変化し、学習の安定性が損なわれるのを防ぎます。
このためTRPOでは、ポリシーの更新を行う際に、信頼領域(Trust Region)という概念を用いて、新しいポリシーが古いポリシーから大きく逸脱しないように制約を加えます。この記事では、その仕組みの概要を解説します。
では、さっそく始めましょう。
信頼領域とは何か?
A2Cや一般的なActor-Criticアルゴリズムでは、ポリシーの更新は行動に対するアドバンテージの大きさによって大きく影響を受けます。予測されるアドバンテージが大きい場合、ポリシーのパラメータが大幅に更新されることがあり、これが学習の不安定さを引き起こす原因となることがあります。
この問題に対処するために、A2Cの実装では、報酬の標準化や勾配の大きさの制限などのテクニックが用いました。また、学習率を調節して大幅な更新が起きないようにするなどの工夫も必要です。しかし、これらの手法は、行動の確率分布の更新の度合いを直接コントロールするものではありません。
TRPOは、この問題に対する別のアプローチを提供します。TRPOの核心は、信頼領域を設定することにより、ポリシーの確率分布の変化の度合いを適切に制御することです。
信頼領域は、新しいポリシーが古いポリシーから一定の範囲内でのみ逸脱することを許容する領域として定義されます。つまり、信頼領域によるポリシー更新の度合いは、更新前のポリシーの確率分布と更新後のポリシーの確率分布の差が一定の範囲に収まるようにすることを目指しています。結果として、ポリシーの挙動が大幅に変化して学習を不安定にすることを防ぐ効果があります。
逆の見方をすると、信頼領域内であればポリシーのパラメータ更新を大幅に行うことも可能となります。そういった意味で、単純に勾配の大きさを制限する手法などとは一線を画していると言えます。
つまり信頼領域は、安定性と効率性の間で適切なバランスを提供します。大胆な更新が可能である一方で、その更新が一定の制約内で行われることで、学習過程の安定性を保つことができます。
では、次に信頼領域はどのように定義されるのかを見ていきましょう。
KLダイバージェンス
2つの確率分布の違いを測定する尺度としてKLダイバージェンス(Kullback-Leibler Divergence、KLD)があります。
KLダイバージェンスは0または正の値を取り、二つの確率分布が完全に同一の場合にのみ0となります。確率分布の差異が大きくなるほど、KLダイバージェンスの値は大きくなります。
TRPOでは、新しいポリシーと古いポリシー間のKLダイバージェンスを計算し、この値が設定された|閾値《しきいち》(信頼領域)を超えないようにします。これにより、新しいポリシーが古いポリシーからあまりにも遠くならないように制限され、ポリシー更新が安定します。
つまり、信頼領域を設定することで、ポリシー更新を行う際には、新しいポリシーが古いポリシーとある程度似ていることを保証することになります。KLダイバージェンスによる制約により、ポリシーの更新はより滑らかに進行し、ポリシーの急激な変更による不安定性を避けることができます。
では次に、KLダイバージェンスによる信頼領域の数学的表現を見ていきましょう。
信頼領域の数学的表現
KLダイバージェンスと閾値
すでに解説したように、TRPOでは、ポリシー更新時にこのKLダイバージェンスがある閾値(δ)以下であることを確保することで、更新が信頼領域内に留まるようにします。数学的には、以下のように表現されます:
ここで、 は古いポリシー、 は新しいポリシー、 はKLダイバージェンスを指し、 は設定された閾値です。
という記号を挟んで、二つの確率分布(古いポリシーと新しいポリシー)を指定しています。KLダイバージェンスでは、このような表記の仕方をします。に関しては特に深い意味はないと思って問題ないです。これについては、こちらの記事でも背景を解説しています。
KLダイバージェンスを理解するには、エントロピーと交差エントロピーの概念を理解するのが(遠回りに見えて)最も近道です。ただし、ここでは簡略した解説を行います。より詳しい解説は、エントロピーと交差エントロピーとKLダイバージェンスの記事を参照してください。
情報量とエントロピー
情報理論では、情報量を次のように定めます。
ここでは、ある事象が起きる確率です。
ある事象が起きる確率が1であれば、情報量は0になります。これは100%確実に起きる事象から得られる情報量はないということです。つまり、確率が100%に近づくほど情報量は減る傾向にあります。
例えば、降水量が少ない地域では、晴れの天気になる確率が高いために「晴れる」という事象は珍しくなく、情報量は少ないと捉えます。
その一方で、ある事象の確率が0に近いほど情報量は正の無限大へと近づきます。これは、滅多に起きない事象から得られる情報量は多いという考え方です。
例えば、降水量が少ない地域では、大雨の天気になる確率は低いために「大雨だ」という事象は珍しくなり、情報量は大きいと捉えます。
エントロピーは、ある確率分布における情報量の期待値です。
エントロピーを表現するときに、を使うことが多いので、ここでもそうしています。
つまり、情報量に確率を掛けて足し合わせたモニになります。これによってある確率から来る平均的に期待される情報量がわかります。エントロピーの良いところは、一つの数値で確率分布全体を代表することができる点です。
連続値の場合は、期待値を積分で表現します。
また、期待値の記号を使うと次のように書き直せます。
の意味は、確率変数が確率分布に従う場合の期待値を意味します。エントロピーから交差エントロピーを導くことができます。
交差エントロピー
仮に確率分布で確率分布を近似することを考えます。その際に、確率変数が確率分布に従う場合の確率分布の期待値を計算します。
交差エントロピーは、確率分布が確率分布に近いほど、エントロピーに近くなります。なぜなら、それぞれのにおけるがに近くなるからです。
なお、画像分類などで使われる損失値の交差エントロピー(CrossEntropy)も同じ概念です。なので画像分類を例として交差エントロピーを計算してみましょう。
画像分類では、正解の確率分布をとすると、ラベルに対する確率は1でそのほかは0なので、ワンホット・エンコーディングと同じです。

これに対して、モデルがそれぞれのクラスに対しての確率を予測しているとします。この予測する確率分布をとします。
例えば、5個のクラスがあるとして、モデルの予想による確率分布が以下のようになったとします。
これに対して、正解の確率分布が以下だとします。
とすると交差エントロピーは以下のように計算できます。
もし完璧な予測が行われると、なので、交差エントロピーによる損失値はになります。
KLダイバージェンス
画像分類のように、ある事象(ラベル)に100%の確率が与えられていない場合は、完全に同じ分布を予測したとしても交差エントロピーは0にはならず、正の値になります。これはエントロピー自体が0ではないからです。
交差エントロピーは一般には、エントロピーと比較しないと確率分布同士がどの程度似ているのかわかりません。そこで交差エントロピーとエントロピーの差を考えたものが、KLダイバージェンスです。
離散分布ならば、以下のような総和になります。
連続分布ならば、以下のような積分になります。
とが同一の確率分布を持つならばKLダイバージェンスは0となります。また、KLダイバージェンスは必ず0以上になります。証明は、KLダイバージェンスの記事を参照してください。
TRPOでは、このKLダイバージェンスを使うことで、更新前と更新後のポリシーの行動確率分布が大きく変わらないように制御します。
TRPOによる最適化
まず、ポリシー勾配による強化学習の一般的なアプローチから始めてTRPOにおける最適化を解説します。
ポリシー勾配
あるポリシーが、ある初期状態から始めて行動し報酬を得ることを繰り返したトラジェクトリをとして次のように表現します。
ここから得られる総報酬を割引した総和をとします。
初期状態はランダムに決まると考えると、同じポリシーであってもは毎回変わる可能性があります。また、ポリシー自体にもランダム性があるかもしれません。よって、割引生涯報酬の期待値を計算することにし、次のように表現します。
ここで、はポリシーです。は、ポリシーが持つパラメータの集まりを意味します。つまり、あるポリシーに従って行動した場合に、環境とポリシーのランダム性を含めて割引生涯報酬の期待値を計算したものをと呼んでいます。それがポリシーのパラメータに依存するからです。は目的関数と呼ばれます。
目的関数をの各パラメータで偏微分して集めたものを勾配と呼び、次のように表記します。
勾配を使うと、ポリシーのパラメータの更新式を以下のように表記することができます。
ここでは、ステップサイズや学習率と呼ばれるもので、勾配の方向にどの程度パラメータを変更するのかを指定する数値です。
このようにポリシーのパラメータによる目的関数の勾配を使って最適化を行うのでポリシー勾配法と呼ばれます。
ここで我々は、目的関数の変化の度合いを勾配によって近似していることになります。直感的にいうと、カーブを直線で近似していることになるので目的関数の変化の具合によってはパラメータの更新が悪影響を及ぼすことになりかねません。その一方で、学習率を小さくし過ぎると学習が一向に進まない問題が生じます。
そこでポリシーの変化をKLダイバージェンスで制限することを考えます。
信頼領域
現在のポリシーにパラメータの変更を加えたものをと表記します。
とは両方とも状態を与えられた時の行動の確率分布なので、それぞれととも表記します。
すると、現在のポリシーと更新されたポリシーのKLダイバージェンスは以下になります。
ここで、とは、ポリシーによるトラジェクトリから来ています。よって、が同じトラジェクトリを歩んだとしてKLダイバージェンスを計算していることになります。
なぜなら、このようなことに言及するかというと、は違うポリシーなのでそれによるトラジェクトリはとは異なるものになるからです。つまり、ここではとの行動の優劣を計算しているのではなく、同じ状態で同じ行動を取ったとして行動の確率分布をKLダイバージェンスで比較しているわけです。
このKLダイバージェンスを使うことでパラメータの変更度合いを次のように制限します。
これはKLダイバージェンスを以下に保つという制約の中で目的関数を最大化するという意味です。こうすることで確率分布の変化をある決められた範囲に収めることを意図しています。
しかし、このような計算は非常に複雑です。
TRPOの数学的な複雑さは解説書などでも言及されており、論文を書いた本人による実装はありますが、その他の人々による実装はあまり見られません。あったとしてもオリジナルの実装を多かれ少なかれコピーしたものです。
PPOへの発展
TRPOの最大の利点の一つは、その学習の安定性です。信頼領域を用いることで、ポリシーの急激な変更を防ぎ、より滑らかな学習曲線を実現します。このアプローチにより、特に複雑な環境や長期的な戦略が必要なタスクでのパフォーマンスが改善されます。
しかし、その計算コストはとても高くなっています。信頼領域の制約を効率的に計算することは、特に大規模なモデルや高次元の状態空間では困難になり得ます。また、最適な信頼領域のサイズを選択することも難しい課題です。これらの制約は、特にリアルタイム性が要求されるアプリケーションやリソースが限られた環境では、実用性を低下させる要因となります。
そのため、TRPOはより精度の高いPPO(Proximal Policy Optimization)によってその影が薄くなりました。PPOはTRPOの基本的なアイデアを継承しつつ、計算コストを削減し、実装の簡素化を実現しました。PPOは、信頼領域の概念を保ちながらも、よりシンプルで柔軟なアプローチを採用しています。これにより、TRPOと同様のパフォーマンスを、より低い計算コストで実現することが可能になりました。
よって、TRPOの精神を理解することは大切ですが、その数学的に複雑な内容を理解するのに時間を費やすことは、研究題材とするのであれば別ですが、一般には得策とはいえません。
次回予告
PPOは、OpenAI が ChatGPT や InstructGPT の訓練で使った RLHF(Reinforcement Learning from Human Feedback)でも使われている強化学習の手法です。
次回はこのPPOを解説します。
お楽しみに!
(続く)