
Gymで強化学習㊽PPO:理論編
前回は、TRPOの理論的な側面を解説しました。TRPOでは。新しいポリシーが古いポリシーからあまり逸脱しないように、信頼領域と呼ばれる制約を導入しました。ただし、TRPOは計算が複雑で、実装が難しいです。特に大規模な問題やモデルにおいては、計算コストが大きくなりすぎる可能性があります。
今回は、PPO(Proximal Policy Optimization)を解説します。
PPOは、TRPOの流れを汲みつつ、より簡略化し、実装しやすくなっています。計算コストも低い、より実用的な手法となっています。そのため、多くの研究者や実践者に好まれています。
また、PPOを開発したOpenAIでは、PPOをChatGPTを含むいくつかの大規模な言語モデルの訓練に使用しています。人間からのフィードバックを取り込んでモデルの応答品質を向上させるRLHF(Reinforcement Learning from Human Feedback、人間のフィードバックによるの強化学習)というプロセスで、人間がモデルの応答を評価し、その評価(報酬)を訓練データとして使用して、より望ましい応答を生成するようにモデルを調整するというものです。
PPOは、学習が安定しており、実装も容易で、サンプル効率も良い強化学習の手法です。
では、さっそく始めましょう。
TRPOからPPOへ
TRPOにおいて重要なのは、ポリシーの更新において大きな変更を避けることです。これによって、強化学習の安定性を高めています。そのために「信頼領域」と呼ばれる範囲内でポリシーを更新し、学習過程での急激なパフォーマンスの低下を防いでいます。
しかし、TRPOは高い安定性を提供する一方、その複雑な計算プロセスと高い計算コストが主な課題でした。特に大規模なネットワークや複雑なタスクでは、効率的な学習が困難になりがちです。
そこで、PPOではTRPOの理念を継承しつつ、計算コストの削減、つまりは計算を簡素化しました。これによって実装が容易にもなりました。PPOとTRPOは同等の精度と持つため、はるかに計算コストが低いPPOが好まれて使われるようになりました。
PPOの最大の特徴であり、TRPOと異なるのは、ポリシーの更新を制限するためのクリッピングの手法を導入したことです。これによって、ポリシーの更新が一定の範囲を超えないように制御され、学習過程の安定性が保たれます。つまり、TRPOの「信頼領域」アプローチをより実用的で計算効率の良い方法で実現しているわけです。
クリッピングを使うことで、ポリシーの大幅な変更を防ぐので、TRPOが目指す安定した学習プロセスを、KLダイバージェンスなどを使うことなく、より簡単かつ効率的に実現しています。また、これにより、開発者は複雑な最適化手順を避け、より直感的に強化学習アルゴリズムを利用できるようになりました。
これらの改善により、PPOはTRPOの提供する利点を維持しつつ、計算の複雑さを大幅に削減し、幅広いアプリケーションでの利用が可能となりました。
以上が、TRPOからPPOへの変化・移行についての概念的な説明になります。要するに、ポリシーによる行動選択のための確率分布が大きく変化しないようにの更新を制限するやり方がより簡単になった、ということです。
ここからは、TRPOとPPOにおける目的関数の数式の違いを比較しながら解説します。
TRPOの目的関数
目的関数と制約条件
まず、TRPOでは、最大化する目的関数とその制約を二つに分けで考えます。
期待値に、^(ハット)がついているのは、期待値がサンプルから計算されているという意味です。数値があくまで推定であることです。また、は、あるステップにおけるという意味です。よって、は、あるステップにおけるアドバンテージをサンプルから計算したものとなります。
このように、TRPOでは、最大化する目的関数とKLダイバージェンスに基づく制約が分けて考えられます。このアプローチは、ポリシーの急激な変更を防ぎつつ、パフォーマンスを向上させるために設計されています。
重要度サンプリング
は、重要度サンプリングを意味します。なお、とは、それぞれあるステップにおける行動と状態です。
この重要度サンプリングを理解するために、まずは重要度サンプリングを行わないケースを考えます。すると、あるステップにおけるアドバンテージをサンプルから計算した際の期待値は次になります。
強化学習の学習過程では、エージェントが環境との相互作用に基づいてデータ(サンプル)を収集します。このデータ収集は、ある時点のポリシー(古いポリシー)に基づいて行われます。よって、この期待値は、古いポリシーの行動確率によるものと考えられます。
そこで、古いポリシーの確率で割り、新しいポリシーの確率を掛けることであたかも新しいポリシーで期待値を計算したかのように調節します。これを重要度サンプリングと呼びます。TRPOではこれを最大化することを目的としています。
まとめると、重要度サンプリングは、古いポリシーの下で得られたデータを新しいポリシーに適用するために使用されます。これにより、新しいポリシーの下での期待リターンを効率的に推定できます。
制約条件の不都合
前述したように、TRPOでは、古いポリシーと新しいポリシーの間の違いをKLダイバージェンスで計算したものが一定の値以下になるような制約条件を付けています。
ここで、は、どんな行動においても、という意味です。つまり、ある状態における、どのような行動に対しても確率が大きく変わらないようにしています。実際に選ばれた行動だけで判断しているわけではありません。このような制約を満たすように目的関数を最大化する必要があるので計算が複雑になります。
PPOの目的関数
代理目的を考える
TRPOの目的関数の複雑さは、制約条件を分けて考えていることが一員です。そこで、以下の代理目的(surrogate objective)を考えます。
これは、KLダイバージェンスをペナルティとして目的関数に埋め込んだものです。はハイパーパラメータであり、ペナルティの度合いを調節します。こうすることで、目的関数を最大化するには、KLダイバージェンスを最小化する必要があることになります。制約条件を別に設定するよりも扱いやすくなっています。
ただし、一つのでさまざまな状況において適切に機能する値を選ぶのは困難です。これは、そもそもKLダイバージェンスの値がさまざまに変化することに関連した問題です。
だとしたら、KLダイバージェンスを忘れて、重要度サンプリングを計算する項を直接コントロールしたらどうでしょうか。
それがクリッピングの発想です。
クリッピング
TRPOのアイディアを簡略化し、制約を直接目的関数に組み込むという方向性は良いのですが、変化するKLダイバージェンスをうまくコントロールすることができません。
そこで、PPOはKLダイバージェンスの代わりにクリッピング手法を使用します。こうすることで、確率分布の変化による影響を直接に制限することができ、実装も簡単になります。
PPOの目的関数は次になります。
式を見やすくするために、とすると、以下のように書けます。
もちろん、自体は、新しいポリシーのパラメータやステップに依存しますが、ここでは見やすさを優先しています。
PPOは上記の目的関数を最大化するように学習を行います。はハイパーパラメータです。通常小さな値(例えば0.1や0.2)で、クリップの範囲を決定します。よって、クリッピングを行っている部分では、とによって、重要度サンプリングによる新旧ポリシーの確率比 を1の周辺の値に限定しています。
PPO(Proximal Policy Optimization)におけるProximalという単語は「近接」や「近傍」を意味します。この意味で、「Proximal」は、新しいポリシーが古いポリシーに「近接」している状態を維持するというPPOの核心的な概念を反映しているといえます。
この目的関数では、確率比と、この確率比をの範囲にクリップした値のうち小さい方を採用します。
だとしたら、だけを考えれば良さそうですが、アドバンテージは、ゼロや正負の値が可能なので、上下の範囲を設定するようになっています。
例えば、アドバンテージが正の値だと、が上限を与えることになり、確率比 は、以下になります。

反対に、アドバンテージが負の値だと、が上限を与えることになり、確率比 は、以下になります。

以上より、新旧の確率比を一定の範囲に抑えることで、ポリシーが急激に変化することを防ぎ、学習プロセスの安定性を高めます。
まとめると、PPOのクリッピング手法は、TRPOの複雑な制約を簡略化し、計算コストを削減するために導入されました。クリッピングは、ポリシーの更新が特定の範囲内に留まるように制約を課すことで、学習の安定性を向上させます。
性能比較
TRPOでは、KLダイバージェンスによるポリシーの確率分布の変更をコントロールする制約条件を付けていましたが、PPOでは大胆にそれを取り除いて簡略化しました。それでも同等やそれ以上のパフォーマンスが論文により確認されています。
下図は、エピソードが進むにつれての学習効果をMuJoCo環境で示したものです。紫色がPPOで、緑色がTRPOになります。

場合によっては、PPOの方が速く学習し、しかも成績も優秀なのが確認できます。
次回予告
次回は、PPOをPyTorchを使って実装します。
お楽しみに!
(続く)