
Gymで強化学習㊹A3C:紹介編
前回は、Actor-Critic(以下、AC)の実装を行いました。訓練をすばやく行えるのと同時にハイパーパラメータなどの設定によっては学習が不安定になりやすい点もありました。
学習が不安定になりがちなのは、ACの本質的な課題です。そのため、AC系統の強化学習の発展においては、学習の安定化に注力がなされました。
その一つの例として、今回は2016年にDeepMind社が論文で発表したA3C(Asynchronous Advantage Actor-Critic)を紹介します。DeepMindといえば、このシリーズでも何度も取り上げてきたDQNを開発し、その後Googleに買収された会社です。
A3Cは、AtariゲームでDQN以上の高得点を達成しました。しかも、GPUを使わないマルチコアCPUでの訓練によって、それまで必要だった訓練時間を半減することに成功しました。
では、A3Cとはどのような仕組みを使って優秀な成績をより短い訓練時間で叩き出せたのでしょうか。ACにどのような改良を加えたのでしょうか。そこで鍵となるのは、A3Cにおける学習の安定化にあります。今回は、これを解説します。
では、さっそく始めましょう。
ACの学習が不安定な理由
ACの学習が不安定になりやすい理由はいくつかあります。
ポリシーと価値関数の更新のバランス
Actor(アクター)が行動を選択する役割を果たす一方で、Critic(クリティック)は行動の評価をします。この評価の値によってActorのパラメータが更新されます。つまり、ActorはCriticから高い評価を得られるように学習するわけです。とすると、Criticによる評価の正確さが重要となってきます。
ところが、学習初期のCriticによる状態価値の予測はランダムです。よって、Actorはランダムな評価に基づいてパラメータの更新を行うことになります。もちろん、様々な経験から報酬を得ることでCriticの評価はより正確になりますが、安定するまでには多少の時間がかかります。それは、環境の複雑さやActorの探索の度合いなどに依存しており、その間にActorが不正確な価値推定に基づくポリシーを固めてしまったとしたら、最適な方策に収束しなくなる可能性があります。
また、CriticはActorが行動することで得られる経験するからその価値を学習するので、Actorによる十分な探索が重要となります。よって、探索が十分で無いうちにActorが自信を持ちすぎる(行動確率が特定の行動に集中する)と、Criticがさまざまな状態を評価し学習するチャンスを持てなくなります。
つまり、ポリシーと価値関数のお互いにちょうど良くパラメータを更新する必要があります。どちらか一方があまり最適でないパラメータで固まってしまわないようにする必要があります。
そのため、ActorとCriticの間で損失値のバランスをとってみたり、学習率を調節したりといった工夫が必要となります。これらのハイパーパラメータは人間が設定するのですが、様々な可能性や組み合わせがあるため困難を生じやすいです。
探索と搾取のトレードオフ
強化学習では、一般に探索(Exploration)と搾取(Exploitation)のバランスを取る必要があります。ちなみに、搾取は「利用」と訳されることもあります。要するに、すでに得た経験や情報を利用するという意味です。しかし、探索が十分になされていないと学習された内容が未熟なので搾取がうまくいきません。
よって、探索をたくさん行うためにランダムな行動を取る必要があります。その一方で、いつまでもランダムな行動ばかりを行うわけにもいきません。つまり、探索と搾取のトレードオフに注意を払って対処する必要があります。
さらに、ニューラルネットワークを使う学習では、以下に解説する「過学習、過小適合、破局的忘却」などに対しての注意が必要です。
パラメータの数が多いモデルを、少ない訓練データで学習させると過学習(Overfitting)が起こりがちです。強化学習ではActorが行動することで訓練データを集めるので、十分な探索がないと訓練データが少ないのと同じことになるので配慮が必要です。
もちろん、パラメータの数を減らすことで過学習が起こりにくくすることは可能です。しかし、パラメータの数が少なすぎると複雑な状況に対応できなくなり過小適合(Underfitting)が生じます。よって、パラメータの数を十分なレベルに設定した上で十分な探索を行う必要があります。
もうひとつ、ニューラルネットワークで問題となりがちなのは、破局的忘却(Catastrophic Forgetting)です。破局的忘却が起こる一員として、次のようなケースが考えられます。
エージェントが学習し、一旦は最適な行動を取るようになった後に、探索が減り搾取を続けて行うと、得られる経験が最適な行動によるものばかりになります。すると、偏った経験によりパラメータを更新するので、すでに学習した情報(特に、失敗するような状態)を忘れてしまいます。
しかし、環境にランダム性があると最適な行動をとっても、これまでに経験したことがない状態(あるいは忘れてしまった状態)が生じる可能性があります。すると、判断を誤ることになり、損失値も大きくなるでしょう。そのため、大きな調整が必要となるとパラメータ全体に悪影響を与えるような更新が生じる場合があります。
よって、パラメータの更新を行う時に勾配の大きさを調節したり、エピソードの数を調節して、学習を適度なところで終了させるなどの工夫が必要となります。
このように、ACでは探索と搾取のバランスをとる必要があります。探索と搾取のバランスが崩れると、ポリシーと価値関数の更新のバランスとも関連して、学習が不安定になります。
よって、どのくらいの探索を行えば、ActorとCriticがバランスよく学習するのかを考えて探索するスケジュールを決めたり、他の手段を使って十分な探索が行われるようにする必要があります。
ブートストラッピングによる予測
REINFORCEでは、エピソードで集めた経験を利用して状態価値の予測を向上させ、ベースラインとしてポリシーの学習を安定させるために利用しました。報酬の値の標準化も可能であることも、学習の安定化に貢献しました。
もちろん、REINFORCEはエピソードの終了を待つ必要があり、学習が遅いという問題はありますが、学習自体は割と安定していました。
ところが、ACではエピソード内の各ステップにおいて予想される状態価値を行動の評価として使います。そこでは、ブートストラッピングによる予測を行います。ブートストラッピングでは、予想に予想を使うので学習の初期の頃は不正確であり不安定(変化が大きい)です。
うまくいけば学習は速く進みますが、前述した理由で不安定になりがちです。さらにブートストラッピングにより、悪影響が増幅されやすくなっています。よって、高速に学習した後に再びランダムな行動をするといった問題が生じる可能性があります。
これも結局のところハイパーパラメータなどを調節して安定する状況を作り出すしかないのですが、設定するパラメータは連続値であり、単純に全ての組み合わせを試すのも難しく、結局は手作業でランダムな設定の組み合わせを試すなど時間がかかります。
以上が、ACの学習が不安定になる主な理由です。問題の中核にあるのは、一組のActorとCriticがバランスよく学習するのが難しいことです。
よって、Actorの行動に偏りが生じてCriticの学習に悪影響を与えたりします。すると、Criticによる評価が不安定になるので、それをActorが目標とすることでActorの学習に悪影響を与えます。ちょっとしたバランスの崩れによって全く学習がうまくいかなくなります。
それでも、ACは高速に学習するのが可能です。なので、REINFORCEに戻るよりも、ACの学習を安定化させることができれば、それが一番望ましいのは言うまでもありません。そこでA3Cが登場しました。
では、A3CはどのようにしてACによる学習の安定化を目指したのでしょうか。
A3Cによる学習の安定化
非同期学習
A3C (Asynchronous Advantage Actor-Critic)は、Actor-Criticアルゴリズムの一種ですが、学習の安定化と共に効率を向上させるために非同期の複数エージェントを使用することで学習を安定化させることに成功しました。
つまり、A3Cは複数のエージェントを同時にそれぞれの環境で学習させます。例えば、スペース・インベーダーの環境を複数立ち上げてそれぞれにつき一つのエージェントを訓練します。
その際に、一つのコンピュータ上における複数のCPUを利用します。よって、複数の端末を使用する必要はありません。
複数のエージェントが同時に探索を行うことで、それぞれ異なる行動を取る(乱数シードなどを固定しない)ので様々な経験による学習が同時に行われます。また、必要ならば、それぞれのエージェントに対して探索の手法や設定を変えることができるといった自由度もあります。
以上より、全体として複数のエージェントによる経験を利用するので一つのエージェントによる偏りがあっても全体としては様々な経験を提供することになります。よって、学習プロセスが効率的かつ安定的になります。
経験再生メモリは不要
A3Cが複数のエージェントを使う手法はDQNにおける経験再生メモリと似た側面があります。それは、たくさんの経験を集めることで現在のポリシーが取る行動に影響された特定の経験ばかりを使って学習することがなくなるという点です。
その上、A3Cでは複数のActorを同時に使うことで特別なメモリを用意する必要はありません。また、バッチによる学習も必要ありません。
では、どのように学習を行うのかというと、基本的に次のようになります。
初期化: 共有のActor-Criticネットワークのパラメータを初期化します。これは、後で学習の際に使います。
非同期学習: 複数の並行エージェントがそれぞれの環境で独立に動作します。パラメータは、共有のActor-Criticネットワークのパラメータをコピーして使います。
エピソード実行: 各エージェントは、エピソードが終了するか、または特定のステップ数が経過するまで、行動を選択し、環境と相互作用します。エージェントはこのプロセスで得られた経験(報酬、行動の対数確率など)を蓄積します。
勾配の計算: 各エージェントは、行動して得られた経験を使用して、ActorとCriticの勾配を計算します。これには、選択されたアクションの対数確率、Criticによって推定された状態価値、そして実際の報酬が使用されます。
パラメータの更新: 計算された勾配を使って、共有のActor-Criticネットワークのパラメータが更新されます。これにより、各エージェントが共有のパラメータを更新することになります。
反復: ステップ2に戻ります。特定のエピソード数が経過するまで繰り返されます。
このアルゴリズムにより、A3Cは非同期の方法で複数のエージェントを利用して効率的に学習を進め、共有のActor-Criticネットワークのパラメータを更新することができます。
なお、ActorCriticと違って、ステップ毎に学習を行なっていません。これも学習の安定化に貢献していると考えられます。ただし、REINFORCEとは違って、ブートストラップを使っており、必ずしもエピソードの終了を待つ必要はありません。また、複数のエージェントが共通のパラメータを更新していくので学習の速度は全体として速くなります。
以上より、一対のActorとCriticのバランスが崩れることによる悪影響を減らしつつ、多様な探索を実行し、同時に高速な学習を可能としています。
エントロピーによる正則化
A3Cでは、さらにエントロピーによる正則化(Regularization)を組み込んでいます。
ACの問題として、Actorが学習していくと探索をしなくなることがあります。これは、Criticによる評価が良い行動を取ることで他の行動を試さなくなるからです。行動を選ぶ際の標準偏差のスケジュールを調節するなどの工夫をしても、学習の後半へと近づくと探索が少なくなります。それまでに十分な探索がなされていない場合、様々な状態に対応できないままポリシーが固まってしまいます。
そこで、A3Cはポリシーの探査を促進するためにエントロピー正則化を導入しています。この場合のエントロピーは、Actorの行動確率に対して計算します。よって、Actorの行動確率が一様な確率になるほど高くなります。
エントロピーは、確率分布の不確実性(ランダム性)を測定するために使用される情報理論の概念です。エントロピーが最大になるのは、すべての可能な行動選択が同じ確率で発生するとき、つまり分布が完全に一様であるときです。
なお、エントロピーについてはこちらの記事でも解説しています。
つまり、エージェントにおいて、エントロピーが高いということは、Actorが予測する行動確率の分布がより一様(ランダム)であり、したがって予測の不確実性が高いことを意味します。
エントロピーの定義は以下の通りです:
ここでは、選択する可能性のある行動のインデックスだとします。よって、ここでは不連続な行動の話ですが、連続ならばが連続な値になり、総和(sum)の代わりに積分になります。
よって、 は行動を選ぶ確率です。分布が完全に一様である場合、すべての は等しく、エントロピーは最大になります。これに対して、分布が一様でない場合、つまり特定の行動の選択が他の行動の選択よりもはるかに確率が高い場合(よって分布が一様でない場合)、エントロピーは低くなります。
逆にいうと、ある状態でActorが自信を持って特定の行動を選ぶような場合にはエントロピーは低くなります。そこでエントロピーが高くなるように損失値を適度に調節すると、Actorの行動選択が中途半端に収束することがなくなり、十分な探索が行われるようになります。
なお、エントロピー正則化では、Actorの行動確率から計算したエントロピーのマイナスの値を損失値に足すことです。つまり、損失値からエントロピーを差し引くといっても同じです。これによって、エントロピーが大きいほど損失値が減ることになるので、より探索をするようになる効果が期待されます。うまくいけば、エージェントは新しいアクションと状態を探索し、学習プロセスを安定させ、汎化性能を向上させる可能性があります。
ただし、エントロピーをどの程度使うかの調節はハイパーパラメータとなります。
A3Cの問題点
一番の問題点は、非同期に学習するエージェントのパラメータをどのようにまとめて、再び全てのエージェントへと同期する部分の実装です。この部分がうまくいかないとバラバラに学習したパラメータを効率よく利用できません。また、何個のエージェントを使うべきなのかも決める必要があります。
つまり、A3Cの非同期性は実装を複雑にします。マルチスレッドやマルチプロセスの管理が必要になります。強化学習に限らず、マルチスレッドやマルチプロセスの管理をバグなしできちんと実装するのはエンジニアリングの問題であり、それなりの経験を必要とします。
特に、非同期によるパラメータの更新は、なんらかのロックを使った同期処理が必要です。そこでデッドロックが起きないようにするなどの注意が必要です。
さらに、仮に学習が進まない場合に、何が問題なのかを見つけ出すのは至難の技になりかねません。もしかしたら、あるエージェントがすぐにエピソードを終了するようなことを繰り返したために他のエージェントからの更新が打ち消されるようなことがあるかもしれません。
よって理論的には割と単純であっても、実装が難しいかったり、新たな設定やハイパーパラメータが必要になるといった面もあります。また、実際に訓練を行う際に問題が起きると分析が難しいといった懸念も生じます。
DeepMindの論文では素晴らしい成績を出しているのですが、A3Cは一般には広がらなかった印象を受けます。より複雑なDQNの方がよく取り上げられるのも非同期学習の実装やデバッグの難しさが関係しているのかもしれません。
しかし、ACにおける学習の不安定性の問題点を解消する努力としては注目すべきものであることに変わりはありません。おかげで、ACの問題点の理解や対処の仕方などに道筋ができました。
次回予告
次回は、A3Cから非同期学習をなくすことで、実装しやすくしたA2C(Advantage Actor-Critic)を解説します。非同期学習をなくすために、その他の工夫が必要となっているので、その部分を特に解説します。
お楽しみに!
(続く)