メインコンテンツへスキップ
見出し画像

Gymで強化学習㊺A2C:理論編

    前回は、A3C(Asynchronous Advantage Actor-Critic)の紹介をしました。今回は、A3Cから非同期学習をなくした A2C(Advantage Actor-Critic)の仕組みを解説します。

    A3CとA2Cは両方とも Actor-Critic における学習の不安定性を改善するのを重要な目的としています。ただし、A3Cでは複数のエージェントが個別の環境で非同期学習を行うために実装する際に幾つかの困難がありました。A2Cは、A3Cの流れを汲むモデルですが、A3Cの代表的な機能である非同期性を必要とせずに学習の不安定性を改善します。

    では、さっそく始めましょう。

    Actor-Criticの不安定性(復習)

    まず、Actor-Critic(以下、AC)について復習して、学習が不安定になる原因を見直しましょう。

    ACでは二つの予測が行われます。

    • Actorは、行動選択の予測を行います。

    • Criticは、状態価値の予測を行います。

    ACの学習は次の目的関数を持ちます。

    • Actorの目的は、Criticによる評価が高い行動を選択すること。

    • Criticの目的は、状態価値の予測が報酬からの情報を反映していること。

    この二つの目的は、デルタとしてブートストラッピングを使って計算されます。デルタの値は、Actorの行動評価と同時にCriticの予測精度の評価として使われます。

    つまり、Actorの行動選択によって探索が行われることで、Criticが学習する入力データとなります。それによって、Criticによる評価が変われば、Actorの行動選択も変わってきます。すると入力データ(つまり経験)の分布が変わってくるので評価予測も変わってきます。それがまたActorの行動に影響します。というわけで、目的が自身の行動と評価によって変化するので安定性が欠けやすくなっています。

    A3C、DQN、REINFORCEの安定性

    では、その他の強化学習アルゴリズムでは安定性をどのように確保しているのでしょうか。

    DQNでは、経験再生メモリを使って様々な経験を保存しておくことで、学習の安定性を確保しました。

    A3Cでは、複数のエージェントが異なる環境からの経験をもとに学習を行うことで同様な効果を狙っています。また、後で述べるようにアドバンテージの推定に工夫があります。

    また、REINFORCEでは、エピソードの終了を待って集めた経験を使って訓練を行うことでACよりも安定性が高くなっています。

    これらのエージェントに共通するところは、パラメータの更新に複数の経験を使うという点です。DQNではバッチによる学習を行いました。A3Cではエピソードの終了、あるいは決められてステップ数に達してからパラメータの更新を行います。REINFORCEではエピソードからの経験を全て使って学習を行います。

    こうして見直して見ると、ACによる各ステップで学習するアプローチは、うまくいけば効率は良いですが、不安定になりやすい原因がわかります。いつまでも最適なポリシーにならないといった問題が生じるのは、各ステップで学習することで評価と行動が同時に変わるからです。いつまでも動き続けるターゲットを狙っているようなものです。

    つまり、学習の安定性にとって大切なのは、ある程度の経験を集めてから学習を行うことです。A3Cで行われたように複数のエージェントを非同期に動作させることは、実装を難しくするだけでむしろそれほど安定性には貢献していないと考えられます。それなら、A3Cから複数エージェントを取り除いても学習は安定するはずです。実装も楽になります。

    つまり、それがA2Cの考え方・仕組みそのものになっています。

    ただし、A2Cという名前は、A3Cを開発したDeepMindから発案されたものではありません。また、論文があるわけでもありません。よって、誰が最初にA2Cという名前を使い始めたのかもはっきりしません。

    それでも、OpenAIなど実装しておりブログ記事もあります。また、A3Cと比べて実装がしやすくさまざまな実装や改良が行われました。よって、A2Cの実装にはさまざまなバリエーションがあります。

    デルタとアドバンテージ

    さて、これまでアドバンテージという単語を避けてきました。代わりにデルタという呼び名を使っています。ただし、次のセクションで解説するアドバンテージの推定に入る前にデルタとアドバンテージの関係について理解していた方が良いのでここで解説します。

    アドバンテージという言葉はA3Cの名前の一部にもなっています。しかし、そもそもアドバンテージはQ学習において使われた言葉です。それは、行動価値Q(s,a)Q(s, a)と状態価値V(s)V(s)の差をアドバンテージA(s,a)A(s, a)と呼んでいることに対応しています。

    なお、A3Cそのものは行動価値の予測をするQ関数があるわけではありません。よって、実際にはQ学習におけるアドバンテージを計算しているわけではありません。

    それでも、アドバンテージという言葉を使っているのは、同じ論文でA3Cの前に非同期のQ学習の解説をしており、そこでのアドバンテージと対応させているのためです。つまり、A3CにおけるTDエラーを「アドバンテージ」と呼んでいることで、非同期Q学習と非同期Actor-Criticにおける違いを比較しやすいようにしているのだと思われます。ただし、論文を読まずに名前だけから判断するとA3CはQ学習の派生なのかと誤解を生じる可能性があります。

    よって、本記事や以前の記事では、一貫性を保つために、TDエラーまたはデルタという用語を使用してきました。

    ただし、デルタにおける報酬はエージェントが選択した行動によるものなので、ポリシーが最適化され収束しない間は、アドバンテージとしての解釈も可能です。

    δt=rt+γv(st+1)−v(st)\delta_t = r_t + \gamma v(s_{t+1}) - v(s_t)

    A3Cを含めActor-Criticの手法では、ポリシーが最適化されると、デルタの期待値は0に収束すると考えられます。これは、Q学習において、ポリシーが最適な行動のみを選ぶようになると最適な行動価値と状態価値に差がなくなるのと同じです。Q学習ではQ値という行動価値を予測してアドバンテージを計算するのに対し、Actor-Criticでは行動の結果としての報酬によって行動を評価し、状態価値の更新を行うという点で異なっているだけです。端的にいうと、価値ベースの強化学習とポリシーベースの強化学習の違いになります。

    なお、アドバンテージに関してはDuelling DQNの記事でも詳しく解説しています。

    アドバンテージの推定

    さて、A3Cの論文でアドバンテージの推定が言及されています。その詳細をここで解説します。

    行動評価の計算

    これまで行動の評価として使われた計算を以下にまとめます。

    トラジェクトリ全体:∑t=0∞rt\sum\limits_{{t=0}}^\infty r_t

    行動時からの全体:∑t=t′∞rt\sum\limits_{{t=t'}}^\infty r_t

    ベースラインの導入:∑t=t′∞rt−b(st)\sum\limits_{{t=t'}}^\infty r_t - b(s_t)
    ポリシーによる状態価値の予測であるvπ(st)v_{\pi}(s_t)がよく使われる。

    ポリシーによるQ値:qπ(st,at)q_{\pi}(s_t, a_t)
    ポリシーによる行動価値の予測。

    アドバンテージ関数:aπ(st,at)=qπ(st,at)−vπ(st)a_{\pi}(s_t, a_t) = q_{\pi}(s_t, a_t) - v_{\pi}(s_t)

    TDエラー(デルタ):δt=rt+vπ(st+1)−vπ(st)\delta_t = r_t + v_{\pi}(s_{t+1}) - v_{\pi}(s_t)

    比較しやすいように割引率γ\gammaが含まれていませんが、含まれている場合は以下のように表記します。

    トラジェクトリ全体:∑t=0∞γtrt\sum\limits_{{t=0}}^\infty \gamma^t r_t

    行動時からの全体:∑t=t′∞γt−t′rt\sum\limits_{{t=t'}}^\infty \gamma^{t-t'} r_t

    ベースラインの導入:∑t=t′∞γt−t′rt−b(st)\sum\limits_{{t=t'}}^\infty \gamma^{t-t'} r_t - b(s_t)
    ポリシーによる状態価値の予測であるvπ(st)v_{\pi}(s_t)がよく使われる。

    ポリシーによるQ値:qπ(st,at)q_{\pi}(s_t, a_t)
    ポリシーによる行動価値の予測。

    アドバンテージ関数:aπ(st,at)=qπ(st,at)−vπ(st)a_{\pi}(s_t, a_t) = q_{\pi}(s_t, a_t) - v_{\pi}(s_t)

    TDエラー(デルタ):δt=rt+γvπ(st+1)−vπ(st)\delta_t = r_t + \gamma v_{\pi}(s_{t+1}) - v_{\pi}(s_t)

    これらは全て行動の評価を行なっています。つまり、どの行動がより有利であるのかを教えてくれるわけであり目的は同じです。

    ただし、トラジェクトリ全体を使うのは、現時点の行動に関係ない報酬を含めることになるため、REINFORCEでは行動時からの全体のトラジェクトリを使いました。さらに、ベースラインを導入することで安定化が測られました。問題としては、エピソードの終了を待つ必要があるということでした。

    その一方で、真のQ値がわかっていればそれが一番正確であることになります。しかし、モデルが学習し始めた初期の頃にはその値は正確ではありません。また、不安定でもあるでしょう。よって、アドバンテージを使うことでベースラインと同様に安定性を確保します。ただし、この手法はDQNなど価値ベースの強化学習で使われるものです。なので、Actor-Criticでも使えるアドバンテージ的なものがあれば良いことになります。前のセクションで話した通り、それがTDエラーなのですが問題がありました。

    Actor-Criticでは、TDエラーを使うことで、REINFORCEで問題だったエピソードを待つという制限を取り除くことができました。また、すでに述べたように、やっていることはアドバンテージ関数と似通っています。Q値を直接予測する代わりに行動価値を現在の報酬と将来の価値を割引して足したものを使っているだけです。なので、デルタを使ってアドバンテージを予測していると解釈できます。ただし、TDエラーは、ブートストラッピングなどによって学習が不安定になりがちなのが問題です。

    デルタの再解釈

    そこで、考えられたのはREINFORCEとActor-Criticのいいとこ取り的な手法です。つまり、ポリシーによる状態価値予測に実際の報酬をもっと取り入れるようにします。

    そこで、デルタの計算をもう一度見てみましょう。

    δt=rt+γVπ(st+1)−Vπ(st)\delta_t= r_t + \gamma V^{\pi}(s_{t+1}) - V^{\pi}(s_t)

    では、2つのステップからの報酬を使ってデルタを計算するとどうなるでしょうか。

    δt=rt+γVπ(st+1)−Vπ(st)= rt+γ(rt+1+γVπ(st+2))−Vπ(st)= rt+γrt+1+γ2Vπ(st+2)−Vπ(st)\begin{aligned} \delta_t &= r_t + \gamma V^{\pi}(s_{t+1}) - V^{\pi}(s_t) \\ &= r_t + \gamma \biggl(r_{t+1} + \gamma V^{\pi}(s_{t+2})\biggr) - V^{\pi}(s_t) \\ &= r_t + \gamma r_{t+1} + \gamma^2 V^{\pi}(s_{t+2}) - V^{\pi}(s_t)\\ \end{aligned}

    このような計算はどんどん続けることが可能です。

    δt=rt+γvπ(st+1)−vπ(st)= rt+γrt+1+γ2vπ(st+2)−vπ(st)= rt+γrt+1+γ2rt+2+γ3vπ(st+3)−vπ(st)⋮= rt+γrt+1+⋯+γk−1rt+k−1+γkvπ(st+k)−vπ(st)\begin{aligned} \delta_t &= r_t + \gamma v_{\pi}(s_{t+1}) - v_{\pi}(s_t) \\ &= r_t + \gamma r_{t+1} + \gamma^2 v_{\pi}(s_{t+2}) - v_{\pi}(s_t)\\ &= r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \gamma^3 v_{\pi}(s_{t+3}) - v_{\pi}(s_t)\\ &\qquad\vdots \\ &= r_t + \gamma r_{t+1} + \cdots + \gamma^{k-1} r_{t+k-1} + \gamma^k v_{\pi}(s_{t+k}) - v_{\pi}(s_t) \end{aligned}

    まとめるとデルタの再解釈としてアドバンテージの推定を次のように書くことができます。

    a^t=∑l=0k−1γl rt+l+γkvπ(st+k)−vπ(st)\hat{a}_t = \sum\limits_{l=0}^{k-1} \gamma^l  r_{t+l} + \gamma^k v_{\pi}(s_{t+k}) - v_{\pi}(s_t)

    ここでのkkの値は、決められたステップ数であるか、エピソード終了までの値を使います。ここでもブートストラップが使われていますが、現在の状態価値とkkステップ後の状態価値の予測に対してであり、その間は実際の報酬を使うのでパラメータの更新によって不安定になることを抑えることができます。

    このようにしてアドバンテージを推定することでREINFORCEのような学習の安定性を確保することが可能となります。また、このkk ステップからの報酬を使用することで、エピソード終了を待たずにアドバンテージを推定できるため、学習プロセスを加速させることが理論的には可能です。もちろん、エピソード終了を待ってパラメータを更新した方が簡単ではあります。ただし、訓練に要するエピソードの数はActorCriticよりもずっと多くなるでしょう。いずれにせよ、結果が良ければOKではありますが。

    A2Cでもアドバンテージの推定として上述のアプローチを用いています。

    次回予告

    次回は、A2Cの実装と実験を行います。

    お楽しみに!

    (続く)

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ