メインコンテンツへスキップ
見出し画像

Gymで強化学習㊷Actor-Critic:理論編

    前回は、マウンテン・カー(連続値)の環境にREINFORCEを適用し実験しました。多少工夫は必要でしたが最終的には毎回ゴールに到着できるようになりました。

    今回は、Actor-Criticの理論的な側面を解説します。といっても、Actor-Criticの理論は、REINFORCEの延長線上にあります。よって、ポリシー勾配法の一種になります。

    では、さっそく始めましょう。

    ポリシー勾配定理の復習

    REINFORCEとActor-Critic を比較するためにポリシー勾配定理を一度復習しましょう。

    ポリシー勾配定理の式をここに再掲します。

    ∇θJ(θ)=Eτ∼πθ[(∑t=0T−1∇θlog⁡πθ(at∣st))g(τ)]\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \Biggl[ \left(\sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t|s_t)\right) g(\tau) \Biggr]

    ここでg(τ)g(\tau)となっているのは、エピソードの最初から最後までのトラジェクトリτ\tauから得た割引総報酬です。

    g(τ)=r1+γr2+γ2r3+⋯+γT−1rTg(\tau) = r_1 + \gamma r_2 + \gamma^2 r_3 + \dots + \gamma^{T-1} r_T

    γ\gammaは割引率です。

    このg(τ)g(\tau)を各ステップにおける行動の評価の値として使うのですが、全てのステップに対して同じ値を使っており、学習の効率が良くありません。なぜなら、あるステップにおける行動の評価として、その行動判断と関係のない、それ以前(過去の行動)の報酬が含まれているからです。

    REINFORCEとモンテカルロ法

    REINFORCEでは、この割引総報酬の部分を各ステップからエピソード終了までの割引総報酬g(τt)g(\tau_t)にしています。こうすることである時点での行動と関係のない過去の報酬を行動の評価から外すことになり、より効果的な学習が行えるようになっています。

    g(τt)=rt+γrt+1+γ2rt+2+⋯+γT−trTg(\tau_t) = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{T-t} r_T

    よって、REINFORCEでのポリシー勾配定理の式は次のようになっています。

    ∇θJ(θ)=Eτ∼πθ[(∑t=0T−1∇θlog⁡πθ(at∣st))g(τt)]\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \Biggl[ \left(\sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t|s_t)\right) g(\tau_t) \Biggr]

    こうすることで、REINFORCEは、素のポリシー勾配定理を使うよりも効率の良い学習ができます。

    なお、ベースラインを追加した場合は、g(τt)g(\tau_t)からポリシーπθ\pi_\thetaによる状態価値の予測値vπθ(st)v_{\pi_\theta}(s_t)を引いたものを使います。

    ∇θJ(θ)=Eτ∼πθ[(∑t=0T−1∇θlog⁡πθ(at∣st))(g(τt)−vπθ(st))]\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \Biggl[ \left(\sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t|s_t)\right) \biggl( g(\tau_t) - v_{\pi_\theta}(s_t) \biggr) \Biggr]

    適切なベースラインを使うと学習がさらに安定するのは実験を通して確認しました。

    その上、REINFORCEでは行動の値が連続値の場合にも対応できます。なので、仕組みとしては、汎用性のあるものになっています。

    ただし、REINFORCEでは、割引総報酬を計算するためにエピソードの終了を待つ必要があり、エピソード内では経験を集めることしかできませんでした。

    このエピソードごとに集めた経験によってパラメータの更新を行うやり方は、アプローチとしてはモンテカルロ法と似ています。よって、REINFORCEのことをモンテカルロ・ポリシー勾配法と呼ぶこともあります。

    そのため、モンテカルロ法と同じ欠点があります。それは、エピソードが終了するまで学習が行えないので経験をすぐに活かすことができないことです。それができれば、学習がさらに効率的になるはずです。

    REINFORCEにTD学習法を

    モンテカルロ法の欠点を克服したのがTD学習法でした。ステップごとに学習が行えるために学習がより速くなる効果がありました。

    TD学習法は、SARSAやQ学習の理論的な土台です。TD学習法は、モンテカルロ法のように経験から学ぶのはもちろんですが、さらにブートストラッピングの手法を導入することでエピソードの終了を待つことなく学習を行うことができる仕組みになっています。

    TD学習法では、状態価値の予測を次のように更新していきます。

    v(st)←v(st)+α[rt+γv(st+1)−v(st)]v(s_t) \leftarrow v(s_t) + \alpha[ r_t + \gamma v(s_{t+1}) - v(s_t)]

    rt+γv(st+1)r_t + \gamma v(s_{t+1})は、受け取った報酬rtr_tと次の状態の価値の予測v(st+1)v(s_{t+1})をγ\gammaで割引したものを足し合わせたもので、新しい情報(報酬)を使って計算した状態価値の予想です。この計算では、次の状態の予想を使って現在の状態の予想しているわけで、このように予測に予測を使う手法をブートストラッピングと呼びます。

    新しい情報を取り入れて予測した状態価値rt+γv(st+1)r_t + \gamma v(s_{t+1})と新しい情報がないままに予測した状態価値v(st)v(s_t)の差を計算しているので、新しい情報がこれまでの予測に対してどのくらいの違いを生むのかがわかります。

    それに対して、ステップサイズ(あるいは学習率)α\alphaでは、新しい情報による予測の差をどのくらいの割合で取り込んでいくかを指定しています。つまり、ステップごとに予測の差を使って少しずつ更新するので、TD(Temporal Difference、時間差)という文字が、手法の名前についています。

    このTD学習法のアプローチをREINFORCEに取り入れると、エピソードの終了を待つことなくステップごとに学習をすることが可能となります。

    それがActor-Criticの基本的なアプローチです。

    Actor-Critic

    Actorは行動する者という意味になりますが、要するに行動選択をするポリシーです。これはREINFORCEにおけるポリシーと基本的に同じもので、状態から行動する確率を計算します。

    その一方、Criticは批評する者といった意味になります。実際には、CriticはActorが行動することで遷移した状態を評価するので、状態価値の予測をしていることになります。これもREINFORCEでベースラインに状態価値の予測を使ったのと同じ機能と考えて差し支えありません。

    よって、REINFORCEとActor-Criticが計算していることはほとんど同じです。ただし、ポリシー勾配の計算の仕方が異なります。

    ∇θJ(θ)=Eτ∼πθ[(∑t=0T−1∇θlog⁡πθ(at∣st))(rt+γvπθ(st+1)−vπθ(st))]\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \Biggl[ \left(\sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t|s_t)\right) \biggl( r_t + \gamma v_{\pi_\theta}(s_{t+1}) - v_{\pi_\theta}(s_t) \biggr) \Biggr]

    REINFORCEと比較すると状態価値の予測の部分にブートストラッピングによる状態価値の予測としてrt+γv(st+1)r_t + \gamma v(s_{t+1})を使っているところが異なります。さらに、vπθ(st)v_{\pi_\theta}(s_t)を差し引くことで、現在の状態価値の予測と新しい情報を受けた予測との違いを計算しています。

    これをTD学習では、TDエラー(あるいはデルタδ\delta)と呼びました。Criticによる状態価値の予測の精度が上がると、このデルタは小さくなります。

    δ= rt+γvπθ(st+1)−vπθ(st)\delta = r_t + \gamma v_{\pi_\theta}(s_{t+1}) - v_{\pi_\theta}(s_t)

    学習が成功するにつれ、Actorが最善の行動を取るようになり、またCriticが状態価値を正確に予測するようになるので、TDエラーはゼロに近づきます。なぜなら、状態価値とはある状態から常に最善な行動を取り続けた場合の割引総報酬に等しいからです。TDエラーがゼロに近づくと、ポリシー勾配もゼロに近づくのでポリシーの更新が収束していくことになります。

    逆に、Actorが最善な行動を学習していないと、Criticによる評価も安定しません。Criticによる評価が安定しないとポリシー勾配も安定しません。よってActorとCriticの双方がうまく学習できることが重要となります。

    なお、デルタの計算では、状態価値の予測を差し引いているので自然とベースラインの役割を果たしてもいます。よって、Actor-Criticでは、ベースライン無しというケースは通常考えません。

    以上で、実装するために必要な理論の解説になります。ActorとCriticがうまく連携することで、REINFORCEよりもさらに高速かつ効率的に最適な行動を見つけ出せるという強力な理論となっています。そのためActor-Critic には数々の派生モデルが出現しています。

    次回予告

    次回は、前回のREINFORCEの実装を改良して、Actor-Criticの実装を行い実験します。

    お楽しみに!

    (続く)

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ