メインコンテンツへスキップ
見出し画像

Gymで強化学習㊲ポリシー勾配法:理論編

    前回は、Atariゲーム環境におけるDueling DQNの実験結果を報告しました。今回は新たなテーマ、ポリシー勾配法に焦点を当てます。

    これまでずっと、ポリシーとして行動価値を最大化する行動選択を行う手法を解説してきました。行動価値ベースのポリシーでは、必ず行動価値の計算が不可欠です。

    しかし、最終的な目的は最適な行動を選ぶことであり、行動価値の計算はそこへたどり着くための手段でしかありません。

    この記事では、行動価値を参照せず、状態から直接行動を選ぶポリシー勾配法について解説します。つまり、状態から直接に最適な行動を予測します。といっても価値関数の概念が完全に切り捨てられるわけでもありません。それについては追々に解説していきます。

    「状態から直接的に最適な行動を選ぶにはどうすれば良いのか」

    この新しい視点で強化学習を考えることで、異なるアプローチの可能性を探ることができます。

    では、さっそく始めましょう。

    ポリシーベースの手法

    ポリシーベース vs 価値ベース

    強化学習の最終目標は「最適な行動を見つける」ことです。この目標にはいくつかの道があります。これまでは、行動価値(Q値)を用いて最適な行動を選ぶ価値ベースの手法を取り上げてきました。このアプローチは強力ですが、行動価値を先に推定する必要があります。しかし、強化学習の目的は「行動価値の正確な値」そのものではありません。

    そもそも必要なのは行動の優劣を判断する能力だけです。具体的な行動価値の詳細を知る必要はありません。最終的に重要なのは「どの行動が将来的に最大の報酬をもたらすか」を状態から判断する能力です。

    ここで登場するのが最適な行動を現在の状態から直接に予測するポリシーベースの手法です。

    ポリシーベースの手法の利点

    これまで行動価値を計算する場合には、選択できる行動は限定されていました。例えば、月面着陸の環境で左右にジェット噴射するなどです。ジェット噴射の方向は指定できますが、噴射する量は指定することができませんでした。

    逆に言うと、行動価値ベースの強化学習では、行動の選択肢が有限であることが前提条件でした。もし、ジェット噴射の量を指定する必要があると、その値は無数の連続値であり、その一つ一つの価値を計算するとしたら時間がいくらあっても足りません。

    つまり、個別のアクションを扱うゲーム環境、例えばAtariのような場合には、行動価値ベースの手法が適しています。ただし、Gymの環境では、行動を指定するのに連続的な値を必要とするものが多く存在します。よって行動価値ベースの手法を直接に適用することができません。

    その点、ポリシーベースの手法は、連続的な行動空間でもうまく動作するため、多様な問題に適用できます。行動空間とは、エージェントが取ることのできるすべての行動の集合を指します。この行動空間が"連続的"な場合、たとえばジェット噴射の量が任意に調整できる場合など、行動の選択肢は無数にあります。このような状況では、ポリシーベースの手法が特に有用です。

    ただし、誤解を避けるために言うと、ポリシーベースの手法は連続値の行動に特化しているわけではありません。離散的(バラバラ)な行動の値にも適用可能です。なぜなら、確率分布を用いることで、離散的な選択肢からも最適な行動を選ぶことができるからです。

    例えば、ゲームのように「左に行く」「右に行く」「ジャンプする」など、限られた選択肢から行動を選ぶ場合でも有用です。ポリシーベースの手法はその柔軟性から、多様な問題に適用できると言えます。

    まとめると、行動価値ベースの手法は、限定された選択肢から最適な行動を選ぶ環境において適用可能です。その一方で、ポリシーベースの手法は離散的な行動選択のみだけでなく、連続的な行動空間(行動の値)にも対応できるので、より複雑な行動を表現できます。

    ポリシー勾配法

    ポリシー勾配法とは

    ポリシー勾配法(方策勾配法、Policy Gradient Method)はポリシーベースの強化学習手法の一つで、状態ssから直接行動aaを推測します。

    例えば、ポリシーベースの手法は状態ssを入力として行動aaを出力する関数π\piとして表現することができます。

    a=π(s)a = \pi(s)

    また、後述するようにポリシーを状態ssを入力として行動aaの確率分布を出力する関数π(a∣s)\pi(a|s)として定義することもできます。

    ポリシー勾配法では、関数π\piに調節できるパラメータがあることを前提としています。

    a=πθ(s)a = \pi_\theta(s)

    このパラメータをθ\theta(シータ、あるいはセータなど)と呼んでいます。このθ\thetaの一文字で複数のパラメータを意味しています。

    例えば、パラメータの個数がnnならば、以下のように列ベクトルとして定義できます。

    θ=(θ1⋮θn)\theta = \begin{pmatrix} \theta_1 \\ \vdots \\ \theta_n \end{pmatrix}

    行ベクトルとして横に並べることもできますが、今回は列ベクトルを使います。

    例えば、このパラメータ化された関数がニューラルネットワークであれば、θ\thetaはニューラルネットワークで使われるすべてのパラメータ(重み、バイアス)を表現することになります。ただし、ハイパーパラメータは除きます。なぜなら学習によって調節できるパラメータのみを対象としているからです。

    よって、ポリシー勾配法では、関数πθ\pi_\thetaのパラメータを調節することによって行動の値(行動価値ではありません)の予測を最適化することができます。

    なお、この手法では、単に状態を行動にマッピングするだけでなく、行動が連続的な値を取る場合にも対応できます。

    ポリシーと確率分布

    ポリシー勾配法を把握するためには、行動選択を確率分布として捉えることが重要です。この理由はシンプルで、ポリシーの最適化が最終的には行動選択の確率分布を調整するプロセスだからです。

    よって、以下の確率分布πθ(a∣s)\pi_\theta(a | s)を考えます。

    πθ(a∣s)=P(at=a∣st=s;θ)\pi_\theta(a | s) = P(a_t = a | s_t = s; \theta)

    この確率分布は、あるステップttで、状態ssにおいて行動aaを選ぶ確率を表現しています。ここでの行動aaは、離散値でも連続値でも構いませんが、連続値の行動を念頭にして話を進めます。

    この確率分布のパラメータθ\thetaは学習過程で更新されるため、エージェントは環境に段階的に適応します。これにより、ポリシーは多様な状態と行動に対して適切な確率分布を生成する能力を獲得します。

    結果として、状態が微妙に変化しても選択される行動はスムーズに調整されます。この柔軟性は未知の状態や連続的な行動空間にも適用可能であり、特定の状態を単一の行動にマッピングする手法では得られない利点です。

    なお、このパラメータθ\thetaを調整するためには、目的関数(通常は総報酬の期待値)を定義する必要があります。

    ポリシーの目的関数

    ポリシー勾配法では、その名の通りポリシーπθ\pi_\thetaの勾配を計算して利用します。よって、そもそも勾配が存在する(計算が可能で無限大などにならない)ことが条件となります。一般的によく使われる活性化関数などを使うニューラルネットワークの場合は、この条件はクリアされます。

    また、ニューラルネットワークは、誤差逆伝播法と勾配降下法によって効率的な最適化が可能です。よって、ここからはニューラルネットワークを使う前提で話を進めます。

    では、ポリシーの最適化を行うための目的関数(Objective Function)はどのように設定するのでしょうか。つまり、何を持ってパラメータの勾配を計算し、パラメータの更新を行うのでしょうか。

    目的関数の具体的な定義としては、いろいろなものが考えられますが、この記事では目的関数J(θ)J(\theta)を次のように定義します。

    J(θ)=vπθ(s0)J(\theta) = v_{\pi_\theta}(s_0)

    この目的関数J(θ)J(\theta)は、ある初期状態s0s_0からポリシーπθ\pi_\thetaに従ってエピソードが終了するまで行動した場合に受け取る総報酬による価値vπθ(s0)v_{\pi_\theta}(s_0)です。よって、この定義では、Gym環境のように環境がエピソディック(ゲーム終了などで必ず終了する環境)であることを前提としています。

    なお、初期状態s0s_0が固定されておらず、ランダムに設定される場合は、目的関数J(θ)J(\theta)は通常、すべての可能な初期状態s0s_0についての価値関数の期待値として定義されます。数学的には、各初期状態s0s_0の確率P(s0)P(s_0)を用いて、次のように表現できます。

    J(θ)=Es0∼P(s0)[vπθ(s0)]J(\theta) = \mathbb{E}_{s_0 \sim P(s_0)}[v_{\pi_\theta}(s_0)]

    いずれの定義を使うにせよ、エージェントが平均的に高い報酬を獲得できるようにパラメータθ\thetaを調整することに変わりはありません。

    ここで初期状態s0s_0に言及しているのは、ゲームの開始から終了までの報酬を最大化するためですが、強化学習における状態は、マルコフ性を持つので現在状態ssとしても意味は同じです。つまり、ある時点ttにおける目的関数J(θ)J(\theta)は、エピソディックな環境においてポリシーπθ\pi_\thetaが状態sts_tにおいて予測する状態価値vπθ(st)v_{\pi_\theta}(s_t)となります。

    J(θ)=vπθ(st)J(\theta) = v_{\pi_\theta}(s_t)

    つまり、J(θ)J(\theta)をあらゆるステップで最大化するようにパラメータθ\thetaを更新していけば、ポリシーが最適化されていきます。

    パラメータの更新

    ポリシーの最適化を行うために、ポリシーの勾配を計算する必要があります。パラメータθ\thetaに関する、ポリシーの勾配は次のように定義されます。

    ∇θJ(θ)=(∂J(θ)∂θ1⋮∂J(θ)∂θn)\nabla_\theta J(\theta) = \begin{pmatrix} \frac{\partial J(\theta)}{\partial \theta_1} \\ \vdots \\ \frac{\partial J(\theta)}{\partial \theta_n} \\ \end{pmatrix}

    これは目的関数J(θ)J(\theta)を各パラメータで偏微分したものを列ベクトルとしてまとめたものです。

    学習率をα\alphaとして、最も単純なパラメータの更新は次のように行います。

    θ←θ+α∇θJ(θ)\theta \leftarrow \theta + \alpha \nabla_\theta J(\theta)

    中身を展開して書くと、以下になります。

    (θ1⋮θn)←(θ1+α∂J(θ)∂θ1⋮θn +α∂J(θ)∂θn)\begin{pmatrix} \theta_1 \\ \vdots \\ \theta_n \end{pmatrix} \leftarrow \begin{pmatrix} \theta_1 + \alpha \frac{\partial J(\theta)}{\partial \theta_1} \\ \vdots \\ \theta_n + \alpha \frac{\partial J(\theta)}{\partial \theta_n} \end{pmatrix}

    よって、各パラメータに対して書くと、

    θi←θi+α∂J(θ)∂θi\theta_i \leftarrow \theta_i + \alpha \dfrac{\partial J(\theta)}{\partial \theta_i}

    となります。これは勾配降下法の最も単純な手法です。オプティマイザとして Adam などより高度なものを使うと式は変わってきますが、勾配に導かれて目的関数を最大化する意味では同じです。

    端的に言うと、ポリシー勾配法では、状態価値が最大化するようにポリシーのパラメータを調節する、ことになります。

    以上より、ポリシー勾配法は、ある初期状態ssからスタートして、ポリシーπθ\pi_\thetaに従って行動することで、エピソードが終了するまでに得られる生涯報酬の期待値が最大化されるようにポリシーのパラメータθ\thetaを勾配に従って調節するという強化学習のスタイルになります。

    ポリシー勾配定理

    ポリシー勾配定理により、目的関数の勾配をポリシーの勾配として表現で切るので、ポリシーを直接に最適化することが可能となります。ポリシー勾配定理を理解するためには、まずトラジェクトリについて知る必要があります。

    トラジェクトリ

    強化学習でエージェントが経験するシーケンスは、経験の軌跡(トラジェクトリ、Trajectory)として捉えることができます。

    画像

    なお、ここでは環境から受け取る観測値をoo、エージェントが計算した状態をss、行動をaa、報酬をrrとしています。

    異なるエージェントを使えば、経験の結果としてのトラジェクトリも変わってくるでしょう。また、最適なエージェントから得られるトラジェクトリでは、期待される報酬(報酬の期待値)が最大になるはずです。つまり、ポリシーの最適化とは、期待される経験を最適化することになります。

    そこで、状態と行動のシーケンス(順番に並べたもの)をトラジェクトリと呼び、最適化できるものとしてとらえ次のようにτ\tau(タウ)として表現します。

    τ=(s0,a0,s1,a1,s2,…,aT−1,sT)\tau = (s_0, a_0, s_1, a_1, s_2, \dots, a_{T-1}, s_T)

    つまり、エージェントが初めの状態s0s_0からスタートし、ポリシーπ\piに従って行動a0a_0を選び、次の状態s1s_1へ遷移します。その過程で、環境から報酬r1r_1を受け取ります。このプロセスがエピソードが終了(最終のステップTTに到達)するまで続きます。

    より多くの総報酬を得られるようにトラジェクトリを選択することを考えます。よって、トラジェクトリτ\tauから得られた総報酬をg(τ)g(\tau)として定義します。

    g(τ)=r1+γr2+γ2r3+⋯+γT−1rTg(\tau) = r_1 + \gamma r_2 + \gamma^2 r_3 + \dots + \gamma^{T-1} r_T

    ここでγ\gammaは、割引率です。

    環境によっては、状態遷移や各報酬rir_iの値にランダム性があるので、総報酬g(τ)g(\tau)の期待値を最大化することを目的として、目的関数を次のように定義します。

    J(θ)=Eτ∼πθ[g(τ)]J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} [g(\tau)]

    期待値の計算がτ∼πθ\tau \sim \pi_\thetaとなっているのは、ポリシーπθ\pi_\thetaによってどのトラジェクトリが選ばれるのかの確率が変わってくるからです。

    もちろん、トラジェクトリは、環境とエージェントの相互作用によって生成されるので環境にも依存します。しかし、エージェントがコントロールできるのはポリシーによる行動選択だけです。そしてエージェントの行動は、パラメータθ\thetaに依存します。つまり、ポリシーπθ\pi_\thetaがより良いトラジェクトリを選ぶようにするには、パラメータθ\thetaを調節することが手段となります。

    以上より、目的関数の最適化はトラジェクトリの最適化であり、そのための手段がパラメータの調節であることが明らかになりました。よって、トラジェクトリの最適化としてパラメータの調節するには、「目的関数の勾配」をトラジェクトリと関連させて計算する必要があります。

    目的関数の勾配

    ポリシーのパラメータθ\thetaに対してのトラジェクトリτ\tauの確率P(τ∣θ)P(\tau|\theta)と表現します。これを使って目的関数の定義を次のように展開します。

    J(θ)=Eτ∼πθ[g(τ)]=∑τP(τ∣θ)g(τ)\begin{aligned} J(\theta) &= \mathbb{E}_{\tau \sim \pi_\theta} [g(\tau)]\\ &= \sum_{\tau} P(\tau | \theta) g(\tau) \end{aligned}

    つまり、確率P(τ∣θ)P(\tau|\theta)を使って計算した総報酬g(τ)g(\tau)の期待値となっています。

    以上の知識を持って、目的関数の勾配を計算します。

    ∇θJ(θ)=∇θ∑τP(τ∣θ)g(τ)=∑τ∇θP(τ∣θ)g(τ)\begin{aligned} \nabla_\theta J(\theta) &= \nabla_\theta \sum_{\tau} P(\tau | \theta) g(\tau) \\ &= \sum_{\tau} \nabla_\theta P(\tau | \theta) g(\tau) \\ \end{aligned}

    この勾配を計算をする際には、特定のトラジェクトリτ\tauが固定されていると考えます。そのため、この計算の文脈ではg(τ)g(\tau)の値はポリシーのパラメータθ\thetaに依存しません。

    もちろん、選ばれるトラジェクトリはポリシーの行動選択によって変わる可能性があります。そのことは、P(τ∣θ)P(\tau | \theta)が表現しています。ただし、あるトラジェクトリτ\tauに対する総報酬g(τ)g(\tau)は環境によってのみ決まります。

    ここで対数微分を使うと、次のような関係式が成り立ちます。

    ∇θlog⁡P(τ∣θ)=∇θP(τ∣θ)P(τ∣θ)\nabla_\theta \log P(\tau|\theta) = \dfrac{\nabla_\theta P(\tau|\theta)}{P(\tau|\theta)}

    これを用いて勾配を整理すると、以下になります。

    ∇θJ(θ)=∑τ∇θP(τ∣θ)g(τ)=∑τP(τ∣θ)∇θP(τ∣θ)P(τ∣θ)g(τ)=∑τP(τ∣θ)∇θlog⁡P(τ∣θ)g(τ)=Eτ∼πθ[ ∇θlog⁡P(τ∣θ)g(τ)]\begin{aligned} \nabla_\theta J(\theta) &= \sum_{\tau} \nabla_\theta P(\tau | \theta) g(\tau) \\ &= \sum_{\tau} P(\tau | \theta) \frac{\nabla_\theta P(\tau | \theta)}{P(\tau | \theta)} g(\tau) \\ &= \sum_{\tau} P(\tau | \theta) \nabla_\theta \log P(\tau|\theta) g(\tau) \\ &= \mathbb{E}_{\tau \sim \pi_\theta} \biggl[ \nabla_\theta \log P(\tau|\theta) g(\tau) \biggr] \end{aligned}

    この勾配計算から、ポリシーがより総報酬の高いトラジェクトリを選ぶようになるほど勾配の値が大きくなることが分かります。

    次は、この勾配計算をさらに展開して、各ステップにおける行動選択と結びつけます。

    ポリシー勾配定理

    トラジェクトリτ\tauの確率P(τ∣θ)P(\tau|\theta)は、ポリシーの行動選択の確率πθ(a∣s)\pi_\theta(a|s)と環境の状態遷移の確率P(s′∣s,a)P(s'|s, a)に依存します。

    ポリシーπθ(a∣s)\pi_\theta(a|s)はある状態ssで行動aaを実行する確率を表現しています。また、状態遷移の確率P(s′∣s,a)P(s'|s, a)は、ある状態ssで、行動aaを実行した時に、次の状態がs′s'になる確率を表現しています。

    よって、トラジェクトリτ\tauの確率P(τ∣θ)P(\tau|\theta)を次のように表現できます。

    P(τ∣θ)=P(s0)∏t=0T−1πθ(at∣st)P(st+1∣st,at)P(\tau|\theta) = P(s_0) \prod_{t=0}^{T-1} \pi_\theta(a_t|s_t) P(s_{t+1}|s_t, a_t)

    ここでP(s0)P(s_0)は初期状態s0s_0の確率、P(st+1∣st,at)P(s_{t+1}|s_t, a_t)は各ステップにおける状態遷移の確率です。

    なお、記号∏\prodは「総乗」を表し、指定された範囲内の全ての要素の積を計算します。具体的には、式∏t=0T−1πθ(at∣st)P(st+1∣st,at)\prod_{t=0}^{T-1} \pi_\theta(a_t|s_t) P(s_{t+1}|s_t, a_t)において、∏t=0T−1\prod_{t=0}^{T-1}は、時間t=0t=0からT−1T-1までの各ステップでのπθ(at∣st)P(st+1∣st,at)\pi_\theta(a_t|s_t) P(s_{t+1}|s_t, a_t)の値を掛け合わせることを意味します。

    P(τ∣θ)=P(s0) ∏t=0T−1πθ(at∣st) = P(s0) πθ(a0∣s0)P(s1∣s0,a0) … πθ(aT−1∣sT−1)P(sT∣sT−1,aT−1)\begin{aligned} P(\tau|\theta) &= P(s_0) \prod_{t=0}^{T-1} \pi_\theta(a_t|s_t)  \\ &= P(s_0) \, \pi_\theta(a_0|s_0) P(s_1|s_0, a_0) \, \dots \pi_\theta(a_{T-1}|s_{T-1}) P(s_T|s_{T-1}, a_{T-1}) \end{aligned}

    この確率P(τ∣θ)P(\tau|\theta)の対数を取ると、

    log⁡P(τ∣θ)=log⁡P(s0)+∑t=0T−1[log⁡πθ(at∣st)+log⁡P(st+1∣st,at)]\log P(\tau|\theta) = \log P(s_0) + \sum_{t=0}^{T-1} \biggl[ \log \pi_\theta(a_t|s_t) + \log P(s_{t+1}|s_t, a_t) \biggr]

    P(s0)P(s_0)とP(st+1∣st,at)P(s_{t+1}|s_t, a_t)は、θ\thetaに依存しません。よって、目的関数の勾配の計算を続けると以下になります。

    ∇θJ(θ)=Eτ∼πθ[ ∇θlog⁡P(τ∣θ)g(τ)]=Eτ∼πθ[(∑t=0T−1∇θlog⁡πθ(at∣st))g(τ)]\begin{aligned} \nabla_\theta J(\theta) &= \mathbb{E}_{\tau \sim \pi_\theta} \Biggl[ \nabla_\theta \log P(\tau|\theta) g(\tau) \Biggr] \\ &= \mathbb{E}_{\tau \sim \pi_\theta} \Biggl[ \left(\sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t|s_t)\right) g(\tau) \Biggr] \end{aligned}

    こうして目的関数の勾配を、各ステップにおけるポリシーの行動選択と直接的に結びつけて定義することができました。この勾配に基づいてパラメータを更新することで、エージェントはより高い総報酬を獲得する可能性のある行動選択を学習します。

    直感的に言うと「各行動判断を改善していけば、最終的には大きな報酬を得られる」というアイデアを数学的に表現したものであり、これをポリシー勾配定理と呼びます。

    よって、ポリシー勾配定理はエージェントが高い報酬を獲得するための数学的なフレームワークを提供しています。この定理は、目的関数の勾配と行動選択がどのように関連するかを明らかにし、ポリシー勾配法の理論的な基盤を提供しています。

    次回予告

    今回は、ポリシー勾配法について理論的な側面を説明しました。最後の方は、ちょっと抽象的だったかもしれませんが、ポリシーのパラメータを更新することで目的関数を最適化できるという主点を理解することが大切です。

    次回は、ポリシー勾配法の一種である「REINFORCE」について解説します。

    お楽しみに!

    (続く)

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ