メインコンテンツへスキップ
見出し画像

Gymで強化学習⑩動的計画法:準備編

    前回の記事では動的計画法の理論の解説をしました。今回は動的計画法を実装するための準備を行います。

    環境:凍った湖

    取り上げるGymの環境はFrozen Lake(凍った湖)です。

    画像
    https://gymnasium.farama.org/environments/toy_text/frozen_lake/

    目的はスタート地点(左上)からゴール地点(右下)へと穴に落ちることなく凍った湖の上を渡ることです。

    行動

    可能な行動は以下の4つになります。

    • 0:左へ移動

    • 1:下へ移動

    • 2:右へ移動

    • 3:上へ移動

    観測値

    この環境における地図のサイズはいくつかありますし、カスタマイズもできます。最初はデフォルトの4x4の地図を使います。後で8x8にも挑戦します。

    画像
    デフォルトの4x4の地図

    観測値としては位置情報が整数値として与えられます。4x4の地図では、16の位置があり、スタート地点は0でゴールは15です。なお、青い位置には穴があるので、そこに移動するとゲーム終了です。水色の部分は移動が可能な氷上です。

    報酬値

    報酬値としては以下の3つがあります。

    • ゴール到達:+1

    • 穴に落ちる:0

    • 氷上に移動:0

    エピソードの終了条件

    エピソードが終了する条件は以下になります。

    • ゴール到着

    • 穴に落ちる

    • エピソード内で100ステップを越える(truncated=True)

    なお、8x8の場合は最大200ステップまでになります。

    Python環境の設定

    この環境ではgymnasium[toy-text]をインストールします。例えば、以下のように venv を使って仮想環境を作ります。

    # テスト用のフォルダを作る
    mkdir frozen_lake
    cd frozen_lake
    
    #Pythonの環境を作る
    python3 -m venv venv
    source venv/bin/activate
    
    # Pipを最新のものにしておく
    pip install --upgrade pip
    
    # ジムをインストール
    pip install gymnasium[toy-text]
    
    # 後で使うのでmatplotlibもインストール
    pip install matplotlib

    Frozen Lake環境の生成

    Frozen Lakeの環境を作るにはPythonスクリプトで以下のようにします。

    import gymnasium as gym
    
    env = gym.make('FrozenLake-v1')

    地図名の指定

    map_name はデフォルトが"4x4"なので上記は以下と同じです。

    import gymnasium as gym
    
    env = gym.make('FrozenLake-v1', map_name="4x4")

    そのほかに map_name="8x8" を指定すると既存の 8x8 のマップを使うことができます。

    import gymnasium as gym
    
    env = gym.make('FrozenLake-v1', map_name="8x8")
    画像
    8x8

    また、map_name=None を指定すると 8x8 のマップをランダムに生成してくれます。

    import gymnasium as gym
    
    env = gym.make('FrozenLake-v1', map_name=None)

    自分の地図を作る

    ちなみに自分でマップを作って使うこともできます。その際は、以下のように自分のマップを作成して desc に指定します。

        my_map = ["SFFF", "FFFH", "FFFH", "FFFG"]
    
        env = gym.make('FrozenLake-v1', desc=my_map)
    • S … スタート地点(Start)

    • F … 凍った部分(Frozen)

    • H … 穴(Hole)

    • G … ゴール(Goal)

    滑るかどうか

    また、is_slippery(滑りやすい)という引数があり、デフォルトでは True です。True だと意図した移動が成功する確率が3分の1になります。

    例えば、左へ移動する行動を選択しても3分の1で以下のどれかに決まります。

    • 左へ移動

    • 上に移動

    • 下に移動

    これを False に設定すると、移動が100%指示した通りに成功します。

    import gymnasium as gym
    
    env = gym.make('FrozenLake-v1', map_name="4x4", is_slippery = False)

    画像表示モード

    画像を表示するモードを指定することもできます。render="human" と指定すると人間が見るための画像を表示します。

    env = gym.make('FrozenLake-v1', render_mode="human")
    画像
    https://gymnasium.farama.org/environments/toy_text/frozen_lake/

    指定しなければ何も表示しないので速く動作しますが、必要な情報は自分でプリントすることになります。

    ランダムなエージェント

    以前に月面着陸の環境でランダムに行動するエージェントを作りました。同様にここでもランダムなエージェントを定義してエピソードを実行するプログラムの動作確認をします。

    ランダムなエージェントは次のように定義します。以前と全く同様なのは 環境オブジェクト env のメソッドを利用してランダムな行動を選択しているからです。

    import gymnasium as gym
    
    
    class RandomAgent:
        def __init__(self, env):
            # エージェントの初期化
            self.env = env
    
        def reset(self, observation, info):
            # 環境からの初期観測値を受け取る
            pass
    
        def act(self):
            # 環境からランダムな行動を取得
            action = self.env.action_space.sample()
            return action
    
        def learn(self, observation, reward, terminated, truncated, info):
            # 観測値、報酬などを受け取る
            pass

    以下のファンクションは与えられたエージェントを使って指定した回数のエピソードを実行します。

    def run_episodes(env, agent, max_episodes):
    
        # エピソードのループをmax_episodes回繰り返す
        for episode in range(max_episodes):
    
            # ゲーム環境を初期化してエージェントに初期観測値を渡す
            observation, info = env.reset()
            agent.reset(observation, info)
    
            # 1つのエピソードのループ
            while True:
                # エージェントの行動を決定
                action = agent.act()
    
                # 行動を実行すると、環境の状態が更新される
                observation, reward, terminated, truncated, info = env.step(action)
    
                # エージェントの学習
                agent.learn(observation, reward, terminated, truncated, info)
    
                # ゲームが終了したら、次のエピソードへ
                if terminated or truncated:
                    break
    
        # 環境を閉じる
        env.close()

    メインのファンクションでは環境とランダムに行動するエージェントを作成してエピソードを実行します。

    def main():
        # 環境を作成
        env = gym.make('FrozenLake-v1', desc="4x4",
                       is_slippery=False, render_mode="human")
    
        # ランダムエージェントを作成
        agent = RandomAgent(env)
    
        # エピソードを実行
        run_episodes(env, agent, max_episodes=10)
    
    
    if __name__ == "__main__":
        main()

    以下にまとめたコードを掲載します。

    import gymnasium as gym
    
    
    class RandomAgent:
        def __init__(self, env):
            # エージェントの初期化
            self.env = env
    
        def reset(self, observation, info):
            # 環境からの初期観測値を受け取る
            pass
    
        def act(self):
            # 環境からランダムな行動を取得
            action = self.env.action_space.sample()
            return action
    
        def learn(self, observation, reward, terminated, truncated, info):
            pass
    
    
    def run_episodes(env, agent, max_episodes):
    
        # エピソードのループをmax_episodes回繰り返す
        for episode in range(max_episodes):
    
            # ゲーム環境を初期化してエージェントに初期観測値を渡す
            observation, info = env.reset()
            agent.reset(observation, info)
    
            # 1つのエピソードのループ
            while True:
                # エージェントの行動を決定
                action = agent.act()
    
                # 行動を実行すると、環境の状態が更新される
                observation, reward, terminated, truncated, info = env.step(action)
    
                # エージェントの学習
                agent.learn(observation, reward, terminated, truncated, info)
    
                # ゲームが終了したら、次のエピソードへ
                if terminated or truncated:
                    break
    
        # 環境を閉じる
        env.close()
    
    
    def main():
        # 環境を作成
        env = gym.make('FrozenLake-v1', map_name="4x4",
                       is_slippery=False, render_mode="human")
    
        # ランダムエージェントを作成
        agent = RandomAgent(env)
    
        # エピソードを実行
        run_episodes(env, agent, max_episodes=10)
    
    
    if __name__ == "__main__":
        main()
    

    上記のコードを fronzen_lake.py という名前でセーブしたとします。これを走らせるには準備したPythonの環境で以下を実行します。

    python frozen_lake.py

    ランダムに移動するエージェントの様子が見れたら環境の設定は成功です。

    手動エージェント

    以前に月面着陸の環境で手動エージェントを作りました。ここでも同様に手動エージェントを作り、自分でエージェントを動かしてみます。

    基本的な仕組みは以前と同じです。コマンド・プロンプトから行動の数値を入力してエージェントを動かします。何も入力しないで ENTER キーを押すと前回の行動が継続して選択されます。

    class ManualAgent:
        def __init__(self, observation):
            pass
    
        def reset(self, observation, info):
            # 環境からの初期観測値を受け取る
            self.action = 0
    
        def act(self):
            # 手動でアクションを入力。何も入力しなければ前回のアクションを継続
            # 0: 左
            # 1: 下
            # 2: 右
            # 3: 上
            while True:
                action = input(f"アクションを入力(現在のアクション{self.action}): ")
                if action == "":
                    break
    
                if action in ["0", "1", "2", "3"]:
                    self.action = int(action)
                    break
    
                print(f"{action}は不当な行動です")
    
            # アクションを保存
            print(f"アクション: {self.action}")
            return self.action
    
        def learn(self, observation, reward, terminated, truncated, info):
            # 報酬などを表示
            print(f'観測値: {observation}')
            print(f'報酬 : {reward:6.3f}')
            print(f'終了 : {terminated}')
            print(f'切断 : {truncated}')
            print(f'情報 : {info}')
            print('-' * 20)

    このコードを frozen_lake.py に追加します。例えば、RandomAgent のコードの下にコピーしてください。

    また、このエージェントを使うには main を少し書き換えます。

    def main():
        # 環境を作成
        env = gym.make('FrozenLake-v1', map_name="4x4",
                       is_slippery=False, render_mode="human")
    
        # ランダムエージェントを作成
        #agent = RandomAgent(env)
        agent = ManualAgent(env)  # <= 手動エージェントを指定
    
        # エピソードを実行
        run_episodes(env, agent, max_episodes=10)

    これを python frozen_lake.py で実行し、自分でエージェントを動かしてみてください。

    状態遷移の確率と最適なポリシー

    is_slippery=False だとエージェントは選択した行動通りに動きます。ただし、地図の外には出られません。よって、スタート地点で「左に移動」を選んでも位置は変わりません。

    画像

    これを状態遷移の確率p(s′,r∣s,a)p(s', r | s, a)で表すと以下になります。

    p(s′=0,r=0∣s=0,a=0)=1p(s'=0, r=0 | s=0, a=0) = 1

    ここで、状態としては観測値をそのまま使っています。観測値はマップ上の位置なので行動は位置によって決まることになります。

    つまり、スタート地点s=0s=0で左へ移動a=0a=0を選択し、次の状態がs′=0s'=0で報酬r=0r=0である確率は100% (p=1p=1)になります。

    また、スタート地点s=0s=0で下への移動a=1a=1を選択すると、次の状態がs′=4s'=4で報酬r=0r=0である確率は100%になります。

    p(s′=4,r=0∣s=0,a=1)=1p(s'=4, r=0 | s=0, a=1) = 1

    下の動きに対しては状態が+4+4になります。これは地図のサイズによります。8x8 の地図で下に動いたなら状態が+8+8になります。

    なお、報酬が得られるのはゴールに到着した時のみです。

    画像

    状態s=14s=14で右に移動a=2a=2を選ぶと100%の確率でゴールに到着し報酬r=1r=1を得ます。

    p(s′=15,r=1∣s=14,a=2)=1p(s'=15, r=1 | s=14, a=2) = 1

    ちなみに、環境の作成時に is_slippery=True にして実行すると湖が滑りやすくなり、エージェントが選択した行動の通りに動かなくなります。

    例えば、状態s=2s=2で下へ移動a=1a=1を選択しても3分の1の確率で移動先が左、下、右のどれかになります。

    p(s′=1,r=0∣s=2,a=1)=13p(s′=6,r=0∣s=2,a=1)=13p(s′=3,r=0∣s=2,a=1)=13\begin{aligned} p(s'=1, r=0 | s=2, a = 1) &= \frac{1}{3} \\ p(s'=6, r=0 | s=2, a = 1) &= \frac{1}{3} \\ p(s'=3, r=0 | s=2, a = 1) &= \frac{1}{3} \end{aligned}

    さらに、状態s=6s=6で下へ移動a=1a=1を選ぶと3分の2の確率で左右どちらかの穴に落ちます。

    画像

    これを考慮すると状態s=6s=6を通過して下に行くよりも、状態s=4s=4を通過して下へ移動したほう良さそうです。確率で表現しましょう。

    p(s′=4,r=0∣s=4,a=1)=13p(s′=8,r=0∣s=4,a=1)=13p(s′=5,r=0∣s=4,a=1)=13\begin{aligned} p(s'=4, r=0 | s=4, a = 1) &= \frac{1}{3} \\ p(s'=8, r=0 | s=4, a = 1) &= \frac{1}{3} \\ p(s'=5, r=0 | s=4, a = 1) &= \frac{1}{3} \end{aligned}

    ここでは下に行ける確率は3分の1です。3分の1で左へ移動しようとすると移動できないので現状の状態s′=4s'=4に止まります。そして、3分の1で右へ移動して穴に落ちます。

    何とか穴に落ちないで下に移動できないでしょうか。

    穴に落ちないで下に行ける方法は、状態s=4s=4で行動a=0a=0を選ぶことです。これは左移動なので状態遷移の確率は以下になります。

    p(s′=4,r=0∣s=4,a=0)=13p(s′=0,r=0∣s=4,a=0)=13p(s′=8,r=0∣s=4,a=0)=13\begin{aligned} p(s'=4, r=0 | s=4, a = 0) &= \frac{1}{3} \\ p(s'=0, r=0 | s=4, a = 0) &= \frac{1}{3} \\ p(s'=8, r=0 | s=4, a = 0) &= \frac{1}{3} \end{aligned}

    これなら絶対に穴に落ちません。そして3分の1で下に行けます。3分の1で上に戻ってしまったら、再度下への移動を試みることになります。しかし、穴に落ちないので繰り返し状態s=4s=4で行動a=0a=0を選ぶと3分の1で下に移動することになります。

    なので、is_slippery=False と is_slippery=True とで最適な行動が変わってきます。つまり、状態遷移に不確実性が加わると最適なポリシーにも影響があることがわかります。

    不確実性があるかないかは状態遷移の確率で表現されるので理論としてはどちらでも同じ扱いになります。

    次回は動的計画法のポリシー反復法と価値反復法を実装して色々と実験しながら解説します。

    (続く)




     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ