メインコンテンツへスキップ
見出し画像

言語AIの進化史⑮LSTM(Long Short-Term Memory)

    前回は、再帰型ニューラルネットワーク(RNN)の誤差逆伝播法(BPTT、Backpropagation Through Time)の解説をしました。

    その中で、単純なRNNの仕組みにおいて、2つの問題点が浮き彫りとなりました。

    • 長期の依存関係の学習が困難

    • 勾配消失と勾配爆発

    これらの問題に対処するために、LSTM(Long Short-Term Memory)が開発されました。

    RNNとLSTMの構造上の違い

    RNNの構造

    以下は、RNNのあるステップttにおける再帰処理を簡略的に表現したものです。

    画像
    RNNの構造
    • xt\boldsymbol{x}_t:入力ベクトル

    • ht−1\boldsymbol{h}_{t-1}:ステップt−1t-1からの隠れ状態

    • ht\boldsymbol{h}_t:次のステップt+1t+1へ渡す隠れ状態

    黄色い箱はニューラルネットワークです。この中には、線形変換のための重みWWとバイアスb\boldsymbol{b}、そして非線形変換のための活性化関数tanh⁡\tanh(双曲線正接そうきょくせんせいせつ関数)が入っています。

    LSTMの構造

    下図は、LSTMの構造です。

    画像
    LSTMの構造

    まず、RNNとの大きな違いとして、LSTMではセル状態(Cell State)が追加されています。日本語ではしばしば「細胞状態」と訳されますが、これはニューロンの構造を模した概念的な名称です。

    セル状態は、過去の情報を保持するための長期的なメモリとしての役割を果たします。これによって時系列データの文脈を長く伝えることができため長期依存関係の学習が可能になります。

    画像
    LSTMのセル状態

    LSTMでは、隠れ状態よりもセル状態が中心的な役割を持ちます。むしろ、隠れ状態はセル状態の内容から計算されると考えるとわかりやすいでしょう。つまり、セル状態が主な情報の管理を担い、隠れ状態はその時点で重要な情報をセル状態から抽出して追加し、次の層やステップへと渡します。

    言い換えると、セル状態は「長期的な情報の幹」のようなもので、隠れ状態はその場で必要な情報を枝葉として取り出して活用する役割を果たします。

    では、このセル状態がどのように情報を保持したり忘却したりするのでしょうか?

    3つのゲート機構

    もう一度、LSTMの図を見てください。上部に3つの「ゲート」があります。

    画像

    LSTMでは、これら3つのゲート機構のそれぞれがセル状態の制御に関わっています。

    忘却ゲート(Forget Gate)

    忘却ゲートは、不要な情報をセル状態から取り除きます。過去の情報のうち、現在の文脈で不要と判断されるものを忘れる役割を果たします。

    画像
    忘却ゲート

    黄色い箱で表現されている忘却ゲートはニューラルネットワークです。独自の重みWfW_fとバイアスbf\boldsymbol{b}_fがあります。また、活性化には、シグモイド関数σ\sigmaを使っています。

    この忘却ゲートへの入力は、以前の隠れ状態ht−1\boldsymbol{h}_{t-1}と現在の入力xt\boldsymbol{x}_tです。この2つの情報は一つのベクトル[ht−1,xt]\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right]として縦に連結され、忘却ゲートへ渡されます。

    図で、xt\boldsymbol{x}_tからの矢印がht−1\boldsymbol{h}_{t-1}からの線に交わっているところが「ベクトルの連結」を意味します。

    また、重みもWxW_xとWhW_hなどに分けないで、一つの重み(例:忘却ゲートのWfW_f)として表記しています。行列を横に連結しているだけで計算は同じです。

    忘却ゲートでは、以下の処理が行われます。

    1. 線形変換
      ベクトル[ht−1,xt]\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right]に重みWfW_fとバイアス bf\boldsymbol{b}_fを用いて線形変換を行います。この変換によって、ベクトルのサイズは、セル状態のサイズと一致します。

    2. 活性化関数
      シグモイド関数σ\sigmaを適用し、各要素を0から1の値に変換します。重要な情報は1に近い値を取り、不要な情報は0に近い値を取ります。この値は、セル状態の各要素をどれほど忘却するか(または保持するか)を決定します。

    3. セル状態の更新
      忘却ゲートの出力ft\boldsymbol{f}_tと以前のセル状態ct−1\boldsymbol{c}_{t-1}の要素ごとの積(⨂)を計算し、新しいセル状態を形成します。この処理により、不要な情報は0に近づき削除され、重要な情報だけが保持されます。

    忘却ゲートの動作を数式で表すと以下の通りです。

    ft=σ(Wf⋅[ht−1,xt]+bf)\boldsymbol{f}_t = \sigma\left(W_f \cdot \left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right] + \boldsymbol{b}_f\right)

    このベクトルft\boldsymbol{f}_tと以前のセル状態ct−1\boldsymbol{c}_{t-1}の要素ごとの積(⨂)を計算することで、新しいセル状態を形成します。

    なお、忘却ゲートが適切に機能するために、誤差逆伝播による学習を通じて、重みWfW_fとバイアスbf\boldsymbol{b}_f​が最適化されます。これにより、過去の隠れ状態ht−1\boldsymbol{h}_{t-1}と現在の入力xt\boldsymbol{x}_t​から適切な情報を忘れる(または保持する)能力が最適化されます。

    よって、長期記憶が必要なタスクを通じて学習を進めることで、モデルは長期記憶をより効果的に活用できるようになります。

    まとめると、忘却ゲートは過去の情報から不要な部分を取り除き、重要な要素を保持する役割を担います。これがLSTMにおける長期記憶を保持する原理です。

    入力ゲート(Input Gate)

    入力ゲートは、新しい情報の中から重要な部分を選び出し、セル状態に取り込む役割を担います。

    画像
    入力ゲートとtanhネットワーク

    入力ゲートの説明の前に、まずはtanh⁡\tanhと書いてある黄色い箱に注目してください。これはそれ自体がニューラルネットワークです。独自の重みWcW_cとバイアスbc\boldsymbol{b}_cを持ちます。なお、活性化はtanh⁡\tanhになっています。

    これをRNNの構造と比べます。

    画像
    RNNの構造

    RNNでは、tanh⁡\tanhを含むニューラルネットワークが[ht−1,xt]\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right]を、次の隠れ状態ht\boldsymbol{h}_t​へと変換しています。

    ht=tanh⁡(Wh⋅[ht−1,xt]+bh)\boldsymbol{h}_t = \tanh\left(W_h \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right] + \boldsymbol{b}_h\right)

    図を比較すると、LSTMから3つのゲートを除いたらRNNの構造に近いのがわかります。ただし、LSTMはtanh⁡\tanhネットワークからの出力をセル状態へ取り込みます。つまり、tanh⁡\tanhネットワークは、セル状態に取り込む前の中間状態c~t\tilde{\boldsymbol{c}}_tを計算しています。

    c~t=tanh⁡(Wc⋅[ht−1,xt]+bc)\tilde{\boldsymbol{c}}_t = \tanh\left(W_c \cdot \left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right] + \boldsymbol{b}_c\right)

    そして、中間状態c~t\tilde{\boldsymbol{c}}_tの情報をどうセル状態へ取り込むのかを決めるのが黄色い箱とσ\sigmaで表現されている入力ゲートです。

    画像
    入力ゲートとtanhネットワーク

    入力ゲートもニューラルネットワークであり、独自の重みWiW_iとバイアスbi\boldsymbol{b}_iがあります。また、活性化には、シグモイド関数σ\sigmaを使っています。この入力ゲートへの入力は、[ht−1,xt]\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right]であり、忘却ゲートと同じように各要素に対して0から1の値を出力し、入力情報を調節します。

    it=σ(Wi⋅[ht−1,xt]+bi)\boldsymbol{i}_t = \sigma\left(W_i \cdot \left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right] + \boldsymbol{b}_i\right)

    計算式自体は忘却ゲートと同じですが、もちろんパラメータは異なります。入力ゲートとしての役割は、新しい情報の中からどの情報をセル状態に追加するべきかを決めることであり、そのように誤差逆伝播による学習を通じて最適化されます。

    忘却ゲートと入力ゲートをまとめると、セル状態は以下のように更新されます。

    ct=ft⊗ct−1+it⊗c~t\boldsymbol{c}_t = \boldsymbol{f}_t \otimes \boldsymbol{c}_{t-1} + \boldsymbol{i}_t \otimes \tilde{\boldsymbol{c}}_t

    ここに再帰の構造が見られます。つまり、以前のセル状態ct−1\boldsymbol{c}_{t-1}と新しい入力c~t\tilde{\boldsymbol{c}}_tが新しいセル状態ct\boldsymbol{c}_tへ貢献しています。その際に、忘却ゲートが不要な情報を捨て、入力ゲートが重要な情報を取り込んでいるわけです。

    RNNでは、計算された情報がそのまま次のステップに渡されます。これはRNNの仕組み上避けられません。そのため、一旦重要でないと判断された情報を後から取り戻すことができず、ステップを重ねるにつれ古い重要な情報が失われ、後で必要となる情報を長期に渡って保持できないという問題が生じました。

    一方で、LSTMはセル状態と隠れ状態を分けることでこの問題を克服します。LSTMでは入力ゲートを通じて情報を選別し、重要な情報だけをセル状態に取り込む仕組みになっています。このプロセスも誤差逆伝播によって学習され、最適化されます。

    そして、忘却ゲートによって葬り去られない限り、セル状態の情報は保持され続けます。つまり、LSTMは情報に優劣をつけて保存し、それを長期にわたって活用することが可能です。

    そして、更新されたセル状態から、現在の出力に必要な情報を選び取るのが出力ゲートの役割です。

    出力ゲート(Output Gate)

    忘却ゲートと入力ゲート同様に、出力ゲートの入力は以前の隠れ状態ht−1\boldsymbol{h}_{t-1}と現在の入力xt\boldsymbol{x}_tです。この情報に基づき、出力ゲートはどの情報を次の隠れ状態ht\boldsymbol{h}_t​として取り出すべきかを決定します。

    数式で表すと、出力ゲートの動作は以下の通りです。

    ot=σ(Wo⋅[ht−1,xt]+bo)\boldsymbol{o}_t = \sigma\left(W_o \cdot \left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_t\right] + \boldsymbol{b}_o \right)

    ここで、ot\boldsymbol{o}_t​は出力ゲートの出力で、各要素が0から1の範囲になっています。この値が、セル状態からどの程度の情報を取り出すかの優劣を決めます。

    これも数式的には他のゲートと全く同じ形です。もちろんパラメータが異なるので出力ゲートとしての役割を果たすように最適化されます。

    画像
    出力ゲートとセル状態の活性化

    なお、ピンク色で示されたtanh⁡\tanhは、セル状態ct\boldsymbol{c}_tに非線形変換を加える単純な活性化関数であり、ニューラルネットワークではありません。これによって、セル状態のスケールが整えられます。つまり、元来のRNNで通常使われる隠れ状態と同じ範囲(−1から+1)の値で情報が抽出されます。

    こうしてみると、この部分は元来のRNNが隠れ状態を出力する部分に相当することがわかります。LSTMではセル状態と隠れ状態を分離していますが、このtanh⁡\tanhによる出力がRNNと形式上の一貫性を保っています。そのため、LSTMはRNNと比較しやすく、応用によっては両者を入れ替えることも比較的容易になっています。

    隠れ状態ht\boldsymbol{h}_tは、出力ゲートの出力ot\boldsymbol{o}_tとセル状態の活性化結果tanh⁡(ct)\tanh(\boldsymbol{c}_t)を要素ごとに掛け合わせて計算されます。

    ht=ot⊗tanh⁡(ct)\boldsymbol{h}_t = \boldsymbol{o}_t \otimes \tanh(\boldsymbol{c}_t)

    このように、出力ゲートは「以前の隠れ状態と現在の入力から判断」し、セル状態に蓄積された情報から「現在の出力に必要な要素を動的に選び出す」役割を果たしています。

    問題は解決されたのか

    長期の依存関係の学習が困難

    3つのゲートの仕組みにより、LSTMは長期的な情報を効果的に保持しつつ、次の層やステップへの出力を文脈に応じて柔軟に生成することが可能になっています。

    ただし、完全に問題が解決されたわけではありません。例えば、言語モデルとしてシーケンスを処理する際、離れたトークン同士の関係をより直接的に計算するには、トランスフォーマーのように再帰を使わず、自己アテンション機構を活用した構造がより適しています。

    それでも、明確な時間的順序(時系列データや音声信号など)を持つデータでは、逐次的な構造を持つLSTMの方が直感的に使いやすいかもしれません。

    また、短いシーケンスでは、トランスフォーマーのような自己注意機構が必要ない可能性もあります。

    さらに、計算リソースが限られていたり、学習用のデータセットが少ない場合は、LSTMがより有効な可能性があります。

    勾配消失と勾配爆発

    LSTMはセル状態を線形的に伝播させる仕組みを持ちます。下図からもわかりますが、セル状態の更新は線形の計算(掛け算と足し算)だけになっています。

    画像
    LSTMのセル状態

    つまり、シグモイド関数やtanh⁡\tanh関数といった非線形活性化がセル状態に直接積み重ならない設計により、勾配消失を軽減し、長期的な依存関係をより安定して学習できます。これが元来のRNNにおける活性化の積み重ねと大きく異なっています。

    画像
    RNNの隠れ状態

    ただし、LSTMも再帰構造を持つため、非常に長いシーケンスや複雑な依存関係では限界があり、トランスフォーマーのように再帰を使わず直接的に依存関係を計算する仕組みの方が学習が効果的になる可能性があります。

    おまけ

    LSTMの図の書き方は色々とあります。こんな図を見たことがあるかもしれません。

    画像
    LSTM:3つのゲートネットワークとセル

    興味がある方は、こちらの記事に解説を書いたので参考にしてください。

    次回予告

    次回は、LSTMに比べてゲート数が少なく構造がシンプルで計算効率が高いGRU(Gated Recurrent Unit)を紹介します。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ