メインコンテンツへスキップ
見出し画像

GPT-1を読む⑤事前2

    前回は、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」の「3 Framework」(セクション3「フレームワーク」)を読み始めました。

    特に、セクション3.1「教師なしの事前学習」で登場する目的関数を中心に解説しました。今回は、この続きで登場するトランスフォーマーのデコーダなどを中心に読み進めていきます。

    ここでやっと下図の左側の仕組みについて触れることになります。

    画像
    論文図1

    次に来るトークンを予測する事前学習の続きを読み進めます。

    事前学習の目的関数のおさらい

    前回の内容を簡単におさらいします。

    論文は、「標準的な言語モデルの目的は、次の尤度ゆうどを最大化することです」と述べ、最大化するべき目的関数を次のように数学で表現しています。

    L1(U)=∑ilog⁡P(ui∣ui−k,…,ui−1;Θ)L_1(\mathcal{U}) = \sum\limits_i \log P(u_i | u_{i-k}, \dots, u_{i-1}; \Theta)

    ここで、U={u1,…,un}\mathcal{U} = \{u_1, \dots, u_n\}は、ラベルなしのトークン・コーパスです。Θ\Thetaはモデルの全てのパラメータ(重み、バイアス、など)を一つの記号で表したものです。

    L1(U)L_1(\mathcal{U})は対数尤度(log likelihood)です。論文では単に尤度(likelihood)と呼んでいます。この尤度を最大化するのが言語モデルの標準的な目的だというわけです。

    尤度とは、ある観測データが特定のモデルとパラメータのもとでどれだけ起こりやすいか(確率が高いか)を示す尺度です。つまり、モデル(とパラメータ)が観測されたデータをどれだけ「尤もらしい」かを評価していることになります。観測されたデータは、事実なのでノイズを含んでいるとしても大方それを尤もらしいと評価できる(つまりは高い確率を予測できる)モデルがより正確なモデルであると言えます。

    よって、GPTの事前学習は、上述の目的関数(尤度)を最大化する最尤法に基づいています。

    つまり、次の単語を予測するタスクを通じて、与えられたシーケンスに対する条件付き確率を最大化するように訓練されます。これにより、モデルが大量のラベルなし(教師なし)コーパスから効果的に学習します。

    そして、そのような学習に最適と考えられたのがトランスフォーマーのデコーダでした。なので、トランスフォーマーのデコーダについても簡単におさらいします。

    トランスフォーマーのデコーダ

    オリジナルのトランスフォーマーは、機械翻訳モデルでした。それは、下図のようにエンコーダ・デコーダの構造を持っています。

    画像
    論文「Attention Is All You Need」の図1

    上図を簡略化すると、下図に示すように「入力文章から文脈を抽出する」エンコーダと、その文脈に基づいて「翻訳された出力文章を生成する」デコーダとに別れています。

    画像

    機械翻訳では、入力文章と出力文章は異なる自然言語になります。例えば、フランス語から英語への翻訳といった具合です。よって、ここでの文脈とは、フランス語の文章からの内容はある種の中間言語に変換したものと捉えることができます。それに基づいてデコーダが出力文章へと変換しているわけです。

    また、翻訳の際に、入力と出力ではトークン数が異なる可能性があります。

    画像
    入力と出力ではトークン数は異なる

    しかし、デコーダは、次のような自己回帰(auto-regressive)の構造を持つので問題なく対処できます。

    まず、デコーダは、入力文章からの文脈と同時に、文章の始まりを意味するトークン<SOS>(Start Of Sentence)を受け取ります。

    画像
    デコーダへの最初の入力は文脈と<SOS>

    なお、<SOS>を<BOS>(Beginning Of Sentence)と表記する場合もあります。

    つまり、入力文章の全体を受け取って、「翻訳文章の出力となるはじめのトークンを予測してください」と指令を受けているわけです。

    予測された最初のトークンが、デコーダの入力として後尾に追加されます。

    画像
    <SOS>と前回の出力をデコーダに入力

    すると、デコーダは、<SOS>と前回の出力を基に次のトークンを予測します。

    画像
    再び前回の出力を入力に追加して次のトークンを予測

    これが繰り返されます。<EOS>(End Of Sentence)が予測されると、その文章は終わりとなります。よって、出力文章の長さは可変となります。

    このように、常にもっとも確率の高いトークンをデコーダへの入力に回す手法をグリーディ法(Greedy Method、貪欲法)と呼びます。他にも複数の文章の可能性を探るビームサーチ(beam search)という手法もあります。

    つまり、デコーダは与えられた文脈を基に、翻訳文章の続きを予測していることになります。

    画像

    一旦、翻訳というタスクを忘れて考えると、トランスフォーマーのデコーダは、与えられた文章の続きを考える能力を学習できることがわかります。

    よって、ある程度の文脈を与えれば、同じ言語でその続きを予測できるモデルを訓練することが出来そうです。さらに、豊富なコーパスがあれば事前学習のデータも十分まかなえます。

    では、このような背景を頭の片隅に置いてGPT-1の構造と事前学習に関して続きを読んでいきましょう。

    GPT-1の構造と事前学習

    トランスフォーマーのバリアント

    論文のセクション3.1「教師なしの事前学習」の続きを読みます。

    私たちの実験では、言語モデルとしてマルチレイヤーのトランスフォーマーデコーダ [34] を使用しており、これはトランスフォーマー [62] のバリアント(多少変更したもの)です。

    In our experiments, we use a multi-layer Transformer decoder [34] for the language model, which is a variant of the transformer [62].

    language_understanding_paper.pdf (openai.com)

    GPT(GPT-1とその後のバージョン)は言語生成モデルであり、トランスフォーマーのデコーダをベースにしています。

    ここでマルチレイヤーとは、デコーダの中に複数の層(ブロック)があることを意味します。下図に「12x」とあるのは、12段に積み重ねられたブロックがあるということです。

    画像
    論文図1(左)

    なお、このデコーダ図をオリジナルのトランスフォーマーのデコーダ部分の図と比べると真ん中の多頭アテンション(Multi-Head Attention)が無いのが分かります。

    画像
    論文「Attention Is All You Need」の図1(右)

    これは、GPTは機械翻訳のモデルではないので入力文章の文脈を必要としないからです。そのため、GPTはトランスフォーマーのバリアント(多少変更したもの)となります。その中身は、簡略化されたトランスフォーマーのデコーダ・ブロックです。

    論文では、これをトランスフォーマー・ブロックと読んでいます。

    トランスフォーマー・ブロック

    論文の続きを読みます。

    このモデルは、入力文脈トークン(のシーケンス)に対して多頭自己アテンション機構を適用し、その後、位置ごとのフィードフォワード層を通して、ターゲットのトークンの出力分布を生成します:

     h0=UWe+Wp\quad\ h_0 = UW_e + W_p
     hl=transformer_block(hl), ∀l∈[1,n]\quad\ h_l = \text{transformer\_block}(h_l), \ \forall l \in [1, n]
    P(u)=softmax(hnWe⊤)P(u) = \text{softmax}(h_n W_e^\top)

    ここで、U=(u−k,…,u−1)U = (u_{-k}, \dots, u_{-1}) はトークンの文脈ベクトルであり、nn は層の数、WeW_e はトークン埋め込み行列、そして WpW_p は位置埋め込み行列です。

    This model applies a multi-headed self-attention operation over the input context tokens followed by position-wise feedforward layers to produce an output distribution over target tokens:

     h0=UWe+Wp\quad\ h_0 = UW_e + W_p
     hl=transformer_block(hl), ∀l∈[1,n]\quad\ h_l = \text{transformer\_block}(h_l), \ \forall l \in [1, n]
    P(u)=softmax(hnWe⊤)P(u) = \text{softmax}(h_n W_e^\top)

    where U=(u−k,…,u−1)U = (u_{-k}, \dots, u_{-1}) is the context vector of tokens, n is the number of layers, WeW_e is the token embedding matrix, and WpW_p is the position embedding matrix.

    language_understanding_paper.pdf (openai.com)

    いろんなことを簡潔に述べているので、一つずつ解説します。なお、これらの数式はあくまでも数学的なモデルの説明であって、実装は必ずしも同じ構造を持つとは限りませんし、もっと効率的にプログラムされています。

    テキストと位置の埋め込み

    上式の一番最初にあるh0h_0を説明します。これは、下図の一番下の「テキストと位置の埋め込み」(Text & Position Embed)と書かれているところに相当します。

    画像
    論文図1(左)

    まず、U=(u−k,…,u−1)U = (u_{-k}, \dots, u_{-1})は、条件として与えられた文章のトークンのシーケンスです。これを論文では、「入力文脈トークン」や「トークンの文脈ベクトル」と呼んでいます。

    「トークンの文脈ベクトル」UUと埋め込みベクトルの行列WeW_eとの積を取ることで、トークンの埋め込みベクトル(のシーケンス)に変換しています。

    論文では、UU、WeW_e、WpW_pの内部における、ベクトルの具体的な配列については述べられていません。しかし、上式から推測すると次のような配列になっていると考えられます。

    まず、トークンuiu_iは、一つの要素だけが1で他は0になっているワンホット・エンコーディング(one-hot encoding)されたベクトルだと推測されます。これを行ベクトル(横ベクトル)として上から下へと並べたものが入力トークンのシーケンスとなります。

    U=[u−k⋮u−1]=[⋯1⋯⋯⋯⋮⋯⋯⋯1⋯]U = \begin{bmatrix} u_{-k} \\ \vdots \\ u_{-1} \end{bmatrix} = \begin{bmatrix} \cdots 1 \cdots \cdots \cdots \\ \vdots \\ \cdots \cdots \cdots 1 \cdots \\ \end{bmatrix}

    これに対して、WeW_eは埋め込みベクトルを行ベクトル(横ベクトル)として上から下へと並べたものです。

    We=[−埋め込みベクトル−−埋め込みベクトル−⋮−埋め込みベクトル−]W_e = \begin{bmatrix} - 埋め込みベクトル - \\ - 埋め込みベクトル - \\ \vdots \\ - 埋め込みベクトル - \end{bmatrix}

    話が抽象的なので、小さい具体例を使います。まず、条件文章からの入力シーケンスが、次の3つのトークンからなるとします。

    U=(u−3,u−2,u−1)U = (u_{-3}, u_{-2}, u_{-1})

    これに続いて生成されるトークンは、u0,u1,u2,…u_0, u_1, u_2, \dotsとなるわけです。仮に、各トークンが次のようなone-hotエンコーディングになっているとします。

    u−3=[00100]u−2=[01000]u−1=[00001]u_{-3} = \begin{bmatrix} 0 & 0 & 1 & 0 & 0 \end{bmatrix} \\ u_{-2} = \begin{bmatrix} 0 & 1 & 0 & 0 & 0 \end{bmatrix} \\ u_{-1} = \begin{bmatrix} 0 & 0 & 0 & 0 & 1 \end{bmatrix} \\

    これをUUとしてまとめると次のようになります。

    U=[u−3u−2u−1]=[001000100000001]U = \begin{bmatrix} u_{-3} \\ u_{-2} \\ u_{-1} \end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ \end{bmatrix}

    ここでは、使えるトークンの総数は5個しかありません。よって、対応する埋め込み行列WeW_eは次のようになります。

    We=[−埋め込みベクトル1−−埋め込みベクトル2−−埋め込みベクトル3−−埋め込みベクトル4−−埋め込みベクトル5−]W_e = \begin{bmatrix} - 埋め込みベクトル 1 - \\ - 埋め込みベクトル 2 - \\ - 埋め込みベクトル 3 - \\ - 埋め込みベクトル 4 - \\ - 埋め込みベクトル 5 - \end{bmatrix}

    各埋め込みベクトルは、実数のベクトルですがここではその次元は問いません。たくさんの数値が横に並んでいると想像してください。

    以上より、UWeUW_eは次のように計算されます。

    UWe= [u−3u−2u−1]We= [001000100000001][−埋め込みベクトル1−−埋め込みベクトル2−−埋め込みベクトル3−−埋め込みベクトル4−−埋め込みベクトル5−]=[−埋め込みベクトル3−−埋め込みベクトル2−−埋め込みベクトル5−]\begin{aligned} UW_e &= \begin{bmatrix} u_{-3} \\ u_{-2} \\ u_{-1} \end{bmatrix} W_e \\ &= \begin{bmatrix} 0 & 0 & 1 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ \end{bmatrix}\begin{bmatrix} - 埋め込みベクトル 1 - \\ - 埋め込みベクトル 2 - \\ - 埋め込みベクトル 3 - \\ - 埋め込みベクトル 4 - \\ - 埋め込みベクトル 5- \end{bmatrix} \\ &= \begin{bmatrix} - 埋め込みベクトル 3 - \\ - 埋め込みベクトル 2 - \\ - 埋め込みベクトル 5 - \end{bmatrix} \end{aligned}

    よって、入力トークンのシーケンスが埋め込みベクトルのシーケンスとなりました。

    このような操作は、トークンに対応する埋め込みベクトルを引き出しているので、実際のプログラムでは、ワンホット・エンコーディングのようにメモリや計算量を浪費することはせずに、単にトークンの番号から埋め込みベクトルを呼び出すディクショナリや配列のようなデータ構造を使います。

    同様に、WpW_pは位置の埋め込みを行ベクトル(横ベクトル)として上から下へと並べたものです。よって、以下の式により、入力トークンのシーケンスが埋め込みベクトルに変換され、かつ位置の埋め込みが加算されます。

    h0=UWe+Wph_0 = UW_e + W_p

    マスクされた多頭自己アテンション

    もう一度図を見てください。ここまで話してきたのは「テキストと位置の埋め込み」(Text & Position Embed)の部分でh0h_0がこれに相当します。

    画像
    論文図1(左)

    その上の水色の箱がトランスフォーマー・ブロック(transformer block)で、これが12個積み重なっています。これは、オリジナルのトランスフォーマーのデコーダを簡略化した構造を持ちます。

    その中身の最初は、マスクされた多頭自己アテンション(Masked Multi Self Attention)があります。「マスクされた」というのは、訓練の時に次に続くトークンがアテンションの計算に影響しないように隠しているという意味です。

    マスクされる位置に対してソフトマックスの入力を大きな負の値にすることでソフトマックスが計算する重みの値がほぼゼロになることで、最終的なバリューの加重平均から除外されるのがマスクをする仕組みとなっています。

    トランスフォーマーの論文を読む⑥多頭

    ここでもトランスフォーマーのデコーダの仕組みがうまく利用されています。

    位置ごとのフィードフォワード

    次に、レイヤー正規化、位置ごとのフィードフォワード、レイヤー正規化と続きます。これもオリジナルのトランスフォーマーと同様です。

    画像
    論文図1(左)

    水色の箱は、数式として次のように表現されています。

    hl=transformer_block(hl−1) ∀l∈[1,n]h_l = \text{transformer\_block}(h_{l-1}) \ \forall l \in [1, n]

    ここで、llは、11からnnとなっており、トランスフォーマー・ブロックがnn個あることを意味します。上図に従えば、n=12n=12となります。

    このトランスフォーマー・ブロックに以前からの出力を渡して、次々と処理をしていきます。

    h0→transformer_block(h0)→h1h1→transformer_block(h1)→h2⋮hn−1→transformer_block(hn−1)→hn\begin{aligned} h_0 &\to \text{transformer\_block}(h_0) \quad \to h_1 \\ h_1 &\to \text{transformer\_block}(h_1) \quad \to h_2 \\ \vdots \\ h_{n-1} &\to \text{transformer\_block}(h_{n-1}) \to h_n \\ \end{aligned}

    これもオリジナルのトランスフォーマーのデコーダと同じアプローチです。

    次のトークンの予想分布

    複数のトランスフォーマー・ブロックによる処理の後に次のトークンの確率を計算することを次の式が表現しています。

    P(u)=softmax(hnWe⊤)P(u) = \text{softmax}(h_n W_e^\top)

    この段階でhnh_nは、nn個のトランスフォーマー・ブロックによる処理を経たシーケンス全体です。また、We⊤W_e^\topは、埋め込み行列を転置したものです。

    この二つの積をsoftmaxに通すことで確率分布を求めることになるのですが、これをそのまま文字通り受け入れると、全てのトークンの確率分布を計算していることになります。しかし、目的関数によると予測する必要があるのは次のトークンだけです。よって、実装ではもっと効率良い処理が行われているはずですが、詳細はこの論文からは得られないので、ここでは数学モデルとして見ていきます。

    まず、与えられたシーケンスに対して、GPTは次のトークンを予測します。つまり、「犬が河岸を」という入力文章が与えられたときに、次に続くのが「歩く」だとします。そのような例文をテキストコーパスから得たという意味で、モデルの事前学習ではこの「歩く」の尤度を最も高くするように訓練します。

    これを少し見方を変えると「犬が河岸を」から「が河岸を歩く」を予測すると捉えられます。つまり、入力文章の各トークンに対して次のトークンを予測しているという意味です。

     仮に、「犬が河岸を」がトークンとして、「犬」、「が」、「河岸」、「を」のシーケンスだとします。各トークンは、h0=UWe+Wph_0 = UW_e + W_pの処理によってベクトル化されます。そして、nn個のトランスフォーマー・ブロックによる処理を経て、出力されたhnh_nが次のような行列になっているとします。

    hn=[−予測された埋め込みベクトル1−−予測された埋め込みベクトル2−−予測された埋め込みベクトル3−−予測された埋め込みベクトル4−]h_n = \begin{bmatrix} - 予測された埋め込みベクトル1 - \\ - 予測された埋め込みベクトル2 - \\ - 予測された埋め込みベクトル3 - \\ - 予測された埋め込みベクトル4 - \\ \end{bmatrix}

    この4つの埋め込みベクトルは、それぞれ次のトークンを予測したものです。これと埋め込み行列を転置したWe⊤W_e^\topの積を計算します。

    hnWe⊤= [−予測された埋め込みベクトル1−−予測された埋め込みベクトル2−−予測された埋め込みベクトル3−−予測された埋め込みベクトル4−][∣∣∣∣∣埋  埋 埋 埋 埋め  め め め め込  込 込 込 込み  み み み みベ  ベ ベ ベ ベク  ク ク ク クト  ト ト ト トル  ル ル ル ル12345∣∣∣∣∣]=[s11s12s13s14s15s21s22s23s24s25s31s32s33s34s35s41s42s43s44s45]\begin{aligned} &h_n W_e^\top \\ &=  \begin{bmatrix} - 予測された埋め込みベクトル1 - \\ - 予測された埋め込みベクトル2 - \\ - 予測された埋め込みベクトル3 - \\ - 予測された埋め込みベクトル4 - \\ \end{bmatrix} \begin{bmatrix} | & | & | & | & | \\ 埋 & 埋 & 埋 & 埋 & 埋 \\ め & め & め & め & め \\ 込 & 込 & 込 & 込 & 込 \\ み & み & み & み & み \\ ベ & ベ & ベ & ベ & ベ \\ ク & ク & ク & ク & ク \\ ト & ト & ト & ト & ト \\ ル & ル & ル & ル & ル \\ 1 & 2 & 3 & 4 & 5 \\ | & | & | & | & | \\ \end{bmatrix} \\ &= \begin{bmatrix} s_{11} & s_{12} & s_{13} & s_{14} & s_{15} \\ s_{21} & s_{22} & s_{23} & s_{24} & s_{25} \\ s_{31} & s_{32} & s_{33} & s_{34} & s_{35} \\ s_{41} & s_{42} & s_{43} & s_{44} & s_{45} \\ \end{bmatrix} \end{aligned}

    We⊤W_e^\topは、埋め込み行列を転置しているので、埋め込みベクトルが列ベクトル(縦ベクトル)になっています。よって、上式は「予測された埋め込みベクトル」と「埋め込み行列内のすべての埋め込みベクトル」との内積を計算していることになります。

    例えば、

    • s11s_{11}は、「予測された埋め込みベクトル1」と埋め込み行列の中の「埋め込みベクトル1」との内積

    • s12s_{12}は、「予測された埋め込みベクトル1」と埋め込み行列の中の「埋め込みベクトル2」との内積

    • 以下、s13s_{13}、s14s_{14}、s15s_{15}と同様

    このように計算した内積で一番大きい値を与える「埋め込みベクトル」が「予測された埋め込みベクトル1」と一番近いので、そのインデックスが予測されたトークン(の番号)となります。

    このような計算を全ての「予測された埋め込みベクトル」に対して行うには、hnh_nとWe⊤W_e^\topの積を計算すれば良いことがわかります。これがWeW_eを転置している理由です。

    さらに、hnh_nとWe⊤W_e^\topの積の結果の各行ごとにソフトマックスを計算すれば、シーケンスの各位置において予想されたトークンの確率分布がわかります。これがsoftmax(hnWe⊤)\text{softmax}(h_n W_e^\top)の意味です。

    よって、P(u)=softmax(hnWe⊤)P(u) = \text{softmax}(h_nW_e^\top)は、全ての位置における次のトークンの確率分布を計算していることになります。しかし、実際には最後のトークンの次のトークンの予測だけわかれば良いので全体の確率分布を計算するのは効率的ではありません。上式はあくまでも数学的モデルとして理解してください。

    なお、内積が大きいほど確率が高いので、内積の結果をスコアと呼んだりします。そのため内積の結果にssという文字を使いました。また、実際にソフトマックスで確率(0から1の値)に変換しなくとも、どのトークンが予測されたかは、最大のスコアのインデックスを見ればわかります。よって、確率分布が必要なければ、ソフトマックスは必要もなく argmax などでどのトークンが最大のスコアに相当するトークンのインデックスを決めることもできます。

    以上で、セクション3.1「教師なし事前学習」が読み終わりました。

    次回予告

    次回は、次のサブセクションであるセクション3.2「教師ありファイン・チューニング」を読み進めます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ