メインコンテンツへスキップ
見出し画像

GPT-3を読む⑦モデル構造

    前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の「アプローチ」の始まりの部分を読みました。

    今回は、「モデルとアーキテクチャ」(2.1 Model and Architectures)を読み、モデル構造などがGPT-2からどう変わったのかを理解しましょう。

    GPT-3とGPT-2の共通点

    GPT-3のモデルは、基本的にGPT-2と同じです。

    私たちはGPT-2 [RWC+19] と同じモデルとアーキテクチャを使用しますが、修正された初期化、事前正規化、およびその中で説明されている可逆(reversible)なトークン化を含みます。

    We use the same model and architecture as GPT-2 [RWC + 19], including the modified initialization, pre-normalization, and reversible tokenization described therein, …

    https://arxiv.org/abs/2005.14165

    GPT-3とGPT-2の共通点として以下が挙げられています。

    • 修正された初期化

    • 事前正規化

    • 可逆なトークン化

    修正された初期化

    修正された初期化は、GPT-2の「モデル」のセクションで述べられています。各層のパラメータ初期化の時に1/N1/\sqrt{N}でスケールすることです。ここでのNNは、各層における累計の残差接続(Residual Connection)の数を表します。

    モデルの深さ(層の数)に比例して残差接続が積み重なるため、パラメータの初期値のスケールを調整することで、勾配の爆発や消失を防ぎ、学習の安定性を確保します。

    事前正規化

    事前正規化は、レイヤー正規化(Layer Normalization)をアテンション機構やフィードフォワードの入力部分に配置することを指します。これによって、訓練が安定することがでわかっていたので(論文)、GPT-2で採用されました。

    画像

    左の事後レイヤー正規化では、正規化が残差接続(加算)の後に行われるため、正規化が勾配のスケールを変換してしまい、勾配の流れが不安定になることが実験的に確認されています。この不安定さにより、深いモデルでの学習が困難になる場合があります。

    右の事前レイヤー正規化では、正規化が残差接続(加算)の前に行われるため、正規化が勾配に影響を与えません。その結果、勾配がスムーズに次の層に伝わるだけでなく、元の入力情報が正規化によって歪められることなく次の層に渡されます。この仕組みは、深いモデルでの学習を安定させる効果があります。

    残差結合自体の勾配は常に1であるため、深い層でも勾配が減衰せずに伝播するため、勾配消失を防ぐ効果があります。

    可逆なトークン化なトークン化

    可逆なトークン化なトークン化とはBPE(バイト対符号化)のことです。GPT-2では「可逆」ということは強調していませんでしたが、GPT-2の「入力表現」のセクションで未知語への対応としてBPEが導入されています。

    従来の単語レベルのトークン化では、未知語を特別なトークン(例:<UNK>、Unknown)に設定するため不可逆です。つまり、トークン化の後に元の文字がわからなくなります。

    その一方で、BPEでは文字単位(UTF-8)から始まり、頻度が多い文字を連結しトークン化することで「文字、部分単語、単語」など異なるレベルによるトークン化が可能であり、可逆になっています。

    GPT-3とGPT-2の相違点

    スパース・アテンション

    論文は、GPT-3とGPT-2の相違点に関して次のように続けます。

    ただし、トランスフォーマーレイヤーにおいて、スパース・トランスフォーマー(Sparse Transformer)[CGRS19] に似たアプローチを採用しました。トランスフォーマーの各層において、全体的なアテンション(dense attention)と局所的になアテンション(locally banded sparse attention)を交互に適用するパターンを使用しています。

    … with the exception that we use alternating dense and locally banded sparse attention patterns in the layers of the transformer, similar to the Sparse Transformer [CGRS19].

    https://arxiv.org/pdf/2005.14165

    この背景として、オリジナルのトランスフォーマーは長いシーケンス処理の計算コストが問題となることがあります。これは、GPT-1やGPT-2にも当はまります。

    なぜなら、シーケンスの長さ(トークン数)nnに対して、アテンション機構ではO(n2)O(n^2)の計算量が必要だからです。これは、nn個のトークンがそれぞれからnn個のトークへのアテンションを計算するためです。つまり、アテンションの重み行列がn×nn \times nになることを踏まえると容易に理解できます。

    未来のトークンはマスクされるので重み行列の対角線より上の半分は0になりますが、計算のオーダーは変わりません。

    これに対して、スパース・トランスフォーマーは、計算量をO(nn)O(n\sqrt{n})にまで削減する手法「スパース・アテンション」を提案しました。各トークンに対して、その近傍(前後n\sqrt{n}個程度)のトークンに限定してアテンションを計算するため計算量が大幅に減少します。これは、アテンションの重み行列がスパース(対角線の近傍以外は0になる)ことを想像してください。よって、長いシーケンスを効率的に処理する上で非常に有効です。

    ただし、全ての層で、完全なスパース・アテンションにしているわけではなく、「全体的なアテンション(dense attention)と局所的になアテンション(locally banded sparse attention)を交互に適用するパターンを使用しています」とのことです。具体的に、どのようなパターンを採用しているかについては詳細な説明はありません。

    要点は、スパース・アテンションを利用し計算量を減らし、長い文章にも対応できることです。

    モデルサイズのバリエーション

    GPT-2では、モデルサイズには4つのバリエーションがありました。GPT-3では、これが8つに増えています。

    機械学習(ML)の性能がモデルサイズに依存するかを調べるため、私たちは1億2500万パラメータから1750億パラメータにわたる8つの異なるサイズのモデルをトレーニングしました。最後のモデルがGPT-3と呼ばれるものです。

    To study the dependence of ML performance on model size, we train 8 different sizes of model, ranging over three orders of magnitude from 125 million parameters to 175 billion parameters, with the last being the model we call GPT-3.

    https://arxiv.org/abs/2005.14165

    以下は、8つのモデル設定です。最も大容量なのが、GPT-3と呼ばれます。

    画像

    これをGPT-2とパラメータで比べると、最初の4つがザックリに似た設定です。

    画像

    よって、GPT-3は、GPT-2をパラメータ数において拡張していったのがわかります。この目的は、GPT-2でも見られたスケール則を幅広い範囲のパラメータ数を使って検証することです。

    以前の研究 [KMH+20] によると、十分な訓練データがあれば、パラメータ数がべき乗で増加すると検証損失(validation loss)がおおよそスムーズに下がっていく(スケーリングする)ことが示唆されています。多様なサイズのモデルを訓練することで、検証損失や下流の言語タスクに対してこの仮説を検証することが可能になります。

    Previous work [KMH + 20] suggests that with enough training data, scaling of validation loss should be approximately a smooth power law as a function of size; training models of many different sizes allows us to test this hypothesis both for validation loss and for downstream language tasks.

    https://arxiv.org/abs/2005.14165

    ここでパラメータ数がべき乗で増加するというのは、イメージが湧きにくいかもしれません。この論文の先のセクションからの図を(ちょっと先走りして)引用します。

    画像
    論文:図3.1

    このグラフは検証損失(Validation Loss)を縦軸に、横軸は訓練における計算量を意味します。曲線の線の色が紫色から黄色へと変化すると、パラメータ数がべき乗で増えていきます。例えば、105,106,107,108,…10^5, 10^6, 10^7, 10^8, \ldotsといった具合です。

    紫色では、どんなに訓練しても検証損失は高止まりしていますが、黄色の検証損失はだいぶ低くなっています。各設定(パラメータ数)における検証損失の最低値を見るとほぼ直線的に下がっているのがわかります。

    これが「パラメータ数がべき乗で増加すると検証損失(validation loss)がおおよそスムーズに下がっていく(スケーリングする)ことが示唆されています」の意味です。ただし、この図は他の論文からの引用です。これについてはまた「実験結果」のセクションで他の結果も含めて触れることにします。

    なお、GPT-3に関しては、この段階ではまだ「多様なサイズのモデルを訓練することで、検証損失や下流の言語タスクに対してこの仮説を検証することが可能になります」としか言っていません。

    8つのモデルの設定

    アーキテクチャのパラメータ設定

    8つのモデルはパラメータ数が異なるだけではありません。

    表2.1には、8つのモデルのサイズとアーキテクチャが示されています。nparamsn_\text{params}は訓練可能なパラメータの総数、nlayersn_\text{layers}はレイヤーの総数、dmodeld_\text{model}は各ボトルネック層のユニット数を表します(フィードフォワード層のサイズは常にボトルネック層の4倍で、dff=4∗dmodeld_\text{ff} = 4 * d_\text{model} です)。また、dheadd_\text{head}は各アテンションヘッドの次元数を示します。すべてのモデルはnctx=2048n_\text{ctx} = 2048トークンのコンテキスト・ウィンドウを使用します。

    Table 2.1 shows the sizes and architectures of our 8 models. Here nparamsn_\text{params} is the total number of trainable parameters, nlayersn_\text{layers} is the total number of layers, dmodeld_\text{model} is the number of units in each bottleneck layer (we always have the feedforward layer four times the size of the bottleneck layer, dff=4∗dmodeld_\text{ff} = 4 ∗ d_\text{model}), and dheadd_\text{head} is the dimension of each attention head. All models use a context window of nctx=2048n_\text{ctx} = 2048 tokens.  

    https://arxiv.org/abs/2005.14165
    画像
    • nparamsn_\text{params}:モデルのパラメータ数

    • nlayersn_\text{layers}:モデルのレイヤー数。これは、いわゆるブロック数のことで、一つのブロックにはアテンション機構やフィードフォワードが含まれます。

    • dmodeld_\text{model}:埋め込みベクトルの次元数であり、トークンごとの特徴表現を保持する次元数を意味します。ボトルネックと呼ぶのは、フィードフォワードで一時的に埋め込みベクトルを4倍の次元(dff=4∗dmodeld_\text{ff} = 4 ∗ d_\text{model})にするため、他の層はまるでボトルの首(細くなった部分)みたいだからです。

    • dffd_\text{ff}:フィードフォワードで一時的に埋め込みが4倍になった時のサイズです。

    • dheadd_\text{head}:マルチヘッド・アテンションの一つのヘッドで使われるベクトルのサイズです。nheadsn_\text{heads}がヘッドの数なので、dmodel=nheads×dheadd_\text{model} = n_\text{heads} \times d_\text{head}となります。

    ただし、よく見ると、dmodeld_\text{model}の値が計算と合わないモデルが2つあります。

    • GPT-3 XL:nheads×dhead=24×128=3072n_\text{heads} \times d_\text{head} = 24 \times128 = 3072がdmodel=2048d_\text{model} = 2048​と一致しません。

    • GPT-3 13B:nheads×dhead=40×128=5120n_\text{heads} \times d_\text{head} = 40 \times 128 = 5120がdmodel=5140d_\text{model} = 5140と一致しません。

    これに関しては、書き間違いだという意見もありますが、真偽はわかりません。

    特に、GPT-3 XLではnheads=16n_\text{heads} = 16ではないかと感じます。まわりの設定と比べてもより自然な気がします。

    いずれにせよ、GPT-3のクローンを作るのが目的ではなく、論文を理解したいだけなので問題はないでしょう。よって、深追いはしません。

    個人の感想です

    バッチサイズと学習率の関係

    全体的な傾向として、パラメータ数の増加に合わせて、バッチサイズも大きくなっています。

    画像

    これは、大規模なモデルでは、パラメータ数が膨大になるため、勾配の推定にノイズが入りやすくなることと関連しています。バッチサイズを増やすことで、勾配がさまざまな訓練データから推定された平均となり、ノイズなどによる急激な変化が生じにくくなります。

    バッチサイズを大きくすると学習率をある程度は大きくできるというのが一般的な考え方です。ただし、これはパラメータ数が一定の条件での理屈です。上記の8つのモデルでは、パラメータ数が大幅に増加されるので、むしろ学習率(Learning Rate)を減少させています。

    これは、各パラメータに対する勾配の変化は小さくとも、パラメータ数の量が増えれば、モデル全体に与える影響が大きくなるからです。よって、パラメータ数の増加に合わせて学習率を減少させる必要があります。学習率が高すぎると、大きな更新が生じることで最適化が不安定になり学習が失敗するリスクが高まります。

    以上より、パラメータ数の増加に合わせて、バッチサイズが大きくなり、学習率は小さくなっています。

    コンテキスト・ウィンドウ

    すべてのモデルにおいて、コンテキスト・ウィンドウはnctx=2048n_\text{ctx} = 2048トークンだと述べられています。

    これは、次のトークンを生成するために利用できる直前のトークン数のことです。プロンプトの最大長のことで「指示文、例文、生成済みのテキスト」などを含みます。また、これらのトークンの合計数が 2048 を超える場合、それ以前の古い部分のトークンは無視されます。

    また、「コンテキスト・ウィンドウ」のことを「コンテキスト・サイズ」とも言います。「コンテキスト」は文脈と訳せるので、文脈を与えるためのシーケンスの長さとなります。

    GPT-2のコンテキスト・ウィンドウは、1024トークンだったので、GPT-3はその2倍になっています。

    2024年12月現在、以下のコンテキスト・ウィンドウが知られています。
    GPT-4o       :   128,000 トークン
    Claude 3.5 Sonnet:  200,000 トークン
    Gemini 1.5 Pro   :2,097,152 トークン

    4年の月日を感じさせます

    GPUの有効活用

    モデルの容量が増えるにつれ、GPUを有効活用することが重要となってきました。

    モデルは、データ転送を最小限に抑えるため、深さ方向と幅方向の両方に沿ってGPU間で分割されます。それぞれのモデルの設定は、計算効率とGPU間の負荷分散に基づいて選ばれています。以前の研究 [KMH+20] によると、検証損失は、これらのパラメータが合理的な範囲内であれば強くは影響されないと示唆されています。

    We partition the model across GPUs along both the depth and width dimension in order to minimize data-transfer between nodes. The precise architectural parameters for each model are chosen based on computational efficiency and load-balancing in the layout of models across GPU’s. Previous work [KMH + 20] suggests that validation loss is not strongly sensitive to these parameters within a reasonably broad range.

    https://arxiv.org/abs/2005.14165

    従来は、モデルを複数のGPUに分割する際に、層ごとに分割していました。例えば、層1から10までをGPU1に、層11から20をGPU2に、といった具合です。つまり、各GPUはモデルの一部を「深さの方向に沿って」GPU間で分割しました。

    しかし、モデルが巨大化すると層自体を分割する必要があります。これが「幅方向に沿って」GPU間で分割するという意味です。より多くのGPUで並列処理を行うことが可能となります。

    つまり、深さと幅の両方の次元でGPU全体にモデルを分割することにより、大規模なニューラルネットワークモデルを効率的に学習させることができます。

    画像

    GPTシリーズのアーキテクチャは、トランスフォーマーのデコーダをベースにしており、マルチヘッド・アテンションやフィードフォワードの部分は、独立した計算に分けることができます。

    例えば、各アテンションヘッドを異なるGPUで計算し、全ヘッドの結果を集約して次の層に渡すなど。また、フィードフォワードネットはトークンごとに独立しているので分割できます。特に、中間層の次元が大きい(dmodeld_\text{model}の4倍に膨らむ)ため、効果的です。

    また、以前の研究 [KMH+20]とは、「Scaling Laws for Neural Language Models」(ニューラル言語モデルのスケール則)のことです。前述したスケール則の図も、大元はこの論文に由来します。

    この研究 ([KMH+20] で言及された内容) によると、モデル分割の具体的なパラメータ選択(どのように分割するか)については、一定の範囲内で検証損失に大きな影響を与えないことが示されています。

    そのため、計算効率やGPU間の負荷バランスに基づいて、最適な分割方法を柔軟に選択することができます。

    次回予告

    次回は、セクション「アプローチ」の学習に関する部分を読み進めます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ