
GPT-3を読む⑨訓練プロセス
前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の訓練データセットについての解説を読みました。
今回は、訓練プロセス(2.3 Training Process)のセクションを読みます。
モデルサイズ別の訓練設定
勾配ノイズとバッチサイズの関係
論文の「訓練プロセス」(2.3 Training Process)は次のように始まります。
スケール則などの論文([KMH+ 20, MKAT18])で示されているように、大きなモデルには大きなバッチサイズを使いますが、学習率は小さくします。私たちは、訓練中に勾配のノイズの大きさによって、バッチサイズを選択しました[MKAT18]。表2.1に、使用したパラメータ設定を示しています。
As found in [KMH + 20, MKAT18], larger models can typically use a larger batch size, but require a smaller learning rate. We measure the gradient noise scale during training and use it to guide our choice of batch size [MKAT18]. Table 2.1 shows the parameter settings we used.
ここで引用されている論文は以下の2つです。
最初の論文はスケール則に関するもので、これまで何度か登場しました。2つ目の論文は「勾配のノイズの大きさ」によってバッチサイズを決めるというものです。
我々は、単純で経験的な統計である勾配のノイズの大きさ(つまり、訓練データセット全体に対する勾配のシグナルとノイズの比)を測定し、それによって最も大きく効率的なバッチサイズをさまざまなタスクに対して近似的に予測できることを示します。
We measure a simple empirical statistic, the gradient noise scale (essentially a measure of the signal-to-noise ratio of gradient across training examples), and show that it can approximately predict the largest efficient batch size for a wide range of tasks.
「勾配のシグナルとノイズの比」におけるシグナルとは、例えば勾配が大きい場合はそのシグナルは強いということです。勾配は「その方向にパラメータを調節せよ!」とシグナルを送っているわけです。その一方で、パラメータの更新ごとに勾配があちこちに変化する場合はノイズが高いと捉えます。この場合は、学習率が高すぎると必ずしも損失を最小化する方向に向かうとは限りません。
これについては、同論文の図2がうまく表現しています。

オレンジ色の軌道は、ノイズが少ないケースを示しており、学習率が大きくとられているため、勾配の示す方向に従って効率よく最小点へ到達しています。青色の軌道は、ノイズが大きいケースを示しており、勾配の向きがあちこちに変わるため学習率が小さくとられています。
なお、勾配は、バッチ内のサンプルの勾配の平均として計算されるため、バッチサイズが大きいほど統計的にノイズが平均化されます。
勾配はランダムなバッチに基づく確率変数であり、その期待値(ランダムなバッチ全体の平均)は真の勾配です。
The gradient is now a random variable whose expected value (averaged over random batches) is given by the true gradient.
これはあくまでも期待値が「真の勾配」であるということで、必ずそうなるわけではありません。これは中心極限定理によって独立なサンプルの平均がガウス分布に近づくことと関係します。さらに、その分散はサンプルサイズに逆比例して減少します。つまり、バッチサイズが増加することで、バッチ内の勾配の平均が真の勾配に近づく確率が高くなります。
ただし、バッチサイズを大きくしすぎると、実際には訓練がうまくいかないことを経験された方も多いでしょう。例えば、画像モデルなどでは数十から数百の画像をバッチに含めるのが通常です。これは、勾配にはある程度のノイズがあったほうが損失関数の谷(局所最適解)から抜け出しやすいなど効果があり確率的勾配降下法(SGD)などによる最適化の特性でもあります。
また、大きすぎるバッチサイズでは一回の勾配の計算に時間がかかり過ぎて全体の訓練時間が増加することが問題となります。これは、GPUのメモリ制限や分散環境での通信コストなどが大きく影響します。
GPT-3の論文に戻ると「大きなモデルには大きなバッチサイズを使います」と書かれています。また、「…が、学習率は小さくします」と書かれています。なぜ、バッチサイズを増やしたのに学習率を小さくするのでしょうか。
GPT-3のモデルサイズとバッチサイズ
これまでの議論を振り返ると「バッチサイズが大きいと勾配のノイズが減るので学習率をより大きくすることができる」という理論が述べられました。
ただし、これはパラメータ数が一定であると考えた場合です。
パラメータの数が増えると学習率がモデル全体の更新に与える影響も大きくなるなるので、学習率を抑えて急激なモデルの更新を防ぐ必要があります。
つまり、モデルを大きくするには、なるべくノイズの少ない勾配を使うためバッチサイズを増やすと同時に、学習率は下げる必要があります。
論文の表2.1は、モデルサイズ、バッチサイズ、学習率の設定を示しています。

ミリオン(100万)単位のバッチサイズとなっていますが、これはトークン数でカウントされています。全てのモデルは、3000億個のトークンで訓練されました。
以前に読んだ「アーキテクチャのパラメータ設定」ではコンテキスト・ウィンドウが2048トークンとなっていたので、仮にそれが固定長のシーケンスの入力のトークン数だとすると、バッチサイズが100万(1M)トークンだと約488のシーケンスがバッチに含まれていることになります。
この表からも、大きなモデルでは、バッチサイズを増やしながらも学習率を下げる必要があるのが確認できます。
ノイズの少ない勾配を使用するためにバッチサイズを増加。
モデルの安定性を確保するために学習率を小さく設定。
行列とネットワークの並列化
大きなモデルを訓練するにはパワフルなハードウェアが必要です。
メモリ不足に陥らずに大きなモデルを訓練するために、「行列の乗算の並列化」と「ネットワーク層の並列化」を組み合わせて使用しました。すべてのモデルは、Microsoftが提供する高帯域幅クラスターの一部であるV100 GPU上で訓練されました。
To train the larger models without running out of memory, we use a mixture of model parallelism within each matrix multiply and model parallelism across the layers of the network. All models were trained on V100 GPU’s on part of a high-bandwidth cluster provided by Microsoft.
この頃からOpenAIはMicrosoftと仲良くしていたようですね。
行列の乗算の並列化とは要するにGPUを使うということです。そのためのV100はNVIDIAのTesla V100を指します。ディープラーニングや科学計算などの高性能計算(HPC: High-Performance Computing)向けに設計された GPU です。
行列の乗算の並列化とは、要するにGPUを使って計算を高速化することを指します。このために利用されているのはNVIDIAのTesla V100で、ディープラーニングや科学計算などの高性能計算(HPC: High-Performance Computing)向けに設計された GPU です。
なお、高帯域幅クラスターとは、複数の計算機(GPUやCPUなど)が、高速でデータをやり取りできるネットワークで接続された、高性能な分散計算環境を指します。
ネットワーク層の並列化とは、ニューラルネットワークの層(layer)を複数のデバイス(GPUやTPUなど)に分割して分散処理する手法を指します。大規模モデルのメモリ負荷を分散し、効率的な計算を可能にしますが、デバイス間の通信コストや負荷分散の課題があります。
全モデルに共通の訓練設定
最後に、GPT-3の訓練の設定が付録Bにあると述べています。
訓練プロセスとハイパーパラメータ設定の詳細は、付録Bに記載されています。
Details of the training process and hyperparameter settings are described in Appendix B.
ここからは付録Bの内容を読んでいきます。
GPT-3 のすべてのバージョンを訓練では、Adam オプティマイザを使用しました。パラメータは 、、 です。勾配のグローバルノルムを 1.0 にクリップし、学習率はコサイン減衰を用いて、2600億トークンにわたって元の値の 10% まで減少させます(2600億トークン以降は、元の学習率の 10% の値で訓練を継続します)。なお、最初の3億7500万トークンにわたって、学習率を線形にウォームアップしました。
To train all versions of GPT-3, we use Adam with , , and , we clip the global norm of the gradient at 1.0, and we use cosine decay for learning rate down to 10% of its value, over 260 billion tokens (after 260 billion tokens, training continues at 10% of the original learning rate). There is a linear LR warmup over the first 375 million tokens.
いろいろと書いてあるので、一つずつ見ていきます。
オプティマイザ
オプティマイザはAdamで、設定は以下の通りです。
Adamについてはこちらで解説しています。
勾配のクリッピング
勾配のグローバルノルムを 1.0 にクリップします。
これは、勾配のL2ノルムが1を超えた場合、全ての勾配を一定の比率で縮小することです。勾配爆発を防ぐのが目的です。
学習率のスケジュール
学習率のスケジュールの一部にコサイン減衰(Cosine Decay)を使います。これは学習率がコサイン曲線に従って滑らかに減少するというものです。
コサイン減衰のアイデアのもとは、論文「SGDR: Stochastic Gradient Descent with Warm Restarts」(SGDR: ウォームリスタートによる確率的勾配降下法)で提案されました。
これはPyTorchで実装されており、以下の式はPyTorchのページからの引用です。OpenAIが実際に使ったのとは異なるかもしれませんが、アプローチは同じのはずです。
は、ステップにおける学習率
は訓練の進行率(は現在のステップ、は総ステップ数)
はからに線形に変化しますが、は、からへコサインの曲線に従って滑らかに減少します。

よって、コサイン減衰では、学習率が最大値から最小値へと減少するのですが、その学習率の減少速度は以下のように変化します:
最初: ゆっくり(小さな変化から始まる)
途中: はやく(ほぼ線形に近い変化で急激に減少)
最後: ゆっくり(小さな変化に戻る)
よって、初期段階では大きな学習率で探索し、後半では小さな学習率で安定した微調整を行うのに適しています。
見方を変えると、コサイン減衰は、基本的には「学習率を線形的に減少させる」目的を持ちながらも、「初期の大きな学習率」(探索期)と「終盤の小さな学習率」(微調整期)の変化をゆっくりにすることで、訓練の効率性と安定性を高める手法です。
以下は、GPT-3が使ったコサイン減衰を含めた学習率のスケジュール設定です。
最初の3億7500万トークンは、学習率を線形にウォームアップ(上昇させる)
次の2600億トークンにわたって元の値の 10% まで減少(コサイン減衰)
2600億トークン以降は、元の学習率の 10% の値で訓練を継続
よって、最初は3億7500万トークンで線形に学習率をモデルサイズによる設定まで上げるます。全体の訓練データが3000億トークンであることを考えると割と急激に学習率を最大に持っていくのがわかります。そこからは、ゆっくり2600億トークンをかけてコサイン減衰のもとで最大学習率の10%まで減少させています。これは訓練の大部分の時間に値します。そして、残りの396億トークンぐらいは学習率を最大値の10%の値に固定し微調整を延長するというものです。
バッチサイズのスケジュール
付録Bは続いてバッチサイズのスケジュールについても述べています。
また、訓練初期の 40億~120億トークンにわたって、バッチサイズを小さい値(32k トークン)から最終的な値まで線形に増加させます(モデルサイズに応じて変化)。
We also gradually increase the batch size linearly from a small value (32k tokens) to the full value over the first 4-12 billion tokens of training, depending on the model size.
バッチサイズを、訓練初期の 40億~120億トークンにわたって、小さい値(32k トークン)から最終的な値まで線形に増加させます。最終バッチサイズは、モデルサイズに応じて変化します。
つまり、訓練初期に小さいバッチサイズを使用し、徐々に大きくしていくというわけです。これは、訓練初期の段階では、モデルのパラメータがまだランダムな状態に近いため、小さいバッチサイズを使用することで、勾配にある程度の「ノイズ」を含ませ、損失関数の広い領域を探索する目的があると考えられます。
逆に、初期の頃から大きなバッチサイズを使ってしまうと、勾配は安定しても探索が十分でないために損失関数の谷(局所最適解)にハマって抜けられなくなる可能性があります。
あくまでイメージですが、損失関数の形状を「山と谷が入り混じった地形」と考えるとわかりやすいです。
小さいバッチサイズを使うと勾配によりノイズが含まれるために、ランダムな探索を行うようになり、山や谷を跳び越えながら広い範囲を探索できます。
大きなバッチサイズだと、ノイズが少ないため、現在の地形の滑らかな方向に従って進みます。この行き先がグローバルな最適解付近ならば良いのですが、そうでないと局所最適解にはまって抜けられなくなるかもしれません。
特に、初期段階で狭い範囲で動きが制限されるとこの問題が生じやすいと考えられます。
つまり、初期段階では、バッチサイズを小さく設定することで、勾配にノイズを含ませ、損失関数の広範囲を探索する役割を果たします。そして、訓練が進むにつれて、バッチサイズを徐々に増加させることで、ノイズを減少させ、より安定した勾配を用いてモデルを最適化します。
訓練データのサンプリング
データは過学習を最小限に抑えるために、各エポックが終了するまで置換なしでサンプリングされます。
Data are sampled without replacement during training (until an epoch boundary is reached) to minimize overfiting. All models use weight decay of 0.1 to provide a small amount of regularization [LH17].
データは過学習を最小限に抑えるために、各エポックが終了するまで置換なしでサンプリングされます。つまり、一度サンプルされた訓練データは、同じエポック内で再び使われることがありません。
GPT-3のような大規模モデルでは、訓練データが非常に多い一方で、モデルの学習能力も非常に高いため、過学習が起きやすいといえます。それだけモデルの過学習に対して気を使っていることなのでしょう。
これは機械学習では普通に行われることなので、わざわぜ言及する必要もなさそうです。しかし、「過学習を最小限に抑えるために」とあるので、特定のデータポイントが過剰に学習される(過学習)リスクを減少させていることを強調したかったのかもしれません。
もう一つの理由としては、一つのエポックで全ての訓練データを使い切る可能性が低いことが考えられます。この場合は、エポック内で同じデータを複数回使うことが学習機会の損失(学習効率の低下)にもつながるので「置換なしでサンプリング」によってデータの多様性を確保することが重要になります。
コンテキスト・ウィンドウの扱い
訓練の計算効率を上げるためにコンテキスト・ウィンドウをフルに使ったと論文は述べています。
訓練中は常に、フルのコンテキスト・ウィンドウトークンを使用してシーケンスを学習します。文書がトークンより短い場合は、計算効率を向上させるために複数の文書を1つのシーケンスにまとめます。
During training we always train on sequences of the full token context window, packing multiple documents into a single sequence when documents are shorter than , in order to increase computational efficiency.
コンテキストウィンドウ(トークン)をフルに使用するというのは、トークンが埋まっていない部分(余白)を特別なトークンやゼロ埋めなどで処理せず、常に2048トークンの情報量を確保するという意味です。
これにより、訓練中の計算リソースを無駄なく活用できます。
そのため、文書がトークンより短い場合は、複数の文書を1つのシーケンスにまとめるとも述べています。
複数の文書を含むシーケンスには特別なマスキングは行われませんが、シーケンス内の文書は特殊な「文末トークン」(end of text token)で区切られます。これにより、言語モデルは文末トークンによって区切られた文脈が無関係であることを推測できるようになります。この方法により、特定のシーケンス専用のマスキングを必要とせずに効率的な訓練が可能となっています。
Sequences with multiple documents are not masked in any special way but instead documents within a sequence are delimited with a special end of text token, giving the language model the information necessary to infer that context separated by the end of text token is unrelated. This allows for efficient training without need for any special sequence-specific masking.
一つのシーケンスにまとめる際に、複数のシーケンスは異なる文章からランダムに選ばれるので、文脈的なつながりありません。よって、それらのシーケンスを区切るために特別な「文末トークン」を使います。
GPT-3は次のトークンを予測するタスクで学習するので、文末トークンの前の文章を考慮せず、文末トークンの後の文書の文脈から次のトークンを生成することを学びます。つまり、「文末トークン」に遭遇したら「ここから新しい、無関係な文脈が始まる」と認識するようになるわけです。
これは、特殊なマスキング処理を必要とせずに効率的な訓練を可能にするための工夫です。単純にランダムに選んだシーケンスがコンテキスト・ウィンドウを埋めるまで「文末トークン」でつなげていくだけなので簡単です。よって、文末トークンより前の情報は無視され予測には使われませんが、計算効率などを考えるとこの手法が採用されたのでしょう。
他にも、コンテキスト・ウィンドウを完全に埋められるシーケンスを探すことも考えられますが、おそらく処理時間的な効率が良くなかったのでしょう。
次回予告
今回は訓練の設定などが詳しく書かれており、この頃のOpenAIは今よりはずっとオープンだったのが伝わりました。推測の域を出ないことがいくつかありましたが、それでもかなり訓練の設定は理解できました。
次回は、「モデル評価」(2.4 Evaluation)を読み進めます。
お楽しみに!