メインコンテンツへスキップ
見出し画像

Llama 1 を読む⑤最適化と効率化

    前回は、Llama 1がどのようにしてTransformerアーキテクチャを改良したのかを見てきました。

    今回はその続きとして、Llama 1がどのようにして限られた学習資源を最大限に活かしたのか、そのための訓練の効率化に注目します。

    では、セクション2「アプローチ」の続きから「効率的な訓練のための工夫」について読み進めていきましょう。

    AdamWによる最適化

    重み減衰項を正しく扱うAdamW

    Llama 1は、最適化にAdamWを使っています。

    私たちのモデルは、AdamWオプティマイザ(Loshchilov and Hutter, 2017)を用いて学習されています。

    ハイパーパラメータは以下の通りです:β₁ = 0.9、β₂ = 0.95。

    学習率にはコサインスケジュールを使用し、最終的な学習率は最大学習率の10%になるように設定しています。

    重み減衰は0.1、勾配クリッピングは1.0としています。

    ウォームアップステップは2,000ステップで、学習率とバッチサイズはモデルのサイズに応じて調整しています(詳細は表2を参照)。

    Our models are trained using the AdamW optimizer (Loshchilov and Hutter, 2017), with the following hyper-parameters: β 1 = 0.9, β 2 = 0.95. We use a cosine learning rate schedule, such that the final learning rate is equal to 10% of the maximal learning rate. We use a weight decay of 0.1 and gradient clipping of 1.0. We use 2, 000 warmup steps, and vary the learning rate and batch size with the size of the model (see Table 2 for details).

    https://arxiv.org/abs/2302.13971

    AdamWの「W」は、重み減衰(weight decay)を指し、オリジナルのAdamにおける重み減衰項の扱い方を改善したことを意味します。より、過学習を適切に防ぐ効果があることを意図した変更です。AdamWは、多くのTransformerベースのモデルで採用されています。

    なお、AdamWについてはこちらでも解説しています。

    ハイパーパラメータの設定について

    また、論文で言及されている表2(下表)は、モデルサイズごとのハイパーパラメータの詳細があります。

    画像
    論文:表2
    • params:モデルのパラメータ数(6.7B〜65.2B)

    • dimension:トークン埋め込みと隠れ層の次元数

    • n heads:アテンションヘッドの数

    • n layers:トランスフォーマーブロックの層数

    • learning rate:最大学習率(コサインスケジュール使用)

    • batch size:バッチサイズ(トークン単位)

    • n tokens:学習に使ったトークン数(1.0T〜1.4T)

    より大規模なモデルでは、学習率(learning rate)が低くなっています。

    • 6.7B/13B:3.0e-4

    • 32.5B/65.2B:1.5e-4

    これはパラメータ数が多くなると、更新の度合いを小さくして全体的にモデルの変更が大きくなりすぎないようにする典型的な手法です。

    また、学習で使われるデータ量(n tokens)も調整されています。

    • 小型モデル(6.7B/13B):1.0Tトークン

    • 大型モデル(32.5B/65.2B):1.4Tトークン

    これは大規模モデルの方がより多くのデータを必要とすることを反映しています。

    これといって、特に変わったことはありません。

    計算資源を節約する効率的な実装

    因果的マルチヘッドアテンション

    推論時の効率化を最優先するLlama 1ですが、学習速度を上げるための工夫も行なっています。

    私たちは、モデルの学習速度を向上させるために最適化を行っています。

    まず、メモリ使用量と実行時間を削減するために、因果的マルチヘッドアテンション(the causal multi-head attention)の効率的な実装を使用しています。

    この実装は xformersライブラリ に含まれており、Rabe and Staats(2021)に着想を得ており、Daoら(2022)の手法に基づいた逆伝播を利用しています。

    この効率化は、アテンション重みを保存せず、言語モデリングにおける因果的性質によりマスクされるキー/クエリのスコアを計算しないことで実現されています。

    We make several optimizations to improve the training speed of our models. First, we use an efficient implementation of the causal multi-head attention to reduce memory usage and runtime. This implementation, available in the xformers library, 2 is inspired by Rabe and Staats (2021) and uses the backward from Dao et al. (2022). This is achieved by not storing the attention weights and not computing the key/query scores that are masked due to the causal nature of the language modeling task.

    https://arxiv.org/abs/2302.13971

    Transformerのアテンション機構では、シークエンス内のすべてのトークン間の関係を計算します。これは並列処理されますが、トークン数が増えるほとその二乗に応じて計算量が増加します。つまり、トークン数nnならば、計算のオーダーがO(n2)O(n^2)になります。

    一方で、GPTやLlama 1のようにデコーダをベースとする言語モデルでは、学習中に未来の単語を見てはいけません。かといって推論時のように逐次処理にしてしまうと学習に時間がかかります。

    よって、オリジナルのTransformerでは「マスクされたマルチヘッド・アテンション」という仕組みが考案され、アテンションの処理の後に見てはいけない部分がアテンションのスコアに反映されないようにマスクしています。

    この手法では、まずアテンションのスコア(キーとクエリの内積)を計算します。これがO(n2)O(n^2)の計算量になります。

    この後に、未来トークンに対応する位置のスコアを負の無限大(実際には大きな値)に設定します。

    すると、その後のSoftmaxの処理でそのスコアが 0 になる(=無視される)ため、並列処理を維持したまま、未来を「見ない」仕組みが実現されます。

    このように過去からの因果関係だけを使うという意味で、このマスクを適用したアテンションのことを「因果的マルチヘッドアテンション」とも呼びます。

    画像
    デコーダでは、各トークンが未来のトークンを参照しないようにマスクを適用する。
    パディング(<PAD>)トークンは損失計算時に無視される。

    しかし、この処理は以下の問題があります。

    • 無駄な計算が多い(未来のスコアも一度は計算してから捨てている)

    • メモリも非効率(大きなアテンションのマトリクスを一度持つ)

    よって、長いプロンプトの処理には向いていません。

    よって、Llama 1では「そもそも最初から未来のスコアを計算しない」ように実装を工夫することで、メモリや計算をさらに削減しています。

    効率的な xformers ライブラリ

    xFormersライブラリは、Metaが開発した、高速・メモリ効率に特化したTransformer用のライブラリです。その中に、因果的マルチヘッドアテンションの効率的な実装が含まれています。

    以下の2つの研究に基づいています。

    Self-Attention Does Not Need O(n2)O(n^2) Memory Rabe and Staats(2021)
    これは、n×nn \times nのメモリを使用しないで、1×n1 \times n(1行分)のメモリを一つのトークンのアテンションの計算に使って、順番に同じメモリを使い回して、すべてのトークンに対するアテンションを計算するというものです。

    要するに、softmaxをn×nn \times nのすべてが処理されるまで待つ必要はないということです。理論上の計算量(O(n2)O(n^2))は従来の手法と変わりませんが、アテンション重みをすべて保持しないことで、メモリ使用量は大幅に削減されます。

    ただし、ハードウェアの特性(並列処理など)を利用するために実際には数個のトークンをまとめて処理します。よって、メモリの消費量の削減と処理スピードのバランスをはかっています。

    このメモリ使用量の効率化に加えて、ハードウェアの特性を活かしたのが、次の研究です。

    FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness Daoら(2022)
    GPU上の共有メモリに収まるサイズにアテンションの行列計算を分割して、それぞれ並列に処理します。例えば、k<nk < n行ごとに計算します。

    また、内積、softmaxなどの処理をGPUのCUDAカーネルとして一つにまとめて計算するためにデータの入出力(IO)が少なくなっています。

    CUDAカーネルは、NVIDIA GPU上で高効率に並列実行される関数で、大規模データの高速処理に適しています。ユーザーは主にC++とCUDA言語を用いて独自のカーネルを記述できます。これらの関数は多数のスレッドで同時に実行され、GPUの並列計算能力を最大限に活用します。

    https://ja.wikipedia.org/wiki/CUDA

    よって、最終的な出力以外はすべて非常に高速な共有メモリ上で計算されます。

    ただし、シーケンス長や特徴量次元が非常に大きい場合は、1ブロックをさらに小さく分割して共有メモリに収める工夫が必要になることもあります。

    このようにFlashAttentionの速さは計算速度そのものよりも「読み書きの回数が少ないこと」(IO-awareness)を重視してメモリと処理の効率化を図っています。

    なお、これらのアプローチは、アテンションの出力精度は従来と変わらず、メモリ効率と並列性能を両立できるため、大規模言語モデルで標準的に採用されるようになりました。

    チェックポイント機構の効率化

    通常のディープラーニングの訓練モードでは、モデルが出力を計算する際に、後の誤差逆伝播で必要となる活性化の値を保存しておきます。ただし、これはモデルの容量やバッチサイズによっては大量のメモリを必要とします。

    よって、PyTorchではチェックポイント機構(torch.utils.checkpoint)を提供しており、チェックポイントされた層からの活性化の値をメモリに残さないようにすることができます。つまり、計算効率を犠牲にしてメモリ効率を上げる仕組みです。

    しかし、チェックポイント機構によって計算コストが高い線形層を含むアテンションの計算を複数回行うことになるのでは、せっかくのFlashAttentionが無駄になってしましいます。

    そこで、Llama 1ではチェックポイント機構を利用しつつも、より細かい制御を行うことで活性化の再計算を削減しています。

    学習効率をさらに高めるために、チェックポイント機構を用いることで本来は誤差逆伝播中に再計算が必要となる活性化の量を削減しました。

    より正確に言うと、計算コストの高いもの(例えば線形層の出力など)を保存するようにしています。

    これを実現するために、PyTorchの自動微分(autograd)を使わずに、トランスフォーマー層(デコーダ・ブロック)の誤差逆伝播処理を独自に実装しました。

    To further improve training efficiency, we reduced the amount of activations that are recomputed during the backward pass with checkpointing. More precisely, we save the activations that are expensive to compute, such as the outputs of linear layers. This is achieved by manually implementing the backward function for the transformer layers, instead of relying on the PyTorch autograd.

    https://arxiv.org/abs/2302.13971

    FlashAttentionのようなカーネルでは、内積やsoftmaxなどをひとつのカーネルでまとめて計算することでメモリ効率を高めています。よって、その中の線形層の出力だけをメモリに残すといった処理を標準のPyTorchの自動微分(autograd)によって実現するのは難しいです。

    PyTorchのautogradでは、内部でどの中間値(活性化)を保持するかはフレームワーク側が決定するので、FlashAttentionの一部の値だけ保存するのは不可能です。さらに、FlashAttentionのカーネルはC++/CUDAで書かれており、Python側からはその内部に介入できません。

    よって、誤差逆伝播処理を独自に実装することで、チェックポイント機構と組み合わせつつ、計算コストの高いものはメモリに保存し、他は再計算するなどの細かい制御を自分たちで行うようにしたということです。

    モデル並列化とシーケンス並列化

    FlashAttentionなどの最適化があったとしても、一台のPCだけではメモリの制約があるので大規模言語モデルの学習を行うことは効率的ではありません。

    さらにモデル並列化やシーケンス並列化の活用が必要です。

    この最適化の恩恵を十分に受けるために、Korthikantiら 2022で説明されているように、モデル並列化やシーケンス並列化を活用してモデルのメモリ使用量を削減する必要があります。

    さらに、「活性化の計算」と「GPU間の通信」(all_reduce操作など)を可能な限りオーバーラップ(同時並行)させるようにもしています。

    To fully benefit from this optimization, we need to reduce the memory usage of the model by using model and sequence parallelism, as described by Korthikanti et al. (2022). Moreover, we also overlap the computation of activations and the communication between GPUs over the network (due to all_reduce operations) as much as possible.

    https://arxiv.org/abs/2302.13971

    モデル並列化は、ひとつの大きなニューラルネットワーク(モデル)を複数のGPUやデバイスに分割して並列に計算する手法です。

    シーケンス並列化は、入力シーケンス(例:文章やトークン列)を複数のGPUに分割して並列に処理する手法です。

    この2つの並列化によって、通信のオーバーヘッドは発生するものの、モデル並列化やシーケンス並列化を行うことで、各GPUのメモリ使用量を抑えつつ、大規模言語モデルの効率的な分散学習が可能になります。

    なお、all_reduce操作とは、複数のGPUやPCなどのノードからの計算結果を集約(reduce)し、その結果をすべてのノードに配布する通信操作のことです。

    例えば複数のGPUが持つデータの総和(SUM)や最大値(MAX)などを計算し、その結果をすべてのGPUに共有します。全ノードで同じパラメータ更新を行うために使われます。

    分散によって1台あたりのメモリ使用量を減らすのと同時に、タイミングよく「活性化の計算」と「GPU間の通信」を行う必要があります。これは活性化の計算の後に他のノードからの結果を待つ時間を減らすという意味で重要です。

    論文では言及されていませんが、代表的なツール・ライブラリとしてNVIDIAのNCCL(NVIDIA Collective Communications Library)があります。

    GPU間の高速な通信(all_reduceなどの操作)を最適化するためのライブラリです。PyTorchやTensorFlowなどの分散学習機能(DistributedDataParallelなど)でも内部的にNCCLが使われています。

    最後に、Llama 1の学習の実行速度が報告されています。

    65Bパラメータのモデルを訓練する際、私たちのコードは、
    80GBメモリ搭載のA100 GPU 2048台で、
    1GPUあたり約380トークン/秒を処理します。

    つまり、1.4兆トークンのデータセットで訓練するのに約21日ほどです。

    When training a 65B-parameter model, our code processes around 380 tokens/sec/GPU on 2048 A100 GPU with 80GB of RAM. This means that training over our dataset containing 1.4T tokens takes approximately 21 days.

    https://arxiv.org/abs/2302.13971

    ただし、Llama 1の論文には学習速度(トークン処理速度など)の他モデルとの直接比較は記載されていません。

    おそらく、当時の同規模の言語モデル(Chinchillaなど)と同じかやや速いぐらいでしょう。しかし、「A100 GPU 2048台」あったらなんでもできそうですね。

    個人の感想です

    次回予告

    次回は、セクション3「主な結果」(Main results)を読み進めます。

    お楽しみに!


     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ