メインコンテンツへスキップ
見出し画像

Llama 2を読む③事前学習の手法

    前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション1「導入」を読みました。

    今回はその続きとして、セクション2「事前学習」を読みます。

    また、Grouped-Query Attention(GQA)について前回よりも掘り下げていきます。特に、なぜ300億、700億パラメータモデルでGQAが採用されているのかなどを考察します。

    事前学習の概要

    事前学習のアプローチ

    セクション2「事前学習」は次のように始まります。

    新しいLlama 2モデル群を作成するにあたり、私たちはTouvronら(2023)で説明されている事前学習アプローチを基に、最適化された自己回帰的な(Auto-regressive)Transformerを用いましたが、性能向上のためにいくつかの変更を加えました。

    To create the new family of Llama 2 models, we began with the pretraining approach described in Touvron et al. (2023), using an optimized auto-regressive transformer, but made several changes to improve performance.

    https://arxiv.org/abs/2307.09288

    ここで述べられているTouvronら(2023)とは、Llama 1のことです。つまり、Llama 2は、Llama 1をベースして事前学習にいくつか変更を行なったということです。

    また、「自己回帰的な(Auto-regressive)Transformerモデル」という表現は、前回の「導入」でも登場しました。これは要するにオリジナルのTransformerにおけるデコーダのように、自分の予測を次の予測のための入力に追加していこことを指しています。

    この辺りは、特にLlama 1とアプローチは変わらず、膨大なテキストコーパスの文章を使った自己教師あり学習による事前学習を行うということです。

    続いて、論文はこう述べています。

    具体的には、よりロバストなデータクリーニングを実施し、データ構成を更新し、総トークン数を40%増やして学習を行い、文脈の長さ(コンテキスト長)を2倍に拡張し、大規模モデルの推論スケーラビリティを向上させるためにGrouped-Query Attention(GQA)を導入しました。表1では、新しいLlama 2モデルとLlama 1モデルの属性の比較を示しています。

    Specifically, we performed more robust data cleaning, updated our data mixes, trained on 40% more total tokens, doubled the context length, and used grouped-query attention (GQA) to improve inference scalability for our larger models. Table 1 compares the attributes of the new Llama 2 models with the Llama 1 models.

    https://arxiv.org/abs/2307.09288

    「ロバスト」(robust)という言葉は、文脈によって意味が微妙に異なり、日本語にするのが難しい言葉です。ここでは、データクリーニングに関係するので、「しっかり」とか「高品質」というイメージです。

    しかし、データクリーニングの「何をどうしっかりとやったのか」は明確ではありません。Llama 1でも「量よりも質」を上げることで学習の効率を上げたという話がありました。何でもかんでも取り込んでデータの量を多くするよりも、質の良い学習データを繰り返し使う方がモデルの性能が上がるからです。

    また、「データ構成を更新し、総トークン数を40%増やして学習を行い」とあるので、「ロバスト」なデータクリーニングなどによって質の良いデータを増やすことができたということでしょう。

    Llama 1からの変更点

    さらに、モデルが扱える文脈の長さ(コンテキスト長)を2倍に拡張したのは、より文脈を必要とする長い会話に対応するためだと考えられます。

    そして、「導入」でも語られていたGroupded-Query Attention(GQA)を使うことで計算効率が上がります。これは、より大きなモデルでも効率的に学習・推論できるようにするためです。

    下表は、Llama 1とLlama 2を比較しています。

    画像
    論文:表1

    Llama 1の330億と650億パラメータモデルから、Llama 2の340億と700億パラメータモデルへとサイズがやや大きくなっています。

    もともと、計算効率の良さを求めて単純な大規模化を避けていたLlama 1ですが、Llama 2では、なぜパラメータ数が増えているのでしょうか。この表からは、340億と700億パラメータモデルでは、GQAが使われているのがわかります。これについては、後ほど考察します。

    Tokensとは事前学習で使ったトークン数で、これも大幅に多くなっています。LRは学習率(Learning Rate)ですが、これはLlama 1と設定は同じです。

    事前学習データの構成

    拡張された学習データの構成について、論文は次のように述べています。

    私たちの学習コーパスは、新たなに取り入れたデータがあります。それは、誰でも手に入れることができるものであり、Metaの製品やサービスからのデータは含まれていません。また、大量の個人情報が含まれているサイトのデータは、可能な限り除外するよう努めました。

    Our training corpus includes a new mix of data from publicly available sources, which does not include data from Meta’s products or services. We made an effort to remove data from certain sites known to contain a high volume of personal information about private individuals.

    https://arxiv.org/abs/2307.09288

    これは、Llama 1から引き続き誰でも再現できる研究を公開するというMetaの姿勢が表れています。

    次に、データの量を増やしたことについて、こう述べています。

    学習には2兆トークンのデータを使用しました。これは性能とコストのバランスが良好であると判断したためです。また、最も真実性の高い情報源を優先的に使用(アップサンプリング)することで、モデルの知識を増やし、幻覚(ハルシネーション)の抑制を図りました。

    We trained on 2 trillion tokens of data as this provides a good performance–cost trade-off, up-sampling the most factual sources in an effort to increase knowledge and dampen hallucinations.

    https://arxiv.org/abs/2307.09288

    ただ闇雲やみくもに学習データの量を増やすのではなく、最も真実性の高い情報源(factual sources)のデータを他よりも多く学習に使う(=アップサンプリングする)ことで、知識を増やし、幻覚(hallucinations)を減らすことを目指しています。ここで「アップサンプリング」とは、特定のデータを他のデータよりも高い頻度で選んで学習させることを意味します。

    これはLlama 1でも同様でした。Wikipedia と書籍(Books)に関しては約2エポック分、繰り返し使用されていました。

    Llama 1を読む:データの「量より質」

    これによって、「モデルの知識を増やし、幻覚(ハルシネーション)の抑制」を図ったとしています。

    また、事前学習データそのものの調査も行なったとのことです。

    私たちは、ユーザーがモデルの潜在的な能力と限界をよりよく理解できるようにするため、さまざまな事前学習データの調査を行いました。調査結果はセクション4.1に記載されています。

    We performed a variety of pretraining data investigations so that users can better understand the potential capabilities and limitations of our models; results can be found in Section 4.1.

    https://arxiv.org/abs/2307.09288

    セクション4は安全性などに関する部分なので、今回の「読む方針」からは外れますが、わざわざ大きなセクションを設けており、何らかの発見はあったようです。

    事前学習の詳細

    Llama 1からの変更点

    次に論文は、アーキテクチャや事前学習の設定を解説しています。

    私たちは、Llama 1の事前学習設定とモデル構造の多くを踏襲しています。具体的には、標準的なTransformerアーキテクチャ(Vaswaniら, 2017)を用い、RMSNormによる事前正規化(Zhang and Sennrich, 2019)、SwiGLU活性化関数(Shazeer, 2020)、およびRoPE(回転位置埋め込み)(Suら, 2022)を採用しています。

    We adopt most of the pretraining setting and model architecture from Llama 1. We use the standard transformer architecture (Vaswani et al., 2017), apply pre-normalization using RMSNorm (Zhang and Sennrich, 2019), use the SwiGLU activation function (Shazeer, 2020), and rotary positional embeddings (RoPE, Su et al. 2022).

    これらのアーキテクチャに関する特徴は、Llama 1から継承されたものです。論文は次に「違い」を解説します。

    Llama 1との主なアーキテクチャ上の違いは、コンテキスト長の増加とGrouped-Query Attention(GQA)の導入です。これらの違いについての詳細は付録A.2.1に記載しており、重要性を示すためのアブレーション実験の結果も併せて紹介しています。

    The primary architectural differences from Llama 1 include increased context length and grouped-query attention (GQA). We detail in Appendix Section A.2.1 each of these differences with ablation experiments to demonstrate their importance.

    確かにこの2つ(コンテキスト長の増加とGQAの導入)は、Llama 2における新たな変更です。その違いについて、付録A.2.1に詳細があると述べています。これについては、後で触れます。

    なお、「アブレーション実験」(ablation experiments)とは、モデルを構成する要素を、意図的に1つずつ取り除き(「アブレーション」し)、その結果として全体のパフォーマンスがどう変化するかを観察する実験のことです。

    ハイパーパラメータ

    次にハイパーパラメータの設定が紹介されています。

    ハイパーパラメータについて説明します。私たちは、最適化にAdamW(Loshchilov and Hutter, 2017)を使用し、パラメータは β1=0.9,β2=0.95,eps=10−5\beta_1 = 0.9, \beta_2 = 0.95, eps = 10^{−5}と設定しました。学習率スケジュールにはコサインスケジュールを用い、ウォームアップを2000ステップ行った後、学習率をピーク値の10%まで減衰させました。また、重み減衰(weight decay)は0.1、勾配クリッピングは1.0としています。これらのハイパーパラメータを用いたLlama 2の学習損失については、図5(a)に示されています。

    Hyperparameters. We trained using the AdamW optimizer (Loshchilov and Hutter, 2017), with β1=0.9,β2=0.95,eps=10−5\beta_1 = 0.9, \beta_2 = 0.95, eps = 10^{−5} . We use a cosine learning rate schedule, with warmup of 2000 steps, and decay final learning rate down to 10% of the peak learning rate. We use a weight decay of 0.1 and gradient clipping of 1.0. Figure 5 (a) shows the training loss for Llama 2 with these hyperparameters.

    Llama 1でも使われていたAdamWをパラメータの最適化で使っています。スケジューラや重み減衰なども含め全く同じ設定です。

    事前学習の結果が下図に表示されています。

    画像
    論文:図5(損失カーブ)

    論文には「図5(a)」とありますが、一つの図しかないので間違いでしょう。

    モデルサイズが大きいほど損失が小さくなっているのが明確です。

    興味深いことに、2兆トークンの学習が終わっても、まだ損失は減り続けているようです。これは、良質なデータをもっと用意すればさらに性能が良くなる可能性を示唆しています。

    トークナイザ

    また、Llama 1と同様のトークナイザーを用いています。

    Llama 1と同じトークナイザを使用しており、これはByte Pair Encoding(BPE)アルゴリズム(Sennrichら, 2016)に基づいており、SentencePiece(Kudo and Richardson, 2018)の実装を利用しています。Llama 1と同様に、すべての数字は桁ごとに分割され、未知のUTF-8文字はバイト列に分解されます。語彙数は合計で32,000トークンです。

    We use the same tokenizer as Llama 1; it employs a bytepair encoding (BPE) algorithm (Sennrich et al., 2016) using the implementation from SentencePiece (Kudo and Richardson, 2018). As with Llama 1, we split all numbers into individual digits and use bytes to decompose unknown UTF-8 characters. The total vocabulary size is 32k tokens.

    https://arxiv.org/abs/2307.09288

    この後に、訓練で使ったNVIDIA A100や、電力消費量や炭素の放出量などが述べられていますが、ここは飛ばしていきます。

    事前学習の結果

    次に事前学習のベンチマーク結果を紹介していますが、ここも飛ばしていきます。下表では、結果をいくつかのオープンウェイト(学習済み重みが公開されている)モデルと比較しています。

    画像
    論文:表3

    こうしてみるとLlama 2の700億パラメータモデルの圧勝に見えますが、MPTとFalconはそれぞれ300億、400億が最大なので当然の結果ではあります。また、Llama 1も650億パラメータが最大であり、一見するとLlama 2は「パラメータ数だけで勝った」感があります。

    それでも、70億、130億モデルで比較すると、Llama 2の方が優っており、基本的に同じモデルでも、良質な訓練トークンを増やした効果はあったのがわかります。

    しかし、よく注意してみると、Llama 2の340億パラメータモデルは、Llama 1の330億モデルと互角(やや優勢)になっています。

    これはおそらくGQAを使ったことで処理速度は上がったが、性能はわずかに下がったということなのかもしれません。そのために少しパラメータ数を増やす必要があったのではないでしょうか。

    この時点での推測です

    この辺は、コンテキスト長を大きくしたり、GQAを導入したことがどう影響したのか興味深いところです。では、付録の「アブレーション実験」を読みましょう。

    アブレーション実験

    付録A.2.1には、Llama 1からLlama 2へのアーキテクチャの変更がどのような影響をもたらしたのかが調査されています。

    コンテキスト長の効果

    まずは、コンテキスト長(コンテキストウィンドウ)を拡張したことについて、その有用性が語られています。

    Llama 2では、コンテキストウィンドウを従来の2048トークンから4096トークンへと拡張しました。このようにコンテキストを長くすることで、モデルがより多くの情報を一度に処理できるようになり、特にチャットアプリケーションにおける長い履歴の保持や、要約タスク全般、長文ドキュメントの理解などにおいて有用性が高まります。

    We expand the context window for Llama 2 from 2048 tokens to 4096 tokens. The longer context window enables models to process more information, which is particularly useful for supporting longer histories in chat applications, various summarization tasks, and understanding longer documents.

    https://arxiv.org/abs/2307.09288

    これはその通りですね。Llama 2ではチャットにも力を入れているので、コンテキスト長の拡張は必須だったはずです。

    論文はその効果について述べています。

    表16では、コンテキスト長を2,000と4,000でそれぞれ事前学習したモデルを長文処理ベンチマークにおける性能で比較しています。両モデルは1500億トークンで学習されており、アーキテクチャとハイパーパラメータは共通で、異なるのはコンテキスト長のみです。

    その結果、平均入力長が約3.5kトークンのSCROLLS(Shahamら, 2022)では性能向上が見られ、SQuAD(Rajpurkarら, 2018)では性能の劣化は確認されませんでした。

    Table 16 compares the performance of 2k and 4k context pretraining on long-context benchmarks. Both models are trained for 150B tokens, keeping the same architecture and hyperparameters as a baseline, varying only the context length. We observe improvement on SCROLLS (Shaham et al., 2022), where the average input length is 3.5k, and no performance degradation on SQUAD (Rajpurkar et al., 2018).

    https://arxiv.org/abs/2307.09288

    コンテキスト長を2倍にして長文タスクなどで比較した結果が以下の表です。

    画像
    論文:表16

    SCROLLSは、長文自然言語処理のためのベンチマーク集です。NarrativeQA、Qasper、QuALITY、QMSum、ContractNLIといった長文向けタスクを含みます。これらにおいて、コンテキスト長を2倍にしたモデルの性能が大幅に向上しているのがわかります。

    一方で、短文系のベンチマーク(SQuAD)で性能が落ちるということもありません。よって、長文に最適化したことで短文タスクの性能が落ちるかも、という懸念を払拭しています。

    さらに、さまざまな一般的なNLPタスクで比較しています。

    また、表17では、長いコンテキスト長を持つモデルが汎用的なタスクにおいても依然として高い性能を保持していることが示されています。

    Table 17 shows that the longer context model retains strong performance on various general-purpose tasks.

    https://arxiv.org/abs/2307.09288
    画像
    論文:表17

    つまり、コンテキスト長を2倍にしても、一般的な自然言語処理タスクにおける性能はほとんど低下せず、高い汎用性を保っていることが示されています。

    ただし、コンテキスト長が2倍になっている方が全体的にやや成績が悪いようにも見えます。しかし、その差は非常に小さく、実用上は無視できる範囲にでしょう。論文では、この点については特に追求していません。

    「悪化しない限り拡張する価値がある」ということでしょう。

    MHAとMQAとGQA

    次は、GQAの効果について調査ですが、まずはMulti-Head Attention(MHA)におけるメモリコストについて述べています。

    自己回帰型デコーディングにおける標準的な手法として、シーケンス内の過去のトークンに対応するキー(K)およびバリュー(V)のペアをキャッシュすることで、アテンション計算を高速化するというものがあります。しかし、コンテキストウィンドウやバッチサイズが大きくなるにつれて、マルチヘッドアテンション(MHA)におけるKVキャッシュのメモリコストは大幅に増加します。

    A standard practice for autoregressive decoding is to cache the key (K) and value (V) pairs for the previous tokens in the sequence, speeding up attention computation. With increasing context windows or batch sizes, however, the memory costs associated with the KV cache size in multi-head attention (MHA) models grow significantly.

    https://arxiv.org/abs/2307.09288

    GPTやLlamaのような自己回帰型生成モデルは、推論(デコーディング)時の計算が、コンテキスト長に応じて大幅に増加します。これは、各トークンの出力を得るために、そのトークンが過去のすべてのトークンとアテンションを取る必要があるからです。

    しかし、毎回過去の同じトークンと再計算するのは非常に非効率です。

    そこで、過去のトークンに対応するキー(K)とバリュー(V)のベクトルをキャッシュ(保存)しておくことで、新しいトークンを処理する際に、すでに計算済みのキー(K)とバリュー(V)を再利用して高速にアテンションを計算できるようにする、という手法があると語られています。

    このキャッシュをKVキャッシュと呼んでいます。

    問題なのは、コンテキストウィンドウやバッチサイズが大きくなると、KVキャッシュのメモリ使用量が急激に膨れ上がるため、処理が困難になることです。

    特に大規模モデルでは、KVキャッシュのサイズがボトルネック(処理が遅くなる原因)となることがあり、そのような場合、キーとバリューの射影を複数のヘッド間で共有することで、性能をほとんど損なうことなく効率化することが可能です(Chowdheryら, 2022)。

    For larger models, where KV cache size becomes a bottleneck, key and value projections can be shared across multiple heads without much degradation of performance (Chowdhery et al., 2022).

    https://arxiv.org/abs/2307.09288

    このでの「射影」(projection)とは、各トークンの埋め込みベクトルをキー行列やバリュー行列によって線形変換した結果のベクトルを意味します。これを複数のアテンションヘッドで共有することで、「性能をほとんど損なうことなく」KVキャッシュのサイズを抑えることができると述べています。

    また、その方式として、Multi-Query Attention(MQA)とGrouped-Query Attention(GQA)があります。

    このときに使用できる方式としては、単一のKV射影を用いるオリジナルのMulti-Query Attention(MQA, Shazeer, 2019)や、8個のKV射影を使用するGrouped-Query Attention(GQA, Ainslieら, 2023)があります。

    Either the original multi-query format with a single KV projection (MQA, Shazeer, 2019) or a grouped-query attention variant with 8 KV projections (GQA, Ainslie et al., 2023) can be used.

    https://arxiv.org/abs/2307.09288

    MQAもGQAも、クエリ行列は各アテンションヘッドで別々になります(さもないと、ヘッドとして分ける意味がないからです)が、KVキャッシュをどう共有するかがMQAとGQAとで異なります。

    • MQA:1つのKVキャッシュをすべてのヘッドで共有

    • GQA:複数のKVキャッシュ(例えば8つなど)を、それぞれが異なるグループに属するクエリヘッド間で共有

    このため、GQAはMHAとMQAの中間くらいの性能になることが予測されます。

    論文では、MHA・MQA・GQAによる性能を比較しています。

    表18では、MQAおよびGQAの各バリアントを、MHAベースラインと比較しています。すべてのモデルは、300億パラメータモデルとして、1500億トークンで学習されています。

    GQAおよびMQAではアテンション層のパラメータ数がMHAより少なくなるため、全体のパラメータ数を揃えるためにフィードフォワード層(FFN)の中間層の次元数を増加させています。

    - MQAバリアントでは、FFNの次元数を1.33倍に
    - GQAバリアントでは、FFNの次元数を1.30倍に

    その結果、GQAバリアントは、ほとんどの評価タスクにおいてMHAベースラインと同等の性能を示し、MQAバリアントよりも平均的に良好な性能を発揮することが確認されました。

    In Table 18, we compare MQA and GQA variants with an MHA baseline. We train all models with 150B tokens while keeping a fixed 30B model size. To keep a similar overall parameter count across GQA and MQA, we increase the dimension of the feed-forward layers to compensate for the reduction in the attention layers. For the MQA variant, we increase the FFN dimension by a factor of 1.33, and for the GQA variant, we increase it by a factor of 1.3. From the results, we observe that the GQA variant performs comparably to the MHA baseline on most evaluation tasks and is better than the MQA variant on average.

    画像
    論文:表18

    結果としては予測通りです。つまり、ヘッドごとに独立なK/Vを持つMHAに比べて、GQAはK/Vの共有により表現力がやや制限され、若干性能が落ちる傾向があります。

    論文には「全体のパラメータ数を揃えるためにフィードフォワード層(FFN)の中間層の次元数を増加」と書いてありますが、MQAやGQAを使うときにはどこかでパラメータ数を増やさないとMHAと同等の性能にならないのがわかります。

    GQAによる推論効率

    しかし、GQAによりアテンションのメモリ・計算量・パラメータ数が削減されるため、推論時の計算効率がMHAより良くなります。特にメモリ消費を減らせるのは、チャットのためにコンテキスト長を拡張したLlama 2では重要なことです。

    関連する図24では、コンテキスト長と処理時間の関係が示されています。

    画像
    論文:図24
    • 左(コンテキスト長=256トークン)、右(コンテキスト長=2048トークン)

    • 赤:MHA、青:MQA、緑:GQA

    • 両方とも出力は128トークンで固定(コンテキスト長による違いを明確)

    このグラフが示しているのは、バッチサイズをどこまで大きくできるかということです。1, 2, 4, 8, といった具合に増えていきます。

    MHAは、コンテキスト長256トークンのときはバッチサイズ1024でメモリ不足エラー(out-of-memory)なります。また、2k(2048)トークンのときはバッチサイズ128でメモリ不足エラーを引き起こします。

    一方で、MQAおよびGQAは、これらの条件下でも正常に動作しました。よって、メモリ効率の良さが実験的にも証明されました。

    なお、GPUを使う際の効率を考えるとMQAよりもGQAの方が良くなります。

    まず、比較として、MHAをGPUで計算することを考えます。

    たとえば128ヘッドある場合、MHAでは、それぞれのヘッドに独立したQuery / Key / Valueが存在します。つまり、128個のQueryに加えて、128セットのKey / Valueを持つ必要があり、GPUメモリの使用量は非常に大きくなります。このため、計算を複数のGPUに分散させる必要があり、スケーリングが難しくなります。

    MQAでは、Queryは128個ありますが、KeyとValueは1セットしかありません。すべてのヘッドが同じKey/Valueを参照するため、理論上はメモリ効率が良くなります。しかし、実際には128ヘッド分のQueryの計算を1枚のGPUに収めることができないため、複数のGPUにまたがって計算する必要があります。

    つまり、すべてのGPUで同じKey/Valueを複製し保持する(メモリの無駄)か、あるいは必要に応じて他のGPUと通信してKey/Valueを取りにいく必要があります。

    GQAで、128のヘッドを8つのグループに分けると、1グループあたり16のQueryヘッドが存在し、それぞれのグループが1セットのKey/Valueを共有する構造になり、各グループを個別のGPUに割り当てることが可能になります。よって、GPUメモリを有効に活用でき、また通信コストも抑えることができます。

    したがって、アブレーション実験の結果と推論時のスケーラビリティの容易さに基づき、Llama 2の340億および700億パラメータのモデルでは、MQAではなくGQAを採用しました。

    Therefore, based on the ablation results and ease of scaling inference, for the 34B and 70B Llama 2 models we chose to use GQA instead of MQA.

    https://arxiv.org/abs/2307.09288

    また、GQAを使うと同時にFFNの中間層の埋め込み次元を大きくすることで、Llama 2の300億、700億パラメータモデルでは、全体としてのパラメータ数はむしろ増加したと考えられます。この点は論文には明確に言及されていませんが、上述の内容を吟味すると妥当な推測でしょう。

    これは、単にパラメータ数やデータ量を増やして性能を上げるスケーリング則に従った設計というよりも、推論時の効率性を重視した結果と考えられます。

    次回予告

    次回は、セクション3「ファインチューニング」を読み進めます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ