
Llama 1 を読む④アーキテクチャの改良
前回は、Llama 1の論文のセクション2「アプローチ」(Approach)の前半を読みました。高品質な学習データを準備するためのフィルタリングなどの工夫について述べられていました。
今回は、セクション2「アプローチ」の中盤を読み進めます。
訓練にかかる計算コストよりも推論時の効率こそが実用上重要であるという立場から、メタの研究者たちはモデル設計を再考しています。
論文のこの部分では、特にベースとなるオリジナルのTransformerからの改良点が解説されています。
Transformerからの改良点
Llama 1のモデル構造は、他の多くの大規模言語モデルと同じくTransformerのアーキテクチャに基づいています。
最近の大規模言語モデルに関する研究にならい、私たちのネットワークはTransformerのアーキテクチャ(Vaswani ら, 2017)に基づいています。その上で、その後さまざまなモデル(例:PaLMなど)で提案・採用されてきた改良点を取り入れています。
Following recent work on large language models, our network is based on the transformer architecture (Vaswani et al., 2017). We leverage various improvements that were subsequently proposed, and used in different models such as PaLM.
Llama 1が登場したのは、2023年2月です。一方、論文「Attention Is All You Need」(Vaswani ら, 2017)がArXivに投稿されたのは、2017年6月です。
つまり、Transformerの登場からすでに5年以上の時間が流れており、GoogleのPaLM(2022年4月)を含め、オリジナルのアーキテクチャに対してさまざまな改良が行われていました。
それは、モデルの大規模化(スケーリング)だけでなく、正規化や活性化などに関する細かい調整を含みます。
Llama 1では、これまでに行われたオリジナルのTransformerからの改良点のいくつかを参考にして取り入れています。
以下に、オリジナルのアーキテクチャとの主な違いと、どこから変更のインスピレーションを得たのかを([角カッコ]の中に)示します。
Here are the main difference with the original architecture, and where we were found the inspiration for this change (in bracket):
3つの改良点として「事前レイヤー正規化/RMSNorm」「SwiGLUによる活性化」「RoPEによる相対位置の埋め込み」が述べられています。以下はその解説です。
事前レイヤー正規化
まずは、データ処理のどこで正規化を行うかについて次のように述べています。
事前正規化 [GPT-3]。学習の安定性を向上させるために、Transformerの各サブレイヤーの出力ではなく、入力に対して正規化を行います。
Pre-normalization [GPT3]. To improve the training stability, we normalize the input of each transformer sub-layer, instead of normalizing the output.
オリジナルのTransformerから正規化は使われていました。「レイヤー正規化」(Layer Normalization)と呼ばれるもので、こちらで詳しく解説しています。
ただし、問題はレイヤー正規化をどこに置くかです。
事後レイヤー正規化の問題
下図は、Transformerの論文(2017年)からの引用で、モデルの構造を示しています。「Add & Norm」と記されているところでレイヤー正規化が使われています。「Norm」は、「Normalization」(正規化)の略です。

なお、「Add」と書かれているのは、残差結合(スキップ結合)のことです。もともとは、ResNet(2015年)で提案された仕組みで、前の層の出力を次の層の出力に加算します。加算の勾配は1なので、勾配消失(全体の勾配が0)になる可能性を低め学習の安定化を図るものです。
残差接続(Add)で使われる加算操作は、入力をそのまま次の層に渡す経路を持つという意味で、「恒等写像」に相当するので、勾配が1であるという説明があります。
これは、のような形式では、の項が恒等写像されていると見做せるという意味です。よって、このの部分に関する勾配は1になります。
「Add & Norm」と書かれているのは、残差接続(Add)の後に正規化(Norm)が行われるからです。
なお、レイヤー正規化は、アテンション(「Multi-Head Attention」「Masked Multi-Head Attention」)とフィードフォワード(「Feed Forward」)などのサブレイヤーの出力に対して適用されていました。
「サブレイヤー」(Sub-layer)という呼び方は、デコーダ・ブロックの一部の層(レイヤー)だからです。一つのブロックに2つのサブレイヤー(自己アテンションとフィードフォワード)があるという意味です。
サブレイヤーの後に正規化を行うので、これを事後レイヤー正規化(Post-LN)、あるいは事後正規化(Post-normalization)と呼びます。
その後に登場したGPT-1(2018年)は、Transformerのデコーダをベースにしており、オリジナルと同様にレイヤー正規化(図の表記は「Layer Norm」)が使われています。

また、これらのレイヤー正規化も、アテンション(「Masked Multi Self Attention」)やフィードフォワード(「Feed Forward」)などのサブレイヤーの出力に対して適用されていました。
残差結合は⊕と記されており、その後にレイヤー正規化が行われているのがわかりやすい図になっています。
このようにオリジナルのTransformerとGPT-1で共通に用いられたレイヤー正規化のそもそもの目的は、これらのサブレイヤーの出力を調節することで、次のレイヤーが受け取る値の分布が安定して学習しやすくなるためです。
問題は、残差接続の出力が正規化を通った後に次の層へ渡されるため、もとの出力とは異なるものになってしまうことです。
この結果、残差接続が持つ本来の効果である「情報や勾配をそのまま次に伝える」機能が弱まり、深いネットワークでは勾配消失(勾配が届きにくくなる)リスクが高まるという問題がありました。
特に、デコーダ・ブロックの数が増えるような深いアーキテクチャでは、この問題が顕著になり、学習が不安定になる可能性があります。
事前レイヤー正規化の効果
そこで、GPT-2(2019年)などでは、サブレイヤーの前にレイヤー正規化を行っています。これを事前レイヤー正規化(Pre-LN)、あるいは事前正規化(Pre-normalization)と呼びます。
下図左は事後レイヤー正規化、右が事前レイヤー正規化を示しています。

事前レイヤー正規化では、残差結合が正規化を通ることがなく、本来の役目を果たせるようになっています。
また、GPT-3(2020年)も事前レイヤー正規化を受け継いでいます。
私たちはGPT-2 [RWC+19] と同じモデルとアーキテクチャを使用しており、修正された初期化、事前正規化、およびその中で説明されている可逆(reversible)なトークン化を含みます。
We use the same model and architecture as GPT-2 [RWC + 19], including the modified initialization, pre-normalization, and reversible tokenization described therein, …
これを受けて、Llama 1でも学習の安定化のために事前正規化を採用しました。
ただし、レイヤー正規化自体の中身(実装)はオリジナルのレイヤー正規化とは異なります。
RMSNormによる正規化
Llama 1では、レイヤー正規化の手法としてRMSNormが採用されています。
正規化には、Zhang と Sennrich(2019)によって提案された RMSNorm(Root Mean Square Normalization)関数を使用しています。
We use the RMSNorm normalizing function, introduced by Zhang and Sennrich (2019).
RMSNormは「Root Mean Square Normalization」(二乗平均の平方根による正規化)の略です。
従来のレイヤー正規化(LayerNorm)と同じく埋め込みベクトルの各要素を正規化する手法ですが、計算方法が簡略化されており、計算コストを抑えることができます。
従来のLayerNormについては、こちらで詳しく解説しています。
例として、埋め込みベクトルの次元数をとします。また、埋め込みベクトルをと表現します。
まず、二乗平均の平方根(Root Mean Square、RMS)を次のように計算します。
ここで、はゼロ除算を防ぐための小さな定数です。の大きさが0、あるいは非常に小さい場合は数値計算的に0となる場合があるので、後でゼロ除算が生じないようにしています。
PyTorchのRMSNormの説明が参考になります。
このRMS値を使って、各要素を正規化したベクトルを以下のように計算します。
要素ごとに表現すると以下になります。
次に、各要素に対して学習可能なパラメータでスケーリングを適用します。
このは、埋め込みベクトルの各要素のスケーリングを行うものなので、全部で個のパラメータを学習することになります。
なお、は、要素ごとの積(アダマール積、Hadamard積)を意味します。
要素ごとの式を展開すると、次のようになります。
このような計算をすべてのトークンの埋め込みベクトルに対して並列に実行します。RNNのような逐次処理は不要なので効率的です。
また、シーケンスの各トークンに対して同じパラメータ群 を共有しているため、各層でシーケンス全体に対して一貫した正規化が行われます。
このパラメータ群は、おのおののRMSNormで固有です。一つのサブレイヤーに対して一つのRMSNormが用いられるので、サブレイヤーの数だけパラメータ群があることになります。
各RMSNormはそれぞれ独立して学習されますが、RMSNormの中ではすべてのトークンで同じパラメータ群が共有される構造になっています。
LayerNormとRMSNormの違い
ここで従来のレイヤー正規化(LayerNorm)とRMSNormの違いを明確にします。
まず、LayerNormでは、埋め込みベクトル内の要素の平均と分散の両方を用いて正規化を行います。
埋め込みベクトルに対して、平均と分散は次のように計算されます。
これらを使って各要素を平均0 分散1となるように正規化します。
その後に、学習可能なスケーリングとシフトを適用します。
PyTorchのLayerNormの説明が参考になります。
ここで、とはいずれも学習可能なパラメータ群です。両方とも次元のベクトルで、埋め込みベクトルの各要素に対応する成分を持ちます。
このためLayerNormでは、スケーリングとシフトの両方で個ずつ、合計個のパラメータを学習することになります。シフト調節のパラメータがあることにより、RMSNormの2倍のパラメータ数が必要になっています。
また、LayerNormもサブレイヤーごとに適用されるため、大規模言語モデルのようにサブレイヤーの数が多いと、学習・推論ともに計算コストが大きくなります。
一方で、RMSNormは、LayerNormにおける平均値とみなすのと同じ扱いになっており、平均の計算が不要で計算が軽くなっています。また、シフト調節のためのパラメータもありません。
つまり、RMSNormでは計算が簡略化され、学習パラメータの数も半分なので効率が良くなっています。
Llama 1の一番小さいモデル(LLaMA 7B)では、埋め込みベクトルの次元数は4096であり、ブロック数は32です。各ブロックには、自己アテンションとフィードフォワードの2箇所でRMSNormが使われるため、必要なパラメータの総数は以下になります。
一方で、LayerNormを使用する場合は、スケーリングとシフトの両方のパラメータが必要となるため、この2倍の524,288 個のパラメータが必要になります。
それでも実験によってRMSNormは「LayerNormと同等の効果が得られる」ことが示されています。よって、Llama 1では計算効率が良く学習も安定するRMSNormが採用されました。
RMSNormは「コスト削減型LayerNorm」と捉えるとイメージしやすいです。
SwiGLUによる活性化
オリジナルのTransformerのフィードフォワードでは、活性化関数としてReLUが使われていました。その後のTransformer系の言語モデルにおいて、さまざまな活性化関数が提案・採用されてきました。そんな中、Llama 1では、SwiGLUを採用しています。
SwiGLU活性化関数 [PaLM]。ReLUの非線形関数の代わりに、Shazeer(2020)によって提案された SwiGLU活性化関数を使用し、性能の向上を図っています。
SwiGLU activation function [PaLM]. We replace the ReLU non-linearity by the SwiGLU activation function, introduced by Shazeer (2020) to improve the performance.
なお、SwiGLUは伝統的な意味での活性化関数とは異なり、学習可能なパラメータを持つ「小さなニューラルネットワーク」と捉えるべきものです。
SwiGLUに関しては、こちらで詳しく解説しています。
ここでは簡単にSwiGLUの要点を紹介します。
従来のFFNの構成
自己アテンションの後に続くフィードフォワード・ネットワーク(FFN)は、従来は2つの線形(全結合)層からなり、その間に活性化関数が挟まれています。
ここで、とは重み行列で、とはバイアスです。また、は活性化関数です。オリジナルのTransformerでは、ReLUが使われていました。
バイアスはなくとも良い
その後の研究により、FFN内部の線形層にバイアスをつけてもつけなくても、性能に大きな差がないことが実験的にわかってきました。
これは、事後あるいは事前レイヤー正規化によって、スケーリングとバイアス調整が行われるため、FFN内部のバイアスの効果が相殺されやすいからだと考えられます。
LayerNormにはスケーリングとシフト(バイアス)があり、RMSNormではスケーリングのみが適用され、バイアス項は持たないので、0と同じです。
このため、バイアスは省略されるようになり、その分のパラメータが減ることになりました。これによって、FFNの式は以下のようになります。
なお、画像処理で行われる畳み込み層(PyTorchのConv2Dなど)では、バイアス項を持つかどうかを設定できます。これは、後に続くバッチ正規化によってスケーリングとシフトが適用されるためです。
しばしば、畳み込みのバイアスはオフ(bias=False)にされます。FFNのバイアス省略は、Conv層でバイアスを省略するのと本質的に同じ理由です。
さらに、この活性化の部分にゲート機構を持つGLU(Gated Linear Units)を適用すると言語モデルの性能が上がることがShazeer(2020)によって実験的に示されました。
GLUによるゲート機構
GLUは一般に次のように表現できます。
ここでは、入力の埋め込みベクトルに対して、2つの線形変換とが適用されています。また、は活性化関数です。
よって、GLUは、一方の線形変換の活性化をゲートとして機能させ、もう一方の線形変換の出力をコントロールする構成になっています。
この仕組みが、単純に活性化を行うだけの従来のFFNよりもTransformerの性能を良くすることが実験的に示されました。
活性化関数としてReLU、GELU、Swishなどを適用できます。

特に、GELUとSwishは、ReLUの滑らかな近似になっています。を含めてどこでも微分可能であり、出力や勾配が突然0になることがないため学習がより安定します。
なお、Swish関数は次のように定義されます。
とすると、Swish関数の曲線がさらに緩やかにありますが、通常はがよく使われます。
このSwishをGLUの活性化に用いたのがSwiGLUです。
SwiGLUは学習可能なゲート機構を持つ活性化関数として機能します。これを、バイアスなしのFFNに適用すると以下になります。
Llama 1でSwiGLUを採用したのは、PaLMの影響です。ただし、FFNの中間層における埋め込みベクトルの次元数の扱いが異なります。
PaLMでは中間層の次元数としてが使われていましたが、私たちは代わりに(= 約2.67d) の次元数を使用しています。
We use a dimension of instead of as in PaLM.
このは、埋め込みベクトルの次元数であり、この記事ではと表記したものと同じです。
PaLM場合、FFNの中間層(最初の線形変換)で、埋め込みの次元数の一時的に4倍に拡張しています。これは従来のTransformerのFFNと同じで、いったん高次元にすることでより複雑な特徴を学ぶためです。
従来のTransformerがこのような設計になっているのは、ReLUなどの活性化関数は、負の入力をカットしてしまうため、情報が失われるリスクがあるからです。中間層を4倍に拡張することで、活性化後にも十分な情報容量を持たせるようになっています。
ただし、Swishなどは、負の入力を完全にゼロにせず、なだらかに抑える設計になっており、ReLUほど「死んだニューロン」の問題は目立たなくなっています。
また、FFNの出力のところ(線形変換)で、通常の埋め込みの次元に戻します。
Llama 1では、これをとすることでパラメータ数を抑えています。
なぜなら、SwiGLUはGLUの一種であり線形層が2つから3つに増えるので、パラメータ数が従来のFFNのになるからです。
このにする設計は、Shazeerの論文でも実験されており、GLUを使わない従来のFFNと同等の性能(あるいはそれ以上)を発揮することが確認されています。
SwiGLUにパラメータ数の計算の詳細は、こちらで解説しています。
この選択にも、推論コストを意識したLlama 1の効率性を重視する設計方針が反映されています。
RoPEによる位置情報
続いて論文は、各トークンの位置情報の埋め込みについて触れています。
Rotary Embeddings [GPTNeo]。絶対位置埋め込みは取り除き、その代わりに、Su ら(2021)によって提案された RoPE(Rotary Positional Embeddings) をネットワークの各層に適用しています。
Rotary Embeddings [GPTNeo]. We remove the absolute positional embeddings, and instead, add rotary positional embeddings (RoPE), introduced by Su et al. (2021), at each layer of the network.
ここで言及されているGPT-Neoは、大規模言語モデルの研究開発を行う非営利団体であるEleutherAIによって開発されました。
EleutherAIは、大規模言語モデルをオープンソースで再現することを目指しており、GPT-Neo(2021年3月リリース)はその活動の一環としてGPT-2をベースに開発されました。
ただし、RoPEを採用したのは、後発のGPT-NeoX(2022年リリース)からなので、これらを総称してGPT-Neoと呼んでいるのでしょう。
ちなみに、GPT-Jというのもあり、これはGoogleのJAXを利用して開発されました。GPT-Neoよりも処理速度が良いとされています。
また、RoPEは、PaLMでも採用されています。
なお、RoPE(Rotary Positional Embedding)の仕組みについては、こちらで詳しく解説しているので、ここでは概要を紹介します。
Transformerは、RNNとは異なり、モデルの構造自体にはトークンの順序を保持する仕組みがありません。そのため、各トークンの埋め込みベクトルに、位置エンコーディングと呼ばれるベクトルを加算することで、シーケンスにおけるトークンの位置情報を与えるようになっています。
つまり、この従来の位置エンコーディングでは、各トークンの絶対的な位置(1番目、2番目、…)を表現するベクトルを付加しているわけです。
この方法により、学習中に見た範囲のシーケンス長であれば、モデルは位置情報を適切に扱うことができます。また、絶対位置ベースでありながらも、間接的にトークン間の相対的な関係もある程度処理できる仕組みになっています。
しかし問題は、学習時に存在しなかった長いシーケンスに対して発生します。
この場合、学習中に遭遇しなかった未知の位置に対応するエンコーディングをうまく処理できず、性能が劣化するという課題がありました。
この問題に対応するために、RoPEではトークンの埋め込みベクトルに回転操作を加えることで、相対的な位置情報を直接埋め込む方法が提案されました。
トランスフォーマーのアテンション機構では、キー(Key)とクエリ(Query)のベクトルの内積によってアテンションのスコアを計算します。
RoPEでは、入力の埋め込みベクトルに対して、位置に応じた回転操作を適用します。その後にキー行列とクエリ行列による線形変換を経てキーとクエリのベクトルが作られるため、キーとクエリの内積計算の中に、トークン間の相対的な位置情報が自然に組み込まれます。
これによって、未知の位置に対しても判断が可能となり、より長いシーケンスやコンテキスト長でも性能が落ちにくくなっています。
これをLlama 1でも採用したということです。
ハイパーパラメータの詳細
なお、Llama 1の論文では、ハイパーパラメータをモデルサイズごとに表にまとめています。
さまざまなモデルのハイパーパラメータの詳細は表 2 に示されています。
The details of the hyper-parameters for our different models are given in Table 2.

params:モデルの総パラメータ数(B = Billion = 10億)
dimension:各トークンの埋め込み次元数
heads:マルチヘッド・アテンションにおけるヘッド数
layers:デコーダ・ブロック数
learning rate:学習率
batch size:1バッチあたり400万トークン
tokens:訓練に使った総トークン数(T = Trillion = 1兆)
推論コストの制約下で最高性能を達成するという目標を達成するためにパラメータ数を低く抑えています。最大のパラメータ数でも652億なので、GPT-3の1750億パラメータの半分以下(3分の1に近い)です。
パラメータ数に従って、次元数、ヘッド数、ブロック数などが調整されています。
なお、1バッチあたり400万(4M)トークンという大きめのバッチサイズが使われているのは、モデルがコンパクトであり、大規模なクラスタなどを利用して効率よく訓練を行っているためでしょう。
比較として、下表はGPT-3の論文からのものです。

GPT-3(175B)の学習におけるバッチサイズは320万(3.2M)となっています。それより小さいモデルではさらに小さいバッチサイズになっています。
なお、表の説明に訓練に使った総トークン数は3000億トークン(300 billon tokens)と書かれています。これと比べると、Llama 1では 1兆(1T)あるいは1.4兆(1.4T)なので、学習に時間をかけているのがわかります。
その代わりに、推論時の計算量・効率が良くなっているというわけです。
次回予告
次回は、このままセクション2「アプローチ」の後半を読み進めます。
訓練で使うオプティマイザや実装での効率化などが語られています。
お楽しみに!