
GLUバリアントによるトランスフォーマーの性能向上
大規模言語モデルの性能向上は、アーキテクチャの微細な改良によって支えられています。その一例が、トランスフォーマーのFFN(フィードフォワード・ネットワーク)における活性化関数の改良です。
オリジナルのトランスフォーマーではReLUが用いられていましたが、GoogleのPaLM や MetaのLLaMA では、SwiGLUが採用され性能を向上させました。
このような進化の背景には、ノアム・シャジール(Noam Shazeer)による2020年の論文「GLU Variants Improve Transformer」(GLUバリアントはトランスフォーマーを改善する)があります。
この論文では、Gated Linear Unit(GLU)の構造を基に、ゲート部分にさまざまな非線形関数を適用したReGLU、GEGLU、SwiGLU などが提案されました。
この記事では、これらのGLUバリアントを解説します。
ノアム・シャジール(Noam Shazeer)
トランスフォーマーの共著者
ノアム・シャジール(Noam Shazeer)は、トランスフォーマーの論文「Attention Is All You Need」の共著者の一人です。

論文執筆当時、彼はGoogle Brainに所属していました。
なお、Google Brainは、2023年4月にDeepMindと統合されGoogle DeepMindという新たな研究組織が誕生しました。これにより、GoogleのAI研究はDeepMindを中心とした体制で進められています。
対話システムLaMDAの開発にも関与
またノアム・シャジールは、Google の言語モデル LaMDA(Language Model for Dialogue Applications)の開発にも貢献しています。
LaMDAは、当時 ChatGPT に匹敵する存在として注目を集め、後の Bard の基盤となりました。
その後、対話AIの基盤は PaLM 2(Pathways Language Model 2)に引き継がれました。また、現在(2025年)のGoogleの対話システムは、マルチモーダルに対応した新世代AI「Gemini」が主軸となっています。
当時のノアム・シャジールの上司は、LaMDAプロジェクトの責任者であるダニエル・デ・フレイタス(Daniel De Freitas)です。
Character.AIの共同創業とGoogleへの復帰
Wikipediaによると、ノアム・シャジールとダニエル・デ・フレイタスは「Meena」と呼ばれるチャットボットを開発していたが、Googleが一般公開したがらなかったが不満だったそうです。
2021年11月、ノアム・シャジールはダニエル・デ・フレイタスと共にGoogleを退職し、Character.AI を立ち上げました。
しかし2024年8月には Google に復帰し、Gemini の開発に携わることになりました。また同時に、ダニエル・デ・フレイタスも Google DeepMind の研究者として復帰しました。
これもWikipediaからの情報ですが、ノアム・シャジールらの復帰は、GoogleがCharacter.AIの技術のライセンスを27億ドルで取得する契約の一部だったとのことです。
GLU系の活性化関数の研究
話を2020年に戻しましょう。
Character.AI を設立する以前、ノアム・シャジールは Google Brain にて、トランスフォーマーの FFN における活性化関数の改良に取り組んでいました。
彼の論文「GLU Variants Improve Transformer」(GLUバリアントはトランスフォーマーを改善する)では、従来の ReLU や GELU に代わって、GLUバリアントを使うことで、言語タスクにおけるパープレキシティ(困惑度)を改善できることが示されています。
その後の Google PaLM や Meta LLaMA など、最先端の大規模言語モデルに活かされ、GLUバリアントの一つであるSwiGLUが採用されることになります。
以下では、ReLU、GELU、Swishを紹介し、後にGLUバリアントを解説します。
FFNと従来の活性化関数
トランスフォーマーのアーキテクチャは、エンコーダ・ブロックとデコーダ・ブロックから構成されています。また、それぞれのブロック内には、Multi-Head Attention(MHA)と Feed Forward(FFN)を配置しています。
この構造は、2017年の論文「Attention Is All You Need」で導入されました。

FFNは、入力された表現(シーケンス)を各トークンごとに独立して処理する層であり、2つの線形変換の間に活性化関数を挟むという構造をしています。
FFN(x):x → 線形層 → 活性化 → 線形層
オリジナルのトランスフォーマーでは、活性化関数として ReLU(Rectified Linear Unit) が採用されていました。その後、トランスフォーマーの表現力や学習効率をさらに高めるために、さまざまな活性化関数が提案されてきました。
次に、ReLUとその代替として使われた活性化関数について見ていきます。
FFNとReLU
ReLUを含むFFNは以下のように表現できます。
ここで、は入力トークンに対応する埋め込みベクトルを表します。 およびは入力側の線形変換の重みとバイアス、 およびは出力側の線形変換の重みとバイアスです。
この間にある活性化関数自体の定義は以下になります。
なお、ベクトルの要素ごとに適用されます。
この関数は、入力が非負()の値であればそのまま出力し、負の値はゼロに変換するというシンプルな非線形関数です。計算効率が高く、勾配消失の問題も起きにくいため、深層学習の初期から広く使われてきました。
バイアス項をなくす
FFNにおいてバイアス項を省略して単純化した形式がしばしば用いられます。
以下は、を用いたその簡略版です。
この単純化は、ノアム・シャジールが共著者の 1 人であるT5の論文「Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer」(2020年)に基づくアプローチです。
T5では、モデル構造をできる限りシンプルに保つ方針のもと、FFNを含む多くの線形層からバイアス項を排除した設計を採用し、性能を維持できることが示されています。
このような単純化が可能なのは、トランスフォーマーにはLayerNorm(レイヤー正規化)が組み込まれており、その中にバイアス項が含まれているため、FFN側でバイアスを加える意義が相対的に小さくなるからと考えられます。
さらに、レイヤー正規化の一種であるRMSNorm(Root Mean Square Layer Normalization)では、バイアス項そのものが完全に排除されています。
それでもなお、RMSNormはLayerNormと同等の性能を示しており、トランスフォーマー系のモデルにおける正規化においてはスケールの調整のほうがバイアスより重要であることが示唆されます。
こうした理由から、FFNのバイアス項を省いたこの簡易な形式がよく用いられるようになりました。
FFNとGELU
論文「Gaussian Error Linear Units (GELUs)」(ガウス誤差線形単位)では、従来のReLUを滑らかに近似する新たな活性化関数としてGELU(Gaussian Error Linear Unit)が提案されました。
原点で微分できないReLUとは異なり、GELUは、どこでも微分可能な非線形関数です。また、トランスフォーマー系のモデルにおいて精度や学習の安定性の向上に寄与することが知られています。
下の図を見ると、GELUがReLUの滑らかな近似であることがよくわかります。

この図では、GELUとReLUがどのように異なるかを示しています。
特に、負の入力付近において、ReLUはゼロで切り捨てる一方、GELUは滑らかにゼロへ近づいていく挙動を見せます。これにより、小さな負の値も多少は通過するため、学習時の情報の流れが0付近で唐突に途切れることがなくなります。
これは、順伝播における情報の通過だけでなく、逆伝播における勾配の流れにもつながります。活性化関数が0付近でスムーズに変化することで、勾配が断ち切られることなく伝わり、よりなめらかにパラメータが更新されるため、学習が安定しやすくなると考えられます。
実際に、GELUを用いることで学習がより安定しやすくなることが、実験的にも示唆されています。
この図を生成するコードは以下になります。
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
def gelu(x):
return x * norm.cdf(x)
def relu(x):
return np.maximum(0, x)
x_values = np.linspace(-5, 5, 500)
y_values = gelu(x_values)
gelu_values = gelu(x_values)
relu_values = relu(x_values)
plt.plot(x_values, gelu_values, label='GELU')
plt.plot(x_values, relu_values, label='ReLU')
plt.title("GELU and ReLU Activation Functions")
plt.xlabel("x")
plt.ylabel("Activation")
plt.grid()
plt.legend()
plt.show()このプログラムからも分かるように、GELUでは入力値と標準正規分布の累積分布関数(CDF)の積を計算しています。
GELU活性化を伴うFFNは次のようになります。
ここで、関数は次のように定義されています。
は、標準正規分布の累積分布関数です。
GELUについては、こちらでより詳細を解説しています。
FFNとSwish
論文「Swish: a Self-Gated Activation Function」(Swish: 自己ゲート活性化関数)でも、ReLUを滑らかにした活性化関数としてSwishが提案されました。
Swishは、負の値に対してもゼロ以外の勾配を持つGELUと同様に「ReLUの滑らかな近似」として設計されています。
英単語 "swish" は、しなやかに通り抜ける音や動作を表現する擬音語・動詞・形容詞です。日本語で言えば「シュッ」や「シュッシュッ」といった感じです。滑らかでスムーズなイメージがあります。
以下の図を見ると、Swish が ReLU や GELU とどう異なり、どのように滑らかに変化しているかがわかります。

この図には、Swish()、Swish()、ReLU、GELUが示されています。Swishは負の値に対してもなだらかに出力を減衰させるため、ReLUのように出力や勾配が急にゼロになることがありません。
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
def gelu(x):
return x * norm.cdf(x)
def relu(x):
return np.maximum(0, x)
def swish(x, beta=1):
return x * (1 / (1 + np.exp(-beta * x)))
x_values = np.linspace(-5, 5, 500)
gelu_values = gelu(x_values)
relu_values = relu(x_values)
swish_values = swish(x_values)
swish_values2 = swish(x_values, beta=0.5)
plt.plot(x_values, gelu_values, label='GELU')
plt.plot(x_values, relu_values, label='ReLU')
plt.plot(x_values, swish_values, label='Swish')
plt.plot(x_values, swish_values2, label='Swish (beta=0.5)')
plt.title("GELU, ReLU, and Swish Activation Functions")
plt.xlabel("x")
plt.ylabel("Activation")
plt.grid()
plt.legend()
plt.show()Swishを活性化関数としたFFNは次のように定義されます。
Swish関数の定義は次の通りです。
ここで、はシグモイド関数です。
なお、Swishでは、によってカーブの滑らかさを調整が可能です。
が一般的に使われる標準的な形式ですが、より小さなを使うと、シグモイドの傾きがなだらかになり、Swish関数の変化もより緩やかになります。
また、Swishはどこでも微分可能であり、GELUと同様に、学習時の安定性向上に寄与することが知られています。
FFNとGLUバリアント
GLUは厳密には活性化関数ではない
GLU(Gated Linear Units)は、Meta(当時のFacebook AI Research)による論文「Language Modeling with Gated Convolutional Networks」(2016年)で初めて提案されました。
この論文では、RNNを用いずに言語モデルを構築するための新たなアプローチとして、Gated Convolutional Networks(GCN) を導入されました。その中で、畳み込み層の出力に対して、ゲート機構を適用する手法として設計されたのがGLUです。
その後、ノアム・シャジールらがこのGLUの構造をトランスフォーマーのFFNに応用しました。
GLUは、活性化関数というよりは「小規模なニューラルネットワーク層」として理解する方が適切です。その構造は「2つの線形変換」と「シグモイド関数によるゲート機構」から成ります。
ここで、は学習可能なパラメータ(重み、バイアス)です。
は情報の通過を制御するゲート
は、情報を伝える主成分
このように「一方の線形変換の出力が、もう一方の出力の通過を制御する」という構造になっており、動的な情報の制御を可能にする層と見るのが適切です。
は、要素ごとの積(Hadamard積)です。とも書かれます。
なお、GLUでもバイアス項を省略するのが一般的です。
この記事では、以降このバイアス無しの省略形を基本として扱います。
ノアム・シャジールによる2020年の論文「GLU Variants Improve Transformer」(GLUバリアントはトランスフォーマーを改善する)では、このGLUのゲート部分に着目し、従来のシグモイド関数の代わりにGELUやSwishなどを用いたものが提案されました。
また、GLUバリアントによって、トランスフォーマーの性能が向上することが実験的に示されました。
次に、これらのGLUバリアントたち(Bilinear、ReGLU、GEGLU、SwiGLU)を順に紹介していきます。
FFNとBilinear
Bilinear は、GLU のゲート構造からシグモイド関数を取り除いたものです。2つの線形変換の出力の要素ごとの積から構成されます。
これを用いた FFNは、次のように表されます。
これには非線形性が含まれていないため、以下に紹介する非線形活性化バリアントと比較して実験結果を考察します。
FFNとReGLU
ReGLUは、ReLUを活性化関数として使用するGLUバリアントです。
つまり、ReGLUは、GLUのゲート部分に用いられていたシグモイド関数をReLUに置き換えたバリアントです。ReLUは入力が正の領域で勾配が消えにくいため、勾配消失のリスクを軽減できると考えられます。
これを用いた FFNは、次のように表されます。
FFNとGEGLU
GEGLUは、活性化関数にGELU(Gaussian Error Linear Unit)を用いたGLUバリアントです。
ReLUよりも滑らかな出力を持ち、学習時の安定性向上が期待されます。
対応するFFNの形式は以下の通りです。
FFNとSwiGLU
SwiGLUは、活性化関数としてSwishを使用したGLUバリアントです。GoogleのPaLMやMetaのLLaMAなどの大規模言語モデルでも採用されました。
これもReLUよりも滑らかな出力を持ち、学習時の安定性向上が期待されます。
これを用いた FFNは、次のように表されます。
実験による成果の確認
ここまで見てきたように、GLUバリアントは、学習可能なゲート機構に異なる活性化関数を組み合わせた構造を持っています。
次に、これらのバリアントがどのようにトランスフォーマーの性能に影響したのかを比較していきましょう。
比較のためにパラメータ数を合わせる
なお、オリジナルのFFNでは、2つの線形変換を使って中間層を処理しますが、GLUバリアントを組み込んだFFNでは、ゲート部に2つの線形変換を用いるため、合計で3つの線形変換が必要となります。
このままでは GLU バリアントの方がパラメータ数が多くなり、性能が高くなっても単に「容量の差」による可能性があります。
そこで、ノアム・シャジールの論文ではフェアな比較を行うために、との出力次元を通常のFFNの中間層のに設定し、最終ので元の出力次元に戻す設定を採用しています。
これにより、GLUバリアントを使ってもパラメータ数と計算量が標準のFFNと同程度に抑えられ、公平な性能比較が可能になっています。
なぜ、2/3なのか?
なぜ GLUバリアントでは中間層の次元を通常のに設定するのかを明確にするために、オリジナルのFFNとGLUバリアントFFNのパラメータ数を比較してみましょう。
オリジナルのFFNは次のような2層構成です。
ここで、は活性化関数(、など)です。
また、FFNが扱う次元数を次のように定義します。
入力/出力の次元数:(例:768, 1024 など)
中間層の次元数を(例:通常は )
各線形変換(行列)のパラメータ数は以下になります。
:
:
よって、合計のパラメータ数は以下になります。
一方で、GLUバリアントは次のような構成です。
中間層の次元をそのままにすると、各行列のサイズは以下になります。
:
:
:
合計のパラメータ数は以下になります。
つまり、オリジナルFFNの1.5倍のパラメータとなってしまいます。
フェアな比較を行うために、GLUバリアントの中間層の次元数をに変更します。
これで、オリジナルのFFNと同じパラメータ数になりました。
GLUバリアントによる実験の設定
ノアム・シャジールの論文「GLU Variants Improve Transformer」では、T5 (Text-to-Text Transfer Transformer)のアーキテクチャをベース に、GLUバリアントを使用した場合の性能を、従来のFFNと比較しています。
実験に用いられたモデル設定は以下の通りです。
エンコーダ・デコーダ:それぞれ12ブロック構成
埋め込みベクトルのサイズ:
アテンション機構:12ヘッド(heads)
オリジナルのFFN:
GLUバリアント:
なお、アテンションヘッドのキーとクエリのサイズはとなっています。これは、となり、埋め込み次元と一致するためです。
ただし、これはアテンション機構に関する設計であり、FFNの比較には直接関係しません。
では、続いて事前学習とファインチューニングによる結果を見ていきましょう。
事前学習の結果
以下の表は、論文「GLU Variants Improve Transformer」における事前学習時の比較結果(表1)を示しています。

評価指標はパープレキシティ(Perplexity)で、数値が低いほどモデルの性能が高いことを意味します。
なお、表1の横軸は 訓練ステップ数を示しており、左列が65,536ステップ、右列が524,288ステップでの評価結果です。
なお、事前学習中にはDropout(ドロップアウト)を使用していません。
これはオリジナルのT5論文とは異なる設定ですが、この後に行うファインチューニングでは、事前学習でドロップアウトを用いない方が良い結果が得られています。よって、オリジナルのFFNとすべてのバリアントに対して、ドロップアウトは無効化されています。
この結果から、以下のポイントが読み取れます。
GLUを使ったFFNは、従来のFFNよりも一貫して性能が良く、GLU構造自体に意味があることがわかります。これは、の性能向上から確認できます。
なぜなら、は活性化関数を使わず、単純に2つの線形変換の要素ごとの積を取るだけの構造ですが、それでもベースラインであるよりも良好なパープレキシティを記録しているからです。
また、GLUのゲート部に非線形活性化関数を適用することで性能がさらに向上していることが、、の結果からわかります。
特に、とは、滑らかな活性化関数とGLUの構造を組み合わせがトランスフォーマーの性能を引き上げていると言えます。
なお、訓練ステップが進んでもその傾向は維持されており、学習の初期・後期ともに安定した性能向上が確認できます。
ファインチューニング:GLUE
以下の表は、ノアム・シャジールの論文「GLU Variants Improve Transformer」におけるファインチューニング時の比較結果(表2)です。

評価には、GLUEベンチマークが用いられており、各タスクにおけるスコアが記されています。数値が高いほどモデルの性能が優れていることを示し、一番左の「Score Average」は、すべてのタスクからの平均スコアです。
このファインチューニングの実験では、T5論文と同様にドロップアウトが使用されています。つまり、事前学習ではドロップアウト無し、ファインチューニングではドロップアウト有りという設定になっています。
なお、表の下2行は、オリジナルのT5モデルの論文(Raffel et al., 2019)による結果で、ドロップアウトありの事前学習を行なったモデルをファインチューニングした際の平均スコアとその標準偏差を示しています。
平均スコアは最も低く、事前学習にドロップアウトを含めると性能を下げる可能性があることを示唆しています。また、標準偏差を考慮して比較しても、統計的に有意な差があるのがわかります。
GLUバリアントは多くのタスクで従来のFFNの多くを上回っており、仮にオリジナルのT5モデルにおける標準偏差を適用して比較したとしても、その差は統計的に有意です。
特に、は、平均スコアで84.67を記録し、すべてのバリアントの中で最高の性能を示しています。
ファインチューニング:SuperGLUE
以下の表は、ノアム・シャジールの論文「GLU Variants Improve Transformer」におけるファインチューニング時の比較結果(表3)です。

ベンチマークとしてSuperGLUE(Super General Language Understanding Evaluation)が使われています。GLUEよりも難易度の高いタスクセットとして設計されています。
ここでもGLUバリアントによるFNNの性能が多くのケースで従来のFFNを上回っています。特には、平均スコアで74.56を記録し、すべてのバリアントの中で最高の性能を示しています。
SuperGLUEは、GLUEよりも難易度の高いタスクを含んでおり、より深い言語理解や推論が求められます。
その中で、が最も高い性能を発揮したことは、興味深い結果です。しかし、SuperGLUEの各タスクは性質も難易度も多様であり、この結果だけでSwiGLUが常に最良であるとは結論できません。
なお、オリジナルのT5モデルの性能はここでも平均スコアで最低となっており、また多くのタスクでも最下位です。これも事前学習にドロップアウトを含めた悪影響なのでしょう。
ファインチューニング:SQuADv1.1
以下の表は、ノアム・シャジールの論文「GLU Variants Improve Transformer」におけるファインチューニング時の比較結果(表4)です。

ベンチマークとしてSQuADv1.1が用いられており、これは質問応答(Question Answering)タスクの代表的な評価セットです。
評価指標には以下の2つが使用されています。
EM(Exact Match)
モデルの出力が 正解と完全に一致したかどうか を評価する指標です。F1スコア
精度(Precision)と再現率(Recall)の調和平均として定義されます。
このSQuADタスクにおける結果を見ると、GLUバリアントを採用したFFNはいずれも、従来のFFN構成を上回るスコアを示しています。
一方で、GLUバリアント同士の比較においては、EMおよびF1スコアに大きな差は見られず、スコアは互いに近いこともわかります。
このことから、活性化関数の違いよりも、GLU構造におけるゲート機構そのものが性能向上に大きく寄与している可能性が示唆されます。
まとめ
実験結果から、GLUバリアントは、計算効率において明確な欠点を持たず、ほとんどのタスクで従来ののFFNを上回る性能を発揮しました。
この性能向上は、おそらくGLUバリアントに追加されたゲート機構が、より複雑な関数の学習を可能にし、表現力を高めたことによるものと考えられます。
しかし、論文では、この性能向上の理由について明確な説明をしていません。
これらのアーキテクチャがなぜ機能するのかについては説明しません。他のすべてと同様に、それらの成功は神の慈悲によるものだと考えています。
We offer no explanation as to why these architectures seem to work; we attribute their success, as all else, to divine benevolence.
一見するとユーモラスな態度にも思えますが、それは「わからないことをわからないと言える」科学的謙虚さの表れとも言えるでしょう。
それでも、豊富な実験結果は、GLUバリアントによるFFNが、従来の構成よりも有効であることを強く示しています。
この知見を受けて、Googleの PaLM や Meta の LLaMA などの大規模言語モデルでは、ReLUやGELU、Swishの代わりにGLUバリアントであるSwiGLUを採用したのもまた事実です。
(終わり)