
GPT-2を読む⑦実験概要
前回までに、GPT-2の「アプローチ」を読み終えました。
振り返ってみると、モデルの構造に関しては最小限の変更にとどめ、むしろデータの処理方法や入力の表現、そして訓練の手法に重点が置かれていることが分かりました。
GPT-2のアプローチは、トランスフォーマーのデコーダをベースとしたモデル構造を最大限に活用しつつ、膨大なデータを使って大容量のモデルを事前学習させることで、ファインチューニングなしのゼロショットによる評価が可能なモデルを目指す、というものでした。
そして、論文は次に、実際に行われた実験の結果とその評価に焦点を当てたセクション3「実験」へと進みます。
今回は、このセクションの前半を詳しく見ていきます。
モデルの大容量化
4つのサイズによる比較
セクション3「実験」は次のように始まります。
我々が訓練し評価した4つの言語モデルのサイズは「対数のスケールで」均等に増加するように設定されています。表2にそのアーキテクチャをまとめました。
We trained and benchmarked four LMs with approximately log-uniformly spaced sizes. The architectures are summarized in Table 2.
下表を見ると、モデルのサイズ(パラメータ数)は、117M、345M、762M、1542Mとあります。おおよそ2倍から3倍の間で増加しています。

ベース2の対数で考えると、おおよそ均等に増加していると言えます。もちろん、そんな細かいことは本質ではなく、モデルのサイズをおおよそ倍々に増やすことでその実力の違いを確かめたいというのが狙いでしょう。
なお、Mはメガ()を意味します。したがって、117Mは1億1千7百万(117,000,000)を指します。1542Mは約15億4千万(1,542,000,000)です。
2023年の統計では、日本の人口は約1億2千万なので、一番小さいモデルでも結構なパラメータ数であるのが分かります。中国の人口が約15億でインドがそれに迫っています。
最小モデルと最大モデルの容量の差は、日本と中国あるいはインドの人口の比だと考えると、各モデルの規模の違いがよく分かります。
これら4つのモデルのサイズについて、論文は次のように説明しています。
最も小さいモデルは、オリジナルのGPT(GPT-1)と同等であり、2番目に小さいモデルは、BERT(Devlin et al., 2018)の最大モデルと同等です。我々の最も大きいモデルはGPT-2と呼ばれ、GPT-1よりも10倍以上多くのパラメータを持っています。
The smallest model is equivalent to the original GPT, and the second smallest equivalent to the largest model from BERT (Devlin et al., 2018). Our largest model, which we call GPT-2, has over an order of magnitude more parameters than GPT.
それぞれのサイズにはそれなりの理由があるというわけです。簡単にまとめると以下になります。
対数スケールと言っておきながら厳密に倍々になっていないのはこのためでしょう。GPT-1(117M)やBERT(345M)との比較を考慮し、その後にほぼ倍々にサイズを増やすという形になっています。
WebTextによる学習と評価
学習率の設定について、論文は次のように述べています。
WebTextの5%のホールドアウト(評価用に保持)して、パープレキシティが最適となるように各モデルの学習率を手動で調整しました。
The learning rate of each model was manually tuned for the best perplexity on a 5% held-out sample of WebText.
ホールドアウト(Holdout)とは、訓練データセットの一部を分割してモデルの評価のために使うことです。メリットとしては訓練そのものに使われていない未知のデータに対するモデルの性能を簡単に評価できることです。
また、ハイパーパラメータの調節を行うために使われたりします。
例えば、異なる学習率で訓練したモデルをホールドアウトしたデータで評価し、ハイパーパラメータの値の優劣を見極めます。
ただし、交差検証と違ってホールドアウトは一度きりの分割で評価する手法なので、その分割方法によって結果が大きく変わる可能性があります。特に、データが少ない場合には、バイアス(特定のデータに偏った評価)が生じる可能性があります。
論文によると、WebTextの5%をホールドアウトしたとのことなので、WebTextの文章の数が約800万件とすると推定40万件ほどを評価用に使ったということになります。一度きりの分割だとしてもかなりの量であり、バイアスも生じにくいと考えられます。
なお、GPT-2の訓練では、このホールドアウトの評価用データを使って学習率の調整を(手動)で行う際に、パープレキシティを使ったとのことです。
パープレキシティは言語モデルが次の単語を予測する際の「困惑度合い」を示す指標で、数値が低いほど予測精度が高いことを意味します。
なお、パープレキシティに関してはこちらで詳しく解説しています。
訓練時間とパフォーマンス向上
論文は次のように続けます。
すべての(4つの)モデルはまだ十分にWebTextの学習ができておらず、訓練を続ければホールドアウトによるパープレキシティがさらに向上する見込みがある。
All models still underfit WebText and held-out perplexity has as of yet improved given more training time.
この記述を「言い訳」と批判的に捉えることもできますが、計算資源や時間が限られており、十分な訓練時間を確保するのが難しかったという現実的な問題を指摘していると見ることもできます。
また、大規模な言語モデルでは、パラメータが非常に多いため訓練に多大な時間がかかります。その結果、すべてのモデルがまだ最適な状態に達していない、という事実を単に報告しているのも事実でしょう。
いずれにせよ、膨大なデータ、訓練時間の限界、そしてモデルの巨大さが訓練の難しさを物語っています。
訓練を続けることで性能がさらに向上する可能性があることを示しつつ、現時点でのモデルが十分に学習されていないことも強調しており、それでも論文として発表するに値する成果が出たと言いたいのかもしれません。
この点を踏まえて、続く論文の実験結果を確認していく必要があります。
言語モデリングによる訓練
ゼロショットによるドメイン転送
セクション3.1「言語モデリング」は次のように始まります。
「ゼロショットによるタスク転送」への初期の取り組みとして、WebTextで訓練された言語モデル(LM)が、主要なタスクである言語モデリングにおいて「ゼロショットによるドメイン転送」でどのように機能するかを理解することに興味を持っています。
As an initial step towards zero-shot task transfer, we are interested in understanding how WebText LM’s perform at zero-shot domain transfer on the primary task they are trained for – language modeling.
「ゼロショットによるタスク転送」とは、事前学習されたモデルを他のタスクに対して、ファインチューニングなしで直接適用し、その性能を評価することを指します。
「転送」(Transfer)は、「転移学習」(Transfer Learning)のように、あるデータセットで学習した能力を他のデータセットやタスクで活用・評価することを意味します。
ここでは、WebTextで事前に言語モデリングを学習させたモデルをゼロショットで他のタスクに適用することを目指していますが、その前に「ゼロショットによるドメイン転送」に注目しています。
「ドメイン転送」とは、タスク(言語モデリング)はそのままで、WebText以外の異なるデータセットを使って評価を行うことです。
つまり、WebTextで訓練した言語モデルを、他のデータセットにゼロショットで(追加の調整なしに)適用し、そのまま言語モデリングの性能を測定するということです。
初めからドメインとタスクの両方を変えるのではなく、まずはタスクはそのままでドメイン(データの内容)だけを変更し、段階的に転送性能を評価したいというわけです。
BPEとパープレキシティ
論文はこう続けます。
私たちのモデルはバイト単位で動作し、情報を損失するような前処理やトークン化を必要としないため、どの言語モデルのベンチマーク(データセット)でも評価可能です。
Since our model operates on a byte level and does not require lossy pre-processing or tokenization, we can evaluate it on any language model benchmark.
「バイトレベルでの動作」とは、GPT-2で使用されたByte Pair Encoding(BPE)におけるバイト単位での処理を指しています。なお、BPEについては、こちらでも解説しています。
「情報を損失しない」という点は、従来のトークン化の手法(例:単語単位のトークン化)では、特定の単語や記号が除外されたり、未知語に対応できないことがありました。しかし、バイト単位のBPEでは、そのような問題は原則として発生しません。
つまり、WebTextに存在しない未知の文字列が出現しても、バイトレベルの処理によって問題なく言語モデルの評価が可能である、ということです。
また、その評価方法について論文は次のように続けています。
言語モデリング用のデータセットにおける結果は、「負の対数確率の平均をスケールまたは指数化した量」として報告されるのが通常です。一般的には、文字、バイト、単語などの標準的な予測単位に対して計算されます。
Results on language modeling datasets are commonly reported in a quantity which is a scaled or exponentiated version of the average negative log probability per canonical prediction unit - usually a character, a byte, or a word.
ここで「負の対数確率の平均をスケールまたは指数化した量」とは、パープレキシティのことです。説明が長いので括弧に入れました。
パープレキシティが「文字、バイト、単語などの標準的な予測単位」に対して計算されるというのは、GPT-2ではバイト単位のBPEを使っていおり、特に問題がないということです。
要するに、この部分で論文は、言語モデリングの評価としてパープレキシティを用いると述べています。
学習率の調整に関して、パープレキシティの使用を既に言及していたので重複しているようにも感じますが、学習過程ではなくゼロショット転送における評価でも使っているのであって、異なる文脈であることを強調しているのかもしれません。
続いて論文は、次のように述べています。
WebTextで訓練した言語モデルを使って、データセットの対数確率を計算し、それを標準的な予測単位数で割って評価しました。
We evaluate the same quantity by computing the log-probability of a dataset according to a WebText LM and dividing by the number of canonical units.
つまり、WebTextで言語モデリングの訓練を行った言語モデルを使用し、他のデータセットにおける評価を行ったことに言及しています。
英文で「same quantity」と言っているのは、前述のパープレキシティを指しています。パープレキシティを計算する際には、言語モデルが予測した確率の対数を使用します。具体的には、言語モデルは文脈を条件として、次のトークン(文字やバイト、単語)の出現確率を予測します。
この予測確率の対数を取り、その平均を計算するために「標準的な予測単位数」(この場合は、文章のバイト数)で割ることでパープレキシティが算出されます。
なお、英文では「WebText LM」と呼んでいる部分を「WebTextで訓練した言語モデル」と訳しましたが、以後はそのまま「WebText言語モデル」とします。
以前ならば「事前学習モデル」と呼ぶところですが、ファインチューニングがない前提で考えると、まずどのデータセットで訓練したのかを明記する方が分かりやすいためにこのような表現をしているようです。
WebText言語モデル
分布が異なるデータセットの問題
WebText言語モデルが他のデータセットにおいて直面する問題について、論文はこう続けます。
WebTextの言語モデルは大幅に異なるデータ分布でテストされることになります。これらのデータセットの多くでは、過度に標準化されたテキスト、トークン化によるアーティファクト(分離された句読点や短縮形)、ランダムに入れ替わった文章、そしてWebTextでは極めて珍しい文字列 <UNK>(40GBの中で26個のみ出現)などを予測しなければなりません。
For many of these datasets, WebText LMs would be tested significantly out-of-distribution, having to predict aggressively standardized text, tokenization artifacts such as disconnected punctuation and contractions, shuffled sentences, and even the string <UNK> which is extremely rare in WebText - occurring only 26 times in 40 billion bytes.
訓練データセットであるWebTextとは異なる分布を持つ他のデータセットで言語モデルをテストするため、さまざまな困難が起こり得ます。
具体例として次が挙げられています。
過度に標準化されたテキスト
トークン化によるアーティファクト(分離された句読点や短縮形)
ランダムに入れ替わった文章
稀な文字列(<UNK>)
これらの問題点について、論文のこの時点ではあまり詳細がわからないのですが、以下にその意味を探ってみます。
過度に標準化されたテキストとは、なんらかの前処理によってテキストが過度に整形されている状態を指しているようです。あるいはもともとのテキストのフォーマット自体が自然な文章とは異なるケースも考えられます。
トークン化の過程で生じるアーティファクト(不自然な部分)に関しては、分割された句読点や短縮形が挙げられています。
分割された句読点の例としては、「I'm」が「I 'm」と不自然に分割され、不要なスペースが挿入されているケースなどが考えられます。
短縮形に関しては、通常見受けられないような形だとトークン化が難しいと考えられます。例えば、「k」だけで「ok」を意味する場合など。
こういうアーティファクトがおそらくWebTextでは比較的に少ないのでしょう。よって、予測に影響を与えるのだと推測できます。
ランダムに入れ替わった文章に関しては、順序がランダムに入れ替わった文章では、文脈を考慮した予測が困難になる原因となります。
例えば、文章のシャッフルが発生する典型的な例として、GPT-2の実験でも使われたOne Billion Word Benchmarkのようなデータセットがあります。このデータセットでは、文章の順番がランダムに入れ替わっており、長い文脈を利用するモデルにとっては不利な状況となります。
稀な文字列(<UNK>)に関しては、論文に書いてある通りですが、WebTextではほとんど出現せず、「40GBの中で26個のみ出現」とのことです。しかし、他のデータセットではより多く出現することが考えられます。
いずれにせよ、WebText言語モデルは、異なるデータセットでさまざまな困難に直面する可能性があるわけです。
デトークナイザー
次に論文は、デトークナイザー(「デ」が付いています)について述べます。
私たちは、これらのトークン化や前処理のアーティファクトをできるだけ除去する可逆的なデトークナイザーを使用し、表3で主要な結果を報告しています。
We report our main results in Table 3 using invertible de-tokenizers which remove as many of these tokenization / pre-processing artifacts as possible.
デトークナイザーは、トークナイザーの逆の役割を果たすもので、トークン化されたデータを元のテキストに戻す機能を持っています。
これよって、異なる評価指標の計算がより正確に行えるようになります。そのことが論文の表3で示されています。以下は、その表を二つに分けたものです(横に長いので)。


PPL(Perplexity): モデルの困惑度。低いほど良い。
ACC(Accuracy): 正解率。高いほど良い。
BPB(Bits Per Byte): 次のバイトを予測するのに必要な平均ビット数。低いほど良い。
BPC(Bits Per Character): 次の文字を予測するのに必要な平均ビット数。低いほど良い。
SOTA(State Of The Art)とある行がこれまでの最先端の性能です。
下の四段が、GPTの異なる容量のモデルで、太字になっているのがSOTAよりも良い成績を表しています。ほとんどのデータセットでSOTAをより良くなっているのがわかります。
また、モデル容量が大きくなるほど性能が増しています。
前述したように、さまざまな評価指標(PPL、ACC、BPB、BPC)を計算できるのは、可逆的なデトークナイザーを使っているからです。
これらのデトークナイザーは可逆的であるため、データセットの対数確率を計算でき、簡単なドメイン適応の形と見なせます。
Since these de-tokenizers are invertible, we can still calculate the log probability of a dataset and they can be thought of as a simple form of domain adaptation.
つまり、デトークナイザーがトークン化の処理以前の状態に戻せるため、元のデータと同じ意味を持った状態で対数確率を計算することが可能になります。これが「可逆性があると対数確率が計算できる」理由です。
例えば、文字単位の指標を計算する場合、バイトごとの対数確率を足し合わせることになります(対数なので確率の掛け算は足し算になる)。つまり、バイト単位の対数確率を足し合わせることで、文字単位や単語単位の評価が可能になるということです。
その上、デトークナイザーを使うことが性能(パープレキシティ)の向上にもつながったとのことです。
これにより、GPT-2ではパープレキシティが2.5から5向上しました。
We observe gains of 2.5 to 5 perplexity for GPT-2 with these de-tokenizers.
論文による詳しい考察はないのですが、可逆なトークン化を行うにはテキストからの情報を失わないようにする必要があるため、言語モデルが本来の文脈に基づいて正確に予測を行えるようになるのだと推測されます。
各タスクの結果概要
次に、論文は各タスクの結果の要約を説明しています。
WebText言語モデルは、ゼロショットでドメインやデータセットを超えて優れた転送性能を発揮し、8つのデータセットのうち7つで最新の性能を向上させました。
WebText LMs transfer well across domains and datasets, improving the state of the art on 7 out of the 8 datasets in a zero-shot setting.
これは上述の表3からもわかることですが、1BW(One Billion Word Benchmark)以外では、WebText言語モデルは、SOTAを超えた性能を発揮しています。
小規模データセット:Penn TreebankとWikiText-2
Penn Treebank(PTB)やWikiText-2のような、訓練用のトークン数がわずか100万から200万しかない小規模データセットで大幅な改善が見られました。
Large improvements are noticed on small datasets such as Penn Treebank and WikiText-2 which have only 1 to 2 million training tokens.
小規模なデータセット(Penn TreebankやWikiText-2)でもSOTAを超えた性能を発揮しています。
長期依存性:LAMBADAとChildren’s Book Test
また、LAMBADA(Papernoら、2016)やChildren’s Book Test(Hillら、2015)のように長期依存性を測定するために作成されたデータセットでも大きな改善が見られました。
Large improvements are also noticed on datasets created to measure long-term dependencies like LAMBADA (Paperno et al., 2016) and the Children’s Book Test (Hill et al., 2015).
長期依存性を測定するためのデータセットでは、文脈内の長い間隔にまたがる情報を適切に保持し、次の単語や文を予測できるかどうかを評価します。
例えば、LAMBADAやChildren's Book Test(CBT)では、通常、文章の冒頭や中盤に重要な情報が提示され、最終的な単語を予測するようなタスクが設定されています。
ここでもSOTAを超えた性能を発揮しています。
シャッフルされた文章:One Billion Word Benchmark
しかし、One Billion Word Benchmark(Chelbaら、2013)では、以前の研究に比べて依然として大幅に劣っています。これは、1BWが最大のデータセットであることと、最も破壊的な前処理の一つである文単位のシャッフルにより、長距離にわたる構造が完全に削除されていることの組み合わせが原因と考えられます。
Our model is still significantly worse than prior work on the One Billion Word Benchmark (Chelba et al., 2013). This is likely due to a combination of it being both the largest dataset and having some of the most destructive pre-processing - 1BW’s sentence level shuffling removes all long-range structure.
文の順序をランダムに入れ替えたデータセットであるため、文脈の依存性が完全に破壊されています。結果として、GPT-2はSOTAを超えることができず、他のタスクよりも大幅に性能が劣る結果となりました。
これは致し方ない気もします。
次回予告
次回は、セクション3.2から3.8まで、上述された各タスクの実験結果の詳細を読み進めます。
お楽しみに!