
GPT-3を読む⑧訓練データセット
前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)のモデル構造についての解説を読みました。
今回は、訓練データセット(2.2 Training Dataset)のセクションを読みます。
訓練データセットを準備する
大規模化したCommon Crawl2
GPT-3が登場する頃には、言語モデルが大規模化するとともに訓練データセットも巨大になりました。論文はこう説明しています。
言語モデル用のデータセットは急速に拡大し、最終的にはほぼ1兆語にも及ぶコモン・クロールのバージョン2(Common Crawl2) [RSR+ 19]に至りました。この規模のデータセットがあれば、同じシーケンスを二度処理することなく、私たちの最大のモデルを十分に訓練することができます。
Datasets for language models have rapidly expanded, culminating in the Common Crawl dataset 2 [RSR+ 19] constituting nearly a trillion words. This size of dataset is sufficient to train our largest models without ever updating on the same sequence twice.
機械学習モデルが学習データ全体を一度完全に処理することを1エポックと呼びます。通常、モデルの訓練では複数エポックを実行し、データを繰り返し処理することで性能を向上させることが一般的です。
しかし、Common Crawl2は非常に大規模なデータセットであり、複数エポックを必要しない(1エポックあるいはそれ以下)で十分に彼らの最大モデル(GPT-3)を訓練できるほど巨大なデータセットだということです。
ただし、ここではサイズだけを見ています。品質も考慮する必要があります。
選別と重複排除による品質管理
これは、データセットが量的に申し分無いことを示していますが、そのままでは充分な品質ではありませんでした。
しかし、選別されていないCommon Crawlデータセットは、より精選されたデータセットに比べて品質が低い傾向があることが分かりました。そのため、私たちはデータセットの平均品質を向上させるために以下の3つのステップを実施しました。
However, we have found that unfiltered or lightly filtered versions of Common Crawl tend to have lower quality than more curated datasets. Therefore, we took 3 steps to improve the average quality of our datasets:
GPT-2の時にもバージョン1のCommon Crawlのクオリティの問題が指摘されていました。そこで、バージョン2のCommon Crawlから良質の文章だけを選別するなどの処理を行なったということです。
(1) 高品質な複数のコーパスを参照し、良質なデータだけをCommon Crawlから選別してダウンロードしました。
(2) データセット内およびデータセット間で、文書の重複を取り除き(fuzzy deduplication)、無駄を防ぐとともに、検証セットが過学習の測定に正確に役立つようにしました。
(3) さらに、高品質な複数のコーパスから訓練データを追加しました。
(1) we downloaded and filtered a version of CommonCrawl based on similarity to a range of high-quality reference corpora, (2) we performed fuzzy deduplication at the document level, within and across datasets, to prevent redundancy and preserve the integrity of our held-out validation set as an accurate measure of overfitting, and (3) we also added known high-quality reference corpora to the training mix to augment CommonCrawl and increase its diversity.
要するに、良質なデータだけをCommon Crawlから選別し、訓練セットと評価セット間の文書の重複を取り除き(fuzzy deduplication)、さらに訓練データに高品質な複数のコーパスを追加したということです。
特に検証セットに学習データとで重複がないことが重要です。重複があると、モデルが検証セットを既に「見た」状態で評価を受けるため、モデルの汎化性能を正確に測ることができなくなります。
なお、英文で「fuzzy deduplication」と書かれているのは、完全に一致する文書だけでなく、部分的に類似した文書も検出して重複を取り除くことを意味します。
Apache Sparkによる重複処理
また、論文は続けて、GPT-3におけるこれらの処理に関しては、論文の付録に詳細が書かれていると述べています。
Common Crawlの処理(1)と(2)についての詳細は付録Aに記載されています。
Details of the first two points (processing of Common Crawl) are described in Appendix A.
Common Crawlから良質なデータだけを選別し重複を取り除くことに関しては、付録Aだけでなく付録Cにも詳細があります。以下に簡単にまとめます。
付録A「Details of Common Crawl Filtering」(Common Crawl選別)
Common Crawlデータセットの品質向上のため、WebTextを基準とした分類器を使用して良質な文書を選別しました。
Apache SparkのMinHashLSHという手法を用いて、大規模データセット内の類似性の高い文書を効率的に検出・重複排除しました。
付録C「Details of Test Set Contamination Studies」(検証セット汚染調査)
GPT-3の訓練データとベンチマークデータセットの重複を、Apache Sparkを用いてN-gram単位で検索・除外しました。
クリーンなデータを使用してモデル性能を評価しました。
GPT-2でも重複を取り除く(deduplication)プロセスが行われており、その中でブルーム・フィルターを用いて効率的に重複を検出する手法が言及されています。ただし、GPT-3では、大規模なコーパスにおける重複検出のためにApache Sparkを使用しています。
訓練データセットを使用する
訓練データセットの全貌
論文は続けて、どのようなデータセットを追加したのかを言及しています。
処理(3)では、以下のような精選された高品質なデータセットを追加しました。
• (GPT-2で導入された)WebTextデータセットを拡張 [RWC+19](その方法は、収集期間を延長してリンクをスクレイピングするというものでスケーリン則の論文[KMH+20]で初めて記載されたもの)
• インターネット上の書籍コーパス(Books1とBooks2)
• 英語版Wikipedia
For the third, we added several curated high-quality datasets, including an expanded version of the WebText dataset [RWC + 19], collected by scraping links over a longer period of time, and first described in [KMH + 20], two internet-based books corpora (Books1 and Books2) and English-language Wikipedia.
こうして集められた訓練データセットの全貌は以下の表にまとめられています。

表2.2には、訓練に使用したデータセットの最終的な内容が示されています。Common Crawlデータは、2016年から2019年にかけて収集された毎月のCommon Crawlの41シャードからダウンロードされ、選別前は45TBの圧縮されたテキストで、選別後は570GBであり、おおよそ4000億のBPE(バイト対符号化)トークンに相当します。
Table 2.2 shows the final mixture of datasets that we used in training. The CommonCrawl data was downloaded from 41 shards of monthly CommonCrawl covering 2016 to 2019, constituting 45TB of compressed plaintext before filtering and 570GB after filtering, roughly equivalent to 400 billion byte-pair-encoded tokens.
Common Crawlは、インターネット上のウェブページを定期的にクロールし、そのデータを月ごとに収集しています。この月ごとの収集データが、いわば1つのデータブロック(シャード)と考えられます。
つまり、2016年から2019年までの収集データから41個のシャードをダウンロードしたという意味です。
品質によるデータの使用割合
表2.2で「Weight in training mix」(訓練データにおける重み)とあるのは、訓練で使われる割合を示しています。これを「Quantity(tokens)」(トークン数)と比べると、単純なデータセットのサイズとは異なるのがわかります。

さらに、「Epochs elapsed when training for 300B tokens」(3000億トークン分の訓練におけるエポック数)を見ると、Common CrawlとBooks2の使用割合がかなり少ないのがわかります。
例えば、3000億トークン分の訓練におけるBooks2のエポック数は0.43です。
「0.43エポック」とは、モデルがBooks2のデータ全体の43%を1回処理したことと同等の量を学習に使用したことを意味します。
これについて論文は次のように説明しています。
訓練中において、データセットはそのサイズに比例してサンプリングされるのではなく、より高品質と見なされるデータセットがより頻繁にサンプリングされるようになっています。このため、CommonCrawlやBooks2のデータセットは訓練中に1エポック未満しかサンプリングされませんが、他のデータセットは2〜3エポック分サンプリングされています。この手法は、わずかな過学習(a small amount of overfitting)を許容する代わりに、より高品質な訓練データを得ることを目的としています。
Note that during training, datasets are not sampled in proportion to their size, but rather datasets we view as higher-quality are sampled more frequently, such that CommonCrawl and Books2 datasets are sampled less than once during training, but the other datasets are sampled 2-3 times. This essentially accepts a small amount of overfitting in exchange for higher quality training data.
「わずかな過学習(a small amount of overfitting)を許容する」は、高品質と見なされるデータセットが訓練中に複数回サンプリングされるためです。つまり、特定データに過度に適応する可能性があるからです。
確かに、訓練データ全体から等確率でサンプリングする場合に比べて、データセット間のサンプリング頻度が偏ることで、特定のデータに対する適応(過学習)がわずかに増える可能性を指してはいます。
それでも高品質で多様なデータセットを訓練で使用することを優先したというわけです。3000億トークン分の訓練におけるエポック数が2−3回ということなので、ほとんど影響はないと考えて良いでしょう。
データ汚染の懸念について
Common Crawlなど大規模なコーパスを使うとデータ汚染の問題が懸念となります。これについて、論文は次のように語っています。
下流タスクのテストセットや開発セットの情報が、事前学習中に含まれてしまうことでデータ汚染が発生する可能性は、インターネット上の幅広いデータを使った事前学習における大きな懸念点です。特に、大量のコンテンツを記憶できる大規模な言語モデルでは、なおさらです。
A major methodological concern with language models pretrained on a broad swath of internet data, particularly large models with the capacity to memorize vast amounts of content, is potential contamination of downstream tasks by having their test or development sets inadvertently seen during pre-training.
ここで下流タスクの開発セット(Development Set)と呼んでいるのは、モデルを学習途中の段階での性能を評価し、ハイパーパラメータ(例:学習率、ネットワーク構造など)を調整するために使用されるデータセットのことです。一般に、訓練セットの一部を検証用に分けるため、検証セット(Validation Set)とも呼ばれます。
これに対して、テストセット(Test Set)は学習中(訓練と検証)には一切使用されず、未知のデータに対するモデルの汎化性能を測定するために用いられます。つまり、この3つのデータセット(訓練セット、開発セット、テストセット)に分けることで、モデルの性能をテストセット上で公正に評価することができます。
これは通常の教師あり学習では一般的なデータセットの区分の仕方です。
仮に、テストセットで評価してモデルのパイパーパラメータの調節などを行うと、テストセットからの情報が利用されるために公正な評価が行えなくなるからです。
似た問題として、下流タスクで使われる開発セットやテストセットの情報がインターネット上から集められたものだったりすると言語モデルの事前学習のコーパスにも同じ情報が紛れ込んでいる可能性があります。となると、下流タスクのテストセットでの公正な評価が成立しません。それを懸念しているわけです。
ここでは、事前学習データが下流タスク用の開発セットやテストセットと重複する問題を語っています。このデータ汚染(contamination)が発生すると、評価が過大に見積もられ、モデルの性能が実際よりも良いように誤解されるリスクを生じさせるため、注意を払う必要があるわけです。
また、論文は実際にデータ汚染が発生したことを認めています。
このような汚染を減らすため、本論文で検討したすべてのベンチマークの開発セットおよびテストセットとの重複を検索し、除去を試みました。しかし、フィルタリングにバグがあり、一部の重複が見逃されました。また、訓練のコストが高いため、モデルを再訓練することは現実的ではありませんでした。
To reduce such contamination, we searched for and attempted to remove any overlaps with the development and test sets of all benchmarks studied in this paper. Unfortunately, a bug in the filtering caused us to ignore some overlaps, and due to the cost of training it was not feasible to retrain the model.
「訓練のコストが高いため」というのは切実な問題でしょう。そして、再訓練するのは「not feasible」(実現不可能)と書いてあります。もちろん、実現はできるのですが、一部でデータ汚染があったことがわかったとしても多大なコストをかけて再訓練するほどではないということなのでしょう。よって「現実的ではありませんでした」と訳しました。
これについては、後のセクションで解説すると記されています。
セクション4では、残存する重複の影響を評価し、将来的な研究ではデータ汚染をさらに積極的に除去する予定です。
In Section 4 we characterize the impact of the remaining overlaps, and in future work we will more aggressively remove data contamination.
次回予告
次回は、セクション「アプローチ」の学習に関する部分を読み進めます。
お楽しみに!