
GPT-3を読む⑫ベンチマーク暗記度の評価と防止
前回は、GPT-3の各タスクにおける実験結果を確認しました。少数ショットにおいて性能の向上が見られ、また中には最先端(SOTA、state-of-the-art)の結果も出していました。
論文のタイトル「Language Models are Few-Shot Learners」(言語モデルは少数ショットの学習者)に相応しく、事前学習の後に「ファインチューニング」を行わず、プロンプトに含まれた例文などから学習して高い性能を発揮しました。
ただし、タスクによっては成績が悪いものもありました。なぜ、ベンチマークのタスクによって大きな違いが生まれたのでしょうか?
考えられるのは、テストセットの情報が事前学習データに混入していた可能性です。事前学習データはインターネットから収集されたテキストによって構成されており、GPT-3が答えを暗記していたとしたら、タスクによって性能が大きく異なる一つの要因になりそうです。
この問題を議論しているのが、論文のセクション4「Measuring and Preventing Memorization Of Benchmarks」(ベンチマーク暗記度の評価と防止)です。
暗記に関する議論は、GPT-2の論文の中でも扱われていました。GPT-3でもさらに取り上げていることから、OpenAIの研究者たちは一貫してこの問題にとても慎重に取り組んでいるのがわかります。
では、彼らの見解を読んでいきましょう。
データ混入や暗記の問題
GPT-2とどう変わったか
セクション4は次のように始まります。
私たちの訓練データセットはインターネットから収集されているため、モデルがベンチマークのテストセットの一部を(事前に)学習している可能性があります。インターネット規模のデータセットにおけるテストデータの混入を正確に検出することは、新しい研究分野であり、確立されたベスト・プラクティス(最善の対処法)はまだ存在しません。混入の調査をせずに大規模なモデルを訓練することが広く行われてはいますが、事前学習データセットの規模が拡大するにつれ、この問題に注意を払うことの重要性が増していると私たちは考えています。
Since our training dataset is sourced from the internet, it is possible that our model was trained on some of our benchmark test sets. Accurately detecting test contamination from internet-scale datasets is a new area of research without established best practices. While it is common practice to train large models without investigating contamination, given the increasing scale of pretraining datasets, we believe this issue is becoming increasingly important to attend to.
つまり、「混入調査は難しく確立された対処法はない」「大規模モデルの訓練において混入の調査はあまり行われていない」などの当時の状況を説明した上で、それでも「テストデータの混入を正確に検出すること」は重要であると述べています。
当たり前の意見に聞こえますが、広範なテキストコーパスを調査するのは非常に手間がかかります。しかし、訓練データセットと評価データセットの間に重複があるとモデルの性能評価に影響する可能性が高く、信頼性に関わってきます。
よって、単純に無視できる問題ではありません。
このような懸念は単なる仮定の話ではありません。Common Crawl のデータを用いて言語モデルを訓練した初期の論文 [TL18] では、評価データと訓練データの間で重複が見つかり、それを除外したことが報告されています。GPT-2 [RWC+19] などの研究でも、実験後に重複解析を実施しました。その結果、訓練データと評価データが重複している場合、モデルの性能が多少向上する傾向が見られたものの、データの混入割合がごくわずか(多くの場合、数パーセント)であったため、報告された結果に大きな影響は与えなかったとされています。
This concern is not just hypothetical. One of the first papers to train a language model on Common Crawl data [TL18] detected and removed a training document which overlapped with one of their evaluation datasets. Other work such as GPT-2 [RWC + 19] also conducted post-hoc overlap analysis. Their study was relatively encouraging, finding that although models did perform moderately better on data that overlapped between training and testing, this did not significantly impact reported results due to the small fraction of data which was contaminated (often only a few percent).
GPT-2などこれまでに行われた混入調査では、重複による性能評価へ影響は認められたもの(混入の割合が少なかったため)、ほとんどなかったということです。
しかし、GPT-3ではモデルがより大容量になっており、状況が少し異なります。
GPT-3 は(GPT-2とは)やや異なる状況下で動作しています。データセットとモデルのサイズは GPT-2 の約 100 倍(2桁分)大きく、Common Crawl を大量に含んでいるため、データの混入や暗記の可能性が高まります。
GPT-3 operates in a somewhat different regime. On the one hand, the dataset and model size are about two orders of magnitude larger than those used for GPT-2, and include a large amount of Common Crawl, creating increased potential for contamination and memorization.
GPT-3はGPT-2よりもずっと容量が大きく、その分だけデータを暗記する能力が高いです。また、事前学習にはコモン・クロール(インターネットから集めたテキストコーパス)からのデータが大量に含まれているため、データ混入や暗記の問題が生じる可能性がGPT-2の頃よりもさらに高くなっています。
過学習は認められたのか
ただし、豊富なデータ量は過学習の危険性を下げる効果もあります。
一方で、大量のデータがあるからこそ、GPT-3 175B でさえも、学習データに対して大きく過学習することがないことが示されています。このことは、重複を除去した検証セットで確認されました(図 4.1)。そのため、データの汚染(学習データと評価データの重複)は頻繁に発生すると予想はされますが、その影響は懸念されるほど大きくはない可能性もあります。
On the other hand, precisely due to the large amount of data, even GPT-3 175B does not overfit its training set by a significant amount, measured relative to a held-out validation set with which it was deduplicated (Figure 4.1). Thus, we expect that contamination is likely to be frequent, but that its effects may not be as large as feared.
ここではモデルの過学習を評価するために、訓練セット(事前学習データ) とそれと重複がない 検証セットの間で損失値の比較をしています。
つまり、データ混入が頻繁に発生していたとしても、全体のデータ量が多いために過学習を生じさせるほどではないと述べています。このことは下図によって示されています。

この図は色によってモデルのパラメータ数を表現しています。明るい色ほどパラメータ数が多く、クロスエントロピーによる損失値が下がっています。また、同じ色の実践と点線はそれぞれ、評価損失と訓練損失です。モデルのサイズに関わらず、訓練損失が大幅に評価損失を下回ることがなく、過学習は見受けられません。
縦軸にある「nats/token, smoothed」とは、クロスエントロピーの単位が「nats/token」であることと、損失曲線を見やすくするために何らかのスムージングを適用して損失値を結んでいるからだと考えられます。ただし、どのようなスムーズ化が行われるのかの詳細はありません。
なお、横軸は学習に使われたデータ量をトークン数で表現しています。つまり、訓練が増えても、学習データと検証データによる性能差が大きく拡大していません。これによっても過学習は生じていないのが分かります。
クリーンなベンチマーク
重複を削除できなかった
OpenAIの研究者たちは、もともとは重複を積極的に取り除こうとしていました。しかし、ここで問題が生じました。
私たちは当初、すべてのベンチマークの開発・テストセットとの重複を事前に洗い出して取り除くことで混入の問題に対処しようとしました。しかし、バグの影響で検出された重複の一部しか訓練データから削除されませんでした。訓練に係るコストの関係でモデルを再学習することは現実的ではなかったため、残存する重複が結果に与える影響を詳しく調査することにしました。
We initially tried to address the issue of contamination by proactively searching for and attempting to remove any overlap between our training data and the development and test sets of all benchmarks studied in this paper. Unfortunately, a bug resulted in only partial removal of all detected overlaps from the training data. Due to the cost of training, it wasn’t feasible to retrain the model. To address this, we investigate in detail how the remaining detected overlap impacts results.
つまり、積極的に取り除こうとして検出した重複をすべて取り除くことができなかったため、代わりにどの程度の重複が残り、それが結果にどう影響するのかを調査することにした、ということです。訓練をやり直すことは膨大な時間とお金が係るため、現実的ではなかったようです。
ベンチマークを修正する
そこで論文では、連続するトークン(n-gram)によって識別した重複をベンチマークのデータセットから取り除いて、GPT-3を再評価することにしました。
各ベンチマークにおいて重複を削除した「クリーン」バージョンを作成しました。ここでの重複は、事前学習データセットと13-gram 以上の重複があるテキスト(または、テキストが 13-gram 未満の場合は完全に一致するもの)と定義しています。混入のないデータセットを確実に作成するために、このように僅かでも混入の可能性があるものを識別しています。手順の詳細については 付録C に詳しく記載しています。
For each benchmark, we produce a ‘clean’ version which removes all potentially leaked examples, defined roughly as examples that have a 13-gram overlap with anything in the pretraining set (or that overlap with the whole example when it is shorter than 13-grams). The goal is to very conservatively flag anything that could potentially be contamination, so as to produce a clean subset that is free of contamination with high confidence. The exact procedure is detailed in Appendix C.
13-gram(13個の連続したトークン)が事前学習データセットのテキストと一致する場合、そのテキストをベンチマークのデータセットから取り除きます。そのくらいの重複ならば頻繁に起こりそうですが、それでもクリーンなベンチマークを作るためというわけです。
ちなみに、本来クリーンでないのは学習データの方ですが、前述した通り事前学習をやり直すのが大変なので、ベンチマークから重複を取り除くということです。それを「クリーン」ベンチマーク('clean' version)と呼んでいます。
これは、テストの問題を減らすようなもので、意図していた汎化性能が評価できない可能性もあります。ただし、ここでの目的は重複によってGPT-3が不当に高い評価を得ていないかを調べているので正当性はあると考えられます。
重複による性能の相対差
また、付録Cにフィルタリングの手順の解説があるとのことですが、ここでは割愛します。そこは言語モデルの本質とはあまり関係がないからです。
ただし、下図は見る価値があります。

これは、混入度の高いものから低いものへとベンチマークを並べたものです。
Total Count(合計数):文章の数
Dirty Count(重複数):重複がある文章の数
Clean Count = (合計数) - (重複数)
また、Nとあるのは、重複を調べるときに使った n-gram のトークン数です。論文では、13-gram とありますが、実際にはベンチマークによって 2 から13 に変化しているのが分かります。
Metric(評価方法)の列に、「acc」「f1」「bleu-sb」などが表記されています。これは、正解率(Accuracy)、F1スコア、BLEUスコアのことです。
BLEUのことを「bleu-sb」と表記しているのは、Smoothed BLEU(スムーズ化されたBLEU)の意味だと考えられます。これは、BLEUスコアが0になってしまう問題に対処したものです。
例えば、BLEUの計算を1-gram から4-gramまでのマッチングで行う場合、生成文章の中に4-gramでマッチングできるものがなければ、全体のスコアが0になってしまいます。これは、BLEUが各n-gramのスコアの幾何平均を計算するためです。
そのため、一致しないn-gramに対して小さい値を設定することで、スコアが突然0になることを防ぎスムーズ化しています。BLEUの計算方法はこちらで解説しています。
なお、このn-gramと「重複を調べるためのn-gram(N)」とは関係ありません。
これらの評価法によって、次の3つのスコアが表示されています。
Acc/F1/BLEU:すべての文章で評価
Dirty Acc/F1/BLEU:重複がある文章だけでの評価
Clean Acc/F1/BLEU:重複がない文章だけでの評価
そして、最後に「Relative Difference Clean vs All」とあるのは、クリーンデータのみで測定したスコア(Clean Acc/F1/BLEU) と 全データで測定したスコア(Acc/F1/BLEU) の相対的な変化を示すので、以下のような式を使っていると考えられます。
ただし、実際に計算してみると表にある数字と合わないものがあり、単なる間違いなのか、他に補正があるのかは定かではありません。
この相対的なスコアの違いを見るとほとんどのベンチマークで重複による評価への影響がありません。この部分だけ取り出してみます。

ハイライトしたのは比較的に差が大きいタスクです。残りはすべて5%以下になっています。タスクによって差にも正負があり、重複がある方が必ずしもスコアが高いわけでもありません。
混入は過大評価を生むか
さて、付録Cから論文の本文に戻ります。すでに付録Cで触れてしまいましたが、論文は次のように述べています。
次に、GPT-3 をこのクリーンなベンチマークで評価し、元のスコアと比較しました。クリーンなサブセットでのスコアが全体のデータセットでのスコアと類似している場合、たとえ混入があったとしても、報告された結果に大きな影響を与えていないことを示唆します。一方で、クリーンなサブセットでのスコアが低下した場合、混入によって結果が過大評価されている可能性があると考えられます。結果の概要は 図4.2 に示されています。
We then evaluate GPT-3 on these clean benchmarks, and compare to the original score. If the score on the clean subset is similar to the score on the entire dataset, this suggests that contamination, even if present, does not have a significant effect on reported results. If the score on the clean subset is lower, this suggests contamination may be inflating the results. The results are summarized in Figure 4.2.
重複がある全体のデータセットでの評価が高くなるのであれば、それは混入が大きな影響を持つ可能性があります。
下図を見ると、多くのタスクにおいて、全体のデータセットとクリーンなサブセットでの差は大きくありません。

横軸はクリーンなデータの割合です。縦軸はクリーンなサブセットによるスコアの相対的な変化を示しています。これは、付録Cと同じ情報を異なる形式でまとめたものです。
この図の意味を読み取るには、先に付録Cの表C.1を見るのが手助けとなります。
図の下部(赤の矢印が示す範囲)に属するベンチマークの方が相対的に多く、これは訓練データとの重複によってモデルの性能が過大評価される傾向があることを示唆しています。しかし、どのような重複が検出されたのかを詳しく調べる必要があります。
一方、図の上部(緑の矢印が示す範囲)では、QuAC の評価がクリーンなサブセットで 20% 高くなっており、データ汚染がスコアを低下させていた可能性があります。これも、原因を確認する必要があるでしょう。
QuAC のクリーンなデータが 全体の 1% しかなく、訓練データとの重複が極端に多かった ため、これは重複の影響というよりも、データの分布が大きく異なることが大きく影響した可能性があります。ただし、このようなケースは他のタスクでは見られず、例外的であると考えられます。
しかし、データ汚染の影響はケースバイケースであり、必ずしも事前学習データとの重複があればスコアが上がるとは限りません。一部のタスクではデータ汚染によって性能が向上し(Reversed Words や Anagrams など)、一部のタスクでは逆にスコアが低下することもあります(QuAC)。よって、各タスクごとにより深い考察・分析が必要でしょう。
全体的に、論文はこう結論付けています。
4分の1以上のベンチマークで50%の重複文章があり、データ汚染の可能性が高いですが、多くの場合、性能の変化はごくわずかであり、混入レベルと性能差の間に相関関係がある証拠は見られませんでした。したがって、私たちの慎重な手法が混入の度合いを高く見積り過ぎているか、または混入はモデルの性能にほとんど影響を与えていないと結論付けました。
Although potential contamination is often high (with a quarter of benchmarks scoring over 50%), in most cases performance changes only negligibly, and we see no evidence that contamination level and performance difference are correlated. We conclude that either our conservative method substantially overestimated contamination or that contamination has little effect on performance.
これ以上は、タスクごとに調査するしかありません。
タスクごとのデータ混入
調査対象を決める
論文はこう続けます。
以下のケースについて、より詳しく検討します。
(1) クリーンなバージョンでモデルの性能が大幅に低下したケース
(2) 混入の可能性が非常に高く、性能差の測定が困難なケース
Below, we review in more detail the few specific cases where either (1) the model performs significantly worse on the cleaned version, or (2) potential contamination is very high, which makes measuring the performance difference difficult.
「混入の可能性が非常に高く」というのは、n-gram による重複のチェックによると混入と考えられる数が多いという意味です。ただし、このチェックに引っかかっても本当の重複とは限らないので「可能性が」と述べています。
いずれにせよ、上記2つのパターンに当てはまるベンチマークを重点的に考察するということです。
私たちの分析では、さらに調査が必要な6つのベンチマーク群が特定されました。
• 単語並べ替え(Word Scrambling)
• 読解(QuAC、SQuAD2、DROP)
• 物理的インタラクション: 質問応答(PIQA)
• 推論能力(Winograd)
• 言語モデリングタスク(Wikitext タスク、1BW)
• ドイツ語から英語への翻訳
Our analysis flagged six groups of benchmarks for further investigation: Word Scrambling, Reading Comprehension (QuAC, SQuAD2, DROP), PIQA, Winograd, language modeling tasks (Wikitext tasks, 1BW), and German to English translation.
続いてこう述べています。
私たちの重複分析は 非常に慎重な基準 で行われているため、一部の 誤検出(false positive) が含まれる可能性があります。以下では、それぞれのタスク群について結果を要約します。
Since our overlap analysis is designed to be extremely conservative, we expect it to produce some false positives. We summarize the results for each group of tasks below:
誤検出(false positive)とは、本当は重複ではないのに、n-gram チェックによって重複としてカウントされたという意味です。
以下は選定されたタスクについての考察結果です。
読解力のタスク
読解(Reading Comprehension):最初の分析では、QuAC、SQuAD2、DROP のタスク例の 90%以上 が混入の可能性があると判定され、クリーンなサブセットでの性能差を測定するのは(データセットが異なり過ぎるので)困難でした。しかし、手作業で精査したところ、3つのデータセットすべてにおいて、検出された重複部分は 訓練データに元のテキストが含まれているものの、質問/回答のペアは含まれていない ことが判明しました。つまり、モデルは 背景知識 を学習することはあっても、特定の質問に対する回答を丸暗記することはできないと考えられます。
Reading Comprehension: Our initial analysis flagged >90% of task examples from QuAC, SQuAD2, and DROP as potentially contaminated, so large that even measuring the differential on a clean subset was difficult. Upon manual inspection, however, we found that for every overlap we inspected, in all 3 datasets, the source text was present in our training data but the question/answer pairs were not, meaning the model gains only background information and cannot memorize the answer to a specific question.

要するに関係ない問題からの重複であって、答えを丸暗記したわけではないということでした。
独英翻訳タスク
ドイツ語翻訳:WMT16「ドイツ語-英語」翻訳のテストセットの 25% の例が混入の可能性があると判定され、その影響の大きさは 1~2 BLEU でした。しかし、詳しく調査したところ、フラグが立てられたものには ニューラル機械翻訳(NMT)用の訓練データに類似する対訳文が含まれておらず、一致していたのは 主にニュース記事で取り上げられた出来事の断片であることが判明しました。
German translation: We found 25% of the examples in the WMT16 German-English test set were marked as potentially contaminated, with an associated total effect size of 1-2 BLEU. Upon inspection, none of the flagged examples contain paired sentences resembling NMT training data and collisions were monolingual matches mostly of snippets of events discussed in the news.

これも翻訳の回答(対訳文)を丸暗記したわけではなく、ニュース記事で取り上げられた文章などに重複があっただけでした。
単語の並び替え
逆転単語とアナグラム(Reversed Words and Anagrams):これらのタスクは 「alaok = koala」 のような形式で与えられます。タスクの長さが短いため、フィルタリングには 2-gram を使用し(句読点は無視)、重複が検出された例を詳しく調査しました。その結果、訓練データ内に実際の逆転やアナグラムの例が含まれているわけではなく、多くは「kayak = kayak」などの 回文(上から読んでも下から読んでも同じになる文章、palindromes) や単純な並べ替え(文字の順番を入れ替えたもの)であることが判明しました。混入の割合は少なかったものの、これらの単純なタスクを削除するとタスクの難易度が上がり、誤ったシグナルを生じさせました。
Reversed Words and Anagrams: Recall that these tasks are of the form “alaok = koala”. Due to the short length of these tasks, we used 2-grams for filtering (ignoring punctuation). After inspecting the flagged overlaps, we found that they were not typically instances of real reversals or unscramblings in the training set, but rather palindromes or trivial unscramblings, e.g “kayak = kayak”. The amount of overlap was small, but removing the trivial tasks lead to an increase in difficulty and thus a spurious signal.

タスクの長さが短いため、フィルタリングには 2-gram を使用したために、多くの重複とみなされるケースが引っかかったようです。 その中でも、回文や単純な並び替えの問題が重複に含まれました。これらの問題は難易度が低いため、除外されると残りの問題(逆転やアナグラム)の難易度が平均的に上がるため、クリーンなサブセットでの成績が悪くなったということです。
関連するタスクとして 記号挿入(symbol insertion) では、重複率は高いものの、モデルの性能には影響を与えていません。これは、記号挿入タスクが 単語から非文字(記号など)を取り除く処理 を含んでおり、一方で重複解析自体が記号を無視するため、多くの 誤検出(spurious matches) が発生したためです。
Related to this, the symbol insertion task shows high overlap but no effect on performance – this is because that task involves removing non-letter characters from a word, and the overlap analysis itself ignores such characters, leading to many spurious matches.

記号挿入のタスクでは、単語に含まれる非文字(記号など)を取り除くのが目的です。しかし、重複を調査するフィルタリングのロジックが特別な記号を無視したため、誤って重複と判定するケースが増えました。
よって、これは本当の重複ではなく、それを取り除いてもタスクの性能は変わらなかったため、実際のデータ汚染の影響はほぼなかったというわけです。
物理の質問応答
PIQA:重複解析の結果、29% の例が混入の可能性があると判定され、クリーンなサブセットでは 絶対値で3ポイント(相対値で4%) の性能低下が見られました。このテストデータセットは、私たちの訓練セットが作成された後に公開されており、ラベルも非公開です。しかし、このデータセットの作成に使用されたクラウドソーシング由来の ウェブページの一部 が訓練データ内に含まれていました。
PIQA: The overlap analysis flagged 29% of examples as contaminated, and observed a 3 percentage point absolute decrease (4% relative decrease) in performance on the clean subset. Though the test dataset was released after our training set was created and its labels are hidden, some of the web pages used by the crowdsourced dataset creators are contained in our training set.

PIQAは、事前学習データが準備された時には非公開だったデータセットを使っています。しかし、PIQAを制作する際にクラウドソーシングされたウェッブページの一部がGPT-3の訓練データに含まれていました。
重複と判定された29%のデータを除去したクリーンなサブセットでは4%の性能低下が見られました。よって、暗記による性能の過大評価が疑われました。
しかし、記憶能力が低い小さいモデルでも同様の性能低下がクリーンなサブセットで見られました。
また、記憶能力の低い25分の1のモデル においても同様の性能低下が見られたため、この影響は単なる 暗記(memorization) ではなく、統計的バイアス によるものではないかと考えられます。つまり、データ作成者がコピーした例は、単にモデルにとって解きやすかった可能性があります。しかし、この仮説を厳密に証明することは困難なため、PIQA の結果にはアスタリスク(*)を付け、混入の可能性があることを示しました。
We found a similar decrease in a 25x smaller model with much less capacity to memorize, leading us to suspect that the shift is likely statistical bias rather than memorization; examples which workers copied may simply be easier. Unfortunately, we cannot rigorously prove this hypothesis. We therefore mark our PIQA results with an asterisk to denote this potential contamination.
仮説としては、重複とみなされた問題がたまたま難易度が低いものだったということです。しかし、証明することが難しいため実験結果にはアスタリスク(*)を付けています。これはPIQAの実験結果のところでもすでに触れています。

推論能力タスク
Winograd:重複解析の結果、45% の例が混入の可能性があると判定され、クリーンなサブセットでは 2.6% の性能低下が見られました。重複データを手作業で確認したところ、132個の Winograd スキーマ が訓練データ内に含まれていたことが判明しました。ただし、それらは モデルに与えたタスクとは異なる形式 で提示されていました。性能低下は小さいものの、混入の影響を考慮し、Winograd の結果にはアスタリスク(*)を付け、メイン論文内でその可能性を示しました。
Winograd: The overlap analysis flagged 45% of examples, and found a 2.6% decrease in performance on the clean subset. Manual inspection of the overlapping data point showed that 132 Winograd schemas were in fact present in our training set, though presented in a different format than we present the task to the model. Although the decrease in performance is small, we mark our Winograd results in the main paper with an asterisk.

形式が異なり性能低下も小さいが、重複は認められます。よって、実験結果にはアスタリスク(*)を付けいてます。これもWSCの実験結果のところですでに述べられています。

言語モデリング
言語モデリング:GPT-2 で測定された 4つの Wikipedia 言語モデリングベンチマーク および Children’s Book Test(CBT) のデータセットが、ほぼ完全に訓練データに含まれていることが判明しました。そのため、クリーンなサブセットを確実に抽出することができず、当初はこれらのデータセットでの結果を報告する予定でしたが、最終的には結果を報告しない ことにしました。なお、Penn Tree Bank はその古さゆえに影響を受けておらず、主要な言語モデリングベンチマークとして採用しました。
Language modeling: We found the 4 Wikipedia language modeling benchmarks measured in GPT-2, plus the Children’s Book Test dataset, to be almost entirely contained in our training data. Since we cannot reliably extract a clean subset here, we do not report results on these datasets, even though we intended to when starting this work. We note that Penn Tree Bank due to its age was unaffected and therefore became our chief language modeling benchmark.
大きな重複が認められた「4つの Wikipedia 言語モデリングベンチマーク」 および「Children’s Book Test(CBT」を実験結果から除外しました。
混入分析における限界
よく分からないケース
私たちはまた、混入の割合は高いが性能への影響がほぼゼロ だったデータセットを調査し、実際の混入がどの程度存在するかを確認しました。その結果、多くの場合、誤検出(false positives) が含まれていることが分かりました。つまり、「実際には混入がなかった」か、「混入があってもタスクの答えを直接示すものではなかった」ケースが多かったのです。
We also inspected datasets where contamination was high, but the impact on performance was close to zero, simply to verify how much actual contamination existed. These appeared to often contain false positives. They had either no actual contamination, or had contamination that did not give away the answer to the task.
混入の可能性が高いのに、性能に影響がないケースはほとんど誤検出によるものでしたが、例外がありました。
ただし、例外として LAMBADA では 実際の混入が多く含まれているように見えました。しかし、驚くべきことに、クリーンなサブセットでのスコアは完全なデータセットと比べてわずか 0.5% しか低下しませんでした。
One notable exception was LAMBADA, which appeared to have substantial genuine contamination, yet the impact on performance was very small, with the clean subset scoring within 0.5% of the full dataset.

ただし、LAMBADAにおける空白埋め形式は、答えが隠されているため、暗記が起こりにくい構造になっています。よって、重複があっても影響が少ないと考えられます。
また、厳密に言えば、私たちの 空白埋め(fill-in-the-blank)形式は、最も単純な形の暗記を防ぐ構造になっています。それにもかかわらず、本論文では LAMBADA において大幅な性能向上を達成したため、結果セクションにおいて混入の可能性について言及しました。
Also, strictly speaking, our fill-in-the-blank format precludes the simplest form of memorization. Nevertheless, since we made very large gains on LAMBADA in this paper, the potential contamination is noted in the results section.
しかし、実験結果がSOTAを越えており、重複が影響した可能性を実験結果とともに述べています。LAMBADAの実験結果はこちらです。
クリーンでも分布は変わる
論文はクリーンなサブセットを使った混入分析の限界を述べています。
私たちの混入分析には 重要な制限 があります。それは、クリーンなサブセットが元のデータセットと同じ分布から抽出されているかを確証できない ことです。
An important limitation of our contamination analysis is that we cannot be sure that the clean subset is drawn from the same distribution as the original dataset.
つまり、重複と判定されたデータを取り除くと、クリーンなサブセットのデータ分布が元のテストデータとは異なる可能性があり、比較対象として適正でなくなる子もしれません。
暗記(memorization)が結果(性能)を過大評価したとしても、クリーンなサブセットが偏った分布によって容易なものになり、暗記による過大評価と同じぐらいの性能を発揮する可能性 も考えられます。
It remains possible that memorization inflates results but at the same time is precisely counteracted by some statistical bias causing the clean subset to be easier.
つまり、「過大評価の影響がある一方で、クリーンなデータが統計的に簡単なら、スコアの低下が見られないこともあり得る」 という可能性を示唆しています。
これは、混入の影響が必ずしも性能低下に直結しない理由として(ちょっと偶然過ぎる可能性ですが)理論的にはあり得ます。しかし、論文はこう続けます。
しかし、多くのタスクで性能の変化がほぼゼロに近いこと から、この可能性は低いと考えられます。また、記憶容量が小さく、暗記の影響を受けにくい小規模モデルでも、同様の傾向が観察された ことも、この仮説を裏付けています。
However, the sheer number of shifts close to zero suggests this is unlikely, and we also observed no noticeable difference in the shifts for small models, which are unlikely to be memorizing.
要するに、そんな偶然が多くのタスクで生じるのは考えにくいということです。また、記憶能力の低い小規模のモデルでも同様に性能の低下が見られないので、暗記の影響は低いとみなしています。
最善を尽くすのみ
最後に論文はセクション4をこう締め括っています。
全体として、私たちは データの混入がモデルの性能に与える影響をできる限り測定し、記録する よう努めました。また、混入の深刻さに応じて、問題のある結果には注意を喚起するか、完全に除外する対応 を取りました。しかし、この問題は 依然として重要かつ微妙な課題 であり、ベンチマークの設計やモデルの学習において、より適切に対処するための研究が今後も必要 です。詳細な分析については、付録C を参照してください。
Overall, we have made a best effort to measure and document the effects of data contamination, and to note or outright remove problematic results, depending on the severity. Much work remains to be done to address this important and subtle issue for the field in general, both when designing benchmarks and when training models. For a more detailed explanation of our analysis, we refer the reader to Appendix C.
この結論部分の要点は、「データ混入の影響を慎重に評価し、問題のある結果には適切に対応したが、この問題は依然として重要であり、今後も研究が必要である」 ということです。
実際、これまで読んできた通り、OpenAIの研究者たちは、モデルの性能評価におけるデータ混入の可能性を慎重に調査し、問題のあるベンチマークではアスタリスクを付けたり、データを除外したりすることで誠実に対応しています。
特に、LAMBADAやPIQAなどのケースを詳細に分析し、単なる暗記ではなく統計的なバイアスの可能性も考慮するなど、よく考察しています。
「今後も研究が必要である」に対しては、このような興味深い論文をもっとオープンに発表し続けてほしかったと感じます。
次回予告
次回は、残りのセクションを簡単にまとめて「GPT-3の論文を読む」の最終回とします。
お楽しみに!