
GPT-2を読む⑨一般化 vs 暗記(その1)
前回は、各タスクの結果に関するセクションを読み終えました。
GPT-1の10倍以上の容量(パラメータ数やサイズ)をもつGPT-2のゼロショット能力が向上したのが確認できました。
大規模なデータセット(WebText)で学習をしたGPT-2は「教師なしマルチタスク学習者」として、(特定のタスクで訓練されなくとも)様々な自然言語タスクに対応することができ、そのいくつかにおいて優れた性能を発揮しました。
この結果は、この論文の要約で主張されていたことを裏付けするものです。しかし、容量を増やすことで性能が上がる点について、まだ答えの出ていない疑問があります。
それは要するにGPT-2は、「暗記しているだけ?」という疑問です。

この疑問と関連して、「WebTextにある大量な情報を記憶しているだけ?」とか「容量が大きいほど、いろいろな情報を詰め込めるから?」という疑念が生じました。
また要約には、「それでも、WebTextにまだ適合不足です」(but still underfits WebText)とも書かれていました。この主張は、おそらく「WebTextを暗記しているだけではない」と言っているのではないかと推測しました。
その後も論文を読み続けて、そのアプローチを理解し、実験結果からGPT-2のゼロショットの性能を知りました。しかし、これまでずっと上記2つの質問に対する直接的な答えや議論は出てきませんでした。
いよいよ今回は、セクション4「一般化 vs 暗記」を読みます。
このセクションの存在自体が、OpenAIの研究者たちも上述の疑念を抱いていたことの証です。はたして、GPT-2には、一般化能力が備わっているのか、それとも単に暗記しているだけなのか、と。
今回から2回にわたって、論文の著者たちがどのようにGPT-2に対する「一般化 vs 暗記」の調査に挑んだのかを読み進めます。
一般化を妨げる要因
テストデータは適切に評価しているのか
「一般化 vs 暗記」のセクションは次のように始まります。
最近のコンピュータビジョンの研究では、一般的な画像データセットに ほぼ重複した画像が 少なからず含まれていることが示されています。例えば、CIFAR-10では訓練データとテストデータ間で3.3%の重複が見られます(Barz & Denzler, 2019)。
Recent work in computer vision has shown that common image datasets contain a non-trivial amount of near-duplicate images. For instance CIFAR-10 has 3.3% overlap between train and test images (Barz & Denzler, 2019).
ここで述べられている、CIFAR-10は、(ImageNetなどと比べると)小さな画像分類のためのデータセットです。
10クラスの各クラスに6,000枚の画像が含まれており、合計6万枚のカラー画像(32x32ピクセル)が含まれています。内訳として、訓練用には5万枚、テスト用には1万枚の画像が用意されています。
つまり、1万枚 x 3.3% = 330 ほどのテスト画像が訓練画像と重複している、あるいは非常に似ているということです。
この事実がモデルの性能に与える影響について、参照されている論文 Barz & Denzler, 2019 は、次のように指摘しています。
重複のないテストセットでは、元の性能と比較して、分類の正解率が大幅に低下する(9%から14%)ことが確認されました。
We find a significant drop in classification accuracy of between 9% and
14% relative to the original performance on the duplicate-free test set.
つまり、訓練データとテストデータが重複していると、モデルの能力が適切に評価されません。なぜなら、すでに知っているデータに対する予測は、比較的に容易だからです。
一般化能力は過大評価されている?
訓練データとテストデータの重複について、論文は次のように続けます。
これによって、機械学習システムの一般化性能が過大評価されることになります。データセットのサイズが大きくなるほど、この問題が発生する可能性が高くなります。それは、同じような現象が、WebTextでも起きている可能性を示唆しています。したがって、テストデータがどのくらい訓練データに含まれているかを分析することが重要です。
This results in an over-reporting of the generalization performance of machine learning systems. As the size of datasets increases this issue becomes increasingly likely which suggests a similar phenomena could be happening with WebText. Therefore it is important to analyze how much test data also shows up in the training data.
この文脈で言及されている一般化性能とは、モデルが訓練データに含まれない新しいデータや未知のデータに対しても、正確に予測や分類を行う能力、つまり一般化能力を指しています。一般化能力が高いほど、モデルはさまざまな状況や異なるデータセットに適応できることを意味します。
訓練データとテストデータの重複が多くなる場合、テストデータによる評価には、モデルが訓練データを暗記する能力も含まれることになります。このため一般化能力を過大評価してしまう可能性があります。つまり、未知なデータに対する本来の性能が実際にはずっと低い可能性があります。
端的に言うと、訓練データとテストデータの重複は、機械学習モデルの一般化を妨げる要因になります。
よって、どの程度の重複が存在するのかを調査する必要があります。
ブルーム・フィルターとは
ブルーム・フィルターを使った調査
OpenAIの研究者たちは、データセットの調査に関して次のように続けます。
この調査のために、WebTextの訓練セットのトークンの 8-gram を含むブルーム・フィルターを作成しました。
To study this we created Bloom filters containing 8-grams of WebText training set tokens.
ブルーム・フィルター(Bloom filters)は、データセットの中にあるデータが存在するかどうかを効率的に確認するためのアルゴリズムです。これは1970年に考案されました。
OpenAIの研究者たちは、このアルゴリズムをWebTextに適用して重複の度合いを調査したわけです。その際に、8個の連続したトークンから成るテキストの一部分(8-gram)を使って重複の調査を行いました。
なお、一般的な n-gram ついては、シャノンのn-gramで紹介しました。
以下に、ブルーム・フィルターについて具体例を使って簡単に説明します。
辞書への登録
スパムメールを送信元アドレスによって判断するシステムを考えてみます。
過去に起きたすべてのスパムメールの送信元アドレスをデータセットとして保存し、それに照らして新着メールのアドレスを確認するとします。しかし、全アドレスを保存するとメモリを大量に消費します。また、リストを順番に検索するとしたら実行速度が遅くなるでしょう。要するにメモリ効率と時間効率が悪いです。
そこでブルーム・フィルターを使用します。
ブルーム・フィルターでは、「0」か「1」かの値をとるビットの配列をデータ構造として使います。ここでは、100個のビットが全て「0」に初期設定されているとします。
次に、メールのアドレスの特徴を捉えて、ビット配列に「1」の値を設定していきます。この処理では、複数の異なるハッシュ関数を使うので、3つあるとします。
ハッシュ関数は、アドレスの内容を要約して0から99までの整数に変換します。これがビット配列内の位置に相当します。この位置のビットを「1」に設定します。
例えば、3つのハッシュ関数が「2、27、59」のビット配列内の位置を出力したとすると、その位置のビットが「1」になります。
つまり、3つのハッシュ関数によって選ばれた位置のビットが「1」に設定されます。異なるハッシュ関数からの値が重複しても構いません。一度、「1」に設定されたビットはずっと「1」のままです。
これを全ての過去スパムメールに対して行います。これでスパムメールの辞書が出来上がりました。
辞書との照合
新しいメールアドレスが届いたとき、このアドレスが過去にスパムとして登録されていたかを確認します。
3つのハッシュ関数を使って、新しいメールアドレスを3つの位置に変換します(重複しても構いません)。辞書と照合して、該当する位置のビットがすべて「1」になっているかを調べます。
該当する位置がすべて「1」なら、そのアドレスは過去のスパムメールのアドレスの一つに該当すると考えます。ただし、これはあくまで「存在するかもしれない」ということを示しており、偽陽性(本当は陽性ではないのに陽性と判定)の可能性があります。
該当する位置の1つでも「0」が含まれていた場合、確実にそのアドレスは過去のスパムメールのアドレスではないと判断できます。この場合は、「存在しなかった」ことが保証されます。
メリット・デメリット
ブルーム・フィルターを使うことで、メモリ使用量を大幅に減らし、大規模データセットに対して効率的に検索を行うことができます。
デメリットとしては、あるメールアドレスが「スパム」と判断されても、実際にはそのアドレスはスパムでない場合があります。
つまり、ハッシュ関数はメールアドレスを限られたサイズのビット配列に変換するため、異なるアドレスが同じビットの位置を共有することがあります。このため、辞書に「存在する」と誤って判断される(偽陽性が発生する)ことがあります。
逆に、スパムメールのアドレスが辞書に「存在しない」と誤って判断されること(偽陰性)はありません。よって、何かがリストの中に存在しないことを判断するのに向いています。
ただし、スパムメールのアドレスの辞書が完全でなければ、ブルーム・フィルターが「存在しない」と判断しても、その判断が正しいとは限りません。
ブルーム・フィルターは、メールの中身を判断していないので、未知のアドレスから送られたスパムメールを正しく判断することはできません。
以上より、ブルーム・フィルターを使うことで、メモリ使用量を大幅に減らし、大規模データセットの中にあるデータが存在するかどうかを効率的に確認することがメリットです。
ブルーム・フィルターの調節
ブルーム・フィルターを大規模言語データセットに適用するには、言語独特の性質を考慮する必要があります。
8-gramを使う理由
2つのコーパスにおける重複を調査するのに、GPT-2の論文では、8-gram(8個の連続したトークンの連なり)を使っています。
しかし、なぜ 8-gram なのか、5-gram ではダメなのか。これについては論文では説明されていません。
ここでは、n-gramに含めるトークンの数と精度との関係について少し考察してみます。
トークンの数が少ない n-gram(例:3-gram)だと、該当するケースが多くなり、偽陽性(実際には重複でないのに、重複だと判断してしまうこと)が増える可能性があります。
トークンの数が多い n-gram(例:20-gram)だと、該当するケースが少なくなり、偽陰性(実際には重複なのに、重複でないと判断してしまうこと)が増える可能性があります。
直感的に考えると、平均的に一つの文を含むぐらいの長さが、文章の重複を調べるのにちょうど良さそうです。
いずれにせよ、この論文では、8-gramでの重複分析が行われました。後でその結果を見ます。
再現率を高める
ブルーム・フィルターを適用に関して、論文は次のように述べています。
再現率(リコール)を向上させるために、文字列は小文字の英数字のみを含むように正規化され、単一のスペースを区切り文字として使用しました。
To improve recall, strings were normalized to contain only lower-cased alphanumeric words with a single space as a delimiter.
ここで、再現率(リコール)が使用されているのは、それが存在する要素を見逃さないための指標だからです。
再現率は、真陽性率(True Positive Rate)とも呼ばれ、以下に定義されます。
TP:真陽性(True Positive)
FN:偽陰性(False Negative)
真陽性は、実際の重複を「重複である」と正しく判断した数です。偽陰性は、実際の重複を「重複ではない」と間違って判断した数です。
つまり、実際の重複の内、どれだけの割合を重複だと正しく判断したかの指標です。これが1に近いほど再現率(真陽性率)が高く、0に近いほど再現率(真陽性率)が低いことになります。
よって、ブルーム・フィルターの分析では、再現率を高めることが重要です。
例えば、重複する要素をテキストから検出するのに、大文字と小文字の区別は(多くの場合は)不要であり、大文字は小文字化されました。
また、トークンの区別は、単純に「単一のスペースを区切り文字」として行なっています。これは、純粋にテキストとしての重複を見つけたいだけだからです。
なお、バイト対符号化(BPE)は、ここでは使われていません。
偽陽性率を抑える
論文は、もう一つの指標として偽陽性率について次のように述べています。
ブルーム・フィルターは、偽陽性率を 以下に抑えるように設計されました。さらに、この低い偽陽性率を確認するために、100万個の文字列を生成し、その中でフィルターに引っかかったものがゼロであることを検証しました。
The Bloom filters were constructed such that the false positive rate is upper bounded by . We further verified the low false positive rate by generating 1M strings, of which zero were found by the filter.
なお、偽陽性率は、次のように定義されます。
FP:偽陽性
TN:真陰性
偽陽性は、重複ではないものを「重複である」と間違って判断した数です。真陰性は、重複ではないものを「重複ではない」と正しく判断した数です。
以下の表も参考にしてください。

この表を実際のクラスから横に進むように見てください。
真陽性率は、実際のクラスが陽性である場合に、陽性だと正しく判断した割合です。よって、True Positive Rateとなります。
偽陽性率は、実際のクラスが陰性である場合に、陽性だと誤って判断した割合です。よって、False Positive Rateとなります。
論文は、この偽陽性率を 以下に抑えるように設計したと述べています。これは、誤って「重複する」(存在する)と判断されるケースを減らすためです。
WebTextのような大規模なデータセットにおいて、低い偽陽性率を保つことで、重複の正確な検出やモデルの一般化性能の正しい評価を目指しています。
そこで彼らは、上述されているように「100万個の文字列を生成し、その中でフィルターに引っかかったものがゼロである」ことを確認しました。
以上によって、ブルーム・フィルターでWebTextと他のデータセットとの重複を調べる準備が整いました。
次回予告
次回も、セクション4「一般化 vs 暗記」を読み続けます。
お楽しみに!