
GPT-3を読む⑤導入(その3)
前回までに、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の「導入」の中盤まで読みました。
大容量の言語モデルは事前学習によって、「与えられた指示や例文」の内容から学習(文脈内学習)する能力を得るということが、GPT-2の頃からわかってきました。また、文脈学習をメタ学習の枠組みの中で捉えるという解説もありました。
ただし、GPT-2の実験が行われた頃は、メタ学習や文脈学習といった概念は明確化されていませんでした。また、GPT-2では「例文を与える言語タスク」において、
「事前学習+ファインチューニング」にはるかに劣る結果しか達成しませんでした。よって、研究の方向性としてはどうなのかという疑問が残っていました。
一方で、GPT-2以後にさまざまな企業や研究者による言語モデルの大容量化が進み、モデルの容量と性能の向上を結びつけて一種の法則と捉えるスケール則が、言語モデルの性能を向上させる一つの指針となっていました。
そこで、OpenAIの研究者たちは、当時としては最も大容量だったマイクロソフトのTuring-NLGの10倍の容量を持つGPT-3を事前学習し、「ゼロショット、ワンショット、少数ショット」によって評価することを計画しました。
GPT-1 : 1億パラメータ(OpenAI)
BERT : 3億パラメータ(Google)
GPT-2 : 15億パラメータ(OpenAI)
Megatron-LM: 80億パラメータ(NVIDIA)
T5 : 110億パラメータ(Google)
Turing-NLG : 170億パラメータ(Microsoft)
GPT-3 :1750億パラメータ(OpenAI)
この論文の「導入」の残りの部分では、GPT-3の実験の結果の概要が述べられています。また、OpenAIの研究者による社会全体への影響などについても触れられています。
今回をこれらを読み進めます。
ゼロ、ワン、少数ショットの結果
GPT-3における「ゼロ、ワン、少数」ショットの結果は、図1.2に大変わかりやすくまとめてあります。

この図の下横軸は、例文の数です。、、とありますが、これはゼロショット、ワンショット()、そしてを含む少数ショットの意味です。図の上横軸にラベルが書かれています。
例文の数が増えるほど正解度(左縦軸:Accuracy)がよくなります。また、その傾向は、パラメータ数(右縦軸:Params)が増えるほど顕著になっています。
大規模モデルの曲線が急に上昇しており、文脈情報からタスクを学習する能力が大きく向上していることを示しています。
なお、点線は自然言語による指示の文章(プロンプト)が無いことを意味します。
例文の数が少ない場合(例えば10以下)では、プロンプト(実線)があるほうが正解度が高いです。ただし、例文の数が増えると、プロンプトがなくとも同等の性能を発揮しています。これは例文からプロンプトから得られるのと同等の情報を得られていることを意味します。
この実験について論文では次のように解説しています。
図1.2は本研究で検討した条件を示しており、単純なタスク(単語から不要な記号を削除する)における少数ショット学習の例を示しています。モデルの性能は、自然言語によるタスクの説明が追加されることで向上し、モデルのコンテキスト内に含まれる例の数 が増加することでさらに向上します。また、少数ショット学習の性能はモデル容量が大きくなると劇的に向上します。このタスクによる結果では特に顕著ですが、モデル容量と文脈内の例文の数に関する全般的な傾向は、ほとんどのタスクで共通して見られます。これらの「学習」曲線は、勾配更新や微調整を一切行わず、条件付けとして与えられるデモンストレーションの数を増やすだけで得られることを強調します。
Figure 1.2 illustrates the conditions we study, and shows few-shot learning of a simple task requiring the model to remove extraneous symbols from a word. Model performance improves with the addition of a natural language task description, and with the number of examples in the model’s context, K. Few-shot learning also improves dramatically with model size. Though the results in this case are particularly striking, the general trends with both model size and number of examples in-context hold for most tasks we study. We emphasize that these “learning” curves involve no gradient updates or fine-tuning, just increasing numbers of demonstrations given as conditioning.
このタスクは「単語から不要な記号を削除する」という単純なものですが、少数ショットにおける性能がほぼ例文の数に比例する傾向が確認できます。
また、この傾向は、タスクが単純だからではないことを論文は、「モデル容量と文脈内の例文の数に関する全般的な傾向は、ほとんどのタスクで共通して見られます」と述べています。これについては、論文の本文の方でより詳しく解説されるでしょう。
スケール則は文脈学習によく効くが…
ここまで読んできて、どうもスケール則は文脈内学習によく効くようです。さらに、論文は続けます。
全体的に見て、GPT-3は自然言語処理(NLP)タスクにおいて、ゼロショットおよびワンショットで有望な結果を達成しており、少数ショットでは、時には最先端モデル(ファインチューニングされたモデル)と同等あるいはそれを上回る場合もあります。例えば、CoQAではゼロショットのF1スコアとして81.5を達成し、ワンショットでは84.0、少数ショットでは85.0を記録しました。同様に、TriviaQAでは、ゼロショットの正解率が64.3%、ワンショットで68.0%、少数ショットで71.2%を達成しており、この最後の結果は同じクローズドブック設定で動作する最先端のファインチューニングモデルに匹敵します。
Broadly, on NLP tasks GPT-3 achieves promising results in the zero-shot and one-shot settings, and in the the few-shot setting is sometimes competitive with or even occasionally surpasses state-of-the-art (despite state-of-the-art being held by fine-tuned models). For example, GPT-3 achieves 81.5 F1 on CoQA in the zero-shot setting, 84.0 F1 on CoQA in the one-shot setting, 85.0 F1 in the few-shot setting. Similarly, GPT-3 achieves 64.3% accuracy on TriviaQA in the zero-shot setting, 68.0% in the one-shot setting, and 71.2% in the few-shot setting, the last of which is state-of-the-art relative to fine-tuned models operating in the same closed-book setting.
GPT-2とは違って、GPT-3は少数ショットにおいて、当時最先端の性能を持つファインチューニングモデル以上の性能を見せたとのことです。
まあ、GPT-2(15億パラメータ)と比較すると、GPT-3(1750億パラメータ)は100倍以上の容量ではあります。このことは、後で言及される「データ汚染による過大評価があるのでは?」と疑いたくなる理由でもあります。
なお、ここで述べられているクローズドブック設定(Closed-book setting)とは、モデルが質問に答える際に外部リソース(例えば、検索エンジンやデータベース)を利用しないということです。
TriviaQAには、オープンブック設定(open-book setting)のタスクがあり、そこでは質問に答えるための参照文書(Wikipedia記事など)が提供されます。つまり、外部の情報をいかに上手く利用するかが問われています。
例えば、TriviaQAには、こんな質問があります。
質問: 連合軍がエーゲ海の島々を占領しようとした第二次世界大戦のドデカネス作戦は、1961 年に高い評価を受けたどの特殊部隊の映画にインスピレーションを与えましたか?
抜粋: 第二次世界大戦のドデカネス作戦は、1943 年 9 月のイタリア降伏後、連合軍がイタリアが支配していたエーゲ海のドデカネス諸島を占領し、ドイツが支配するバルカン半島に対する基地として利用しようとした作戦でした。この失敗した作戦、特にレロス島の戦いは、1957 年の小説「ナバロンの要塞」と、1961 年に公開された同名のヒット映画のインスピレーションとなりました。
回答: ナバロンの要塞
Question: The Dodecanese Campaign of WWII that was an attempt by the Allied forces to capture islands in the Aegean Sea was the inspiration for which acclaimed 1961 commando film?
Excerpt: The Dodecanese Campaign of World War II was an attempt by Allied forces to capture the Italian-held Dodecanese islands in the Aegean Sea following the surrender of Italy in September 1943, and use them as bases against the German-controlled Balkans. The failed campaign, and in particular the Battle of Leros, inspired the 1957 novel The Guns of Navarone and the successful 1961 movie of the same name.
Answer: The Guns of Navarone
GPT-3ではこのようなタスクを使っていません。このような質問は、プロンプトの一部として抜粋(関連情報)が提供されており、少数ショットの文脈からパターンを学ぶというよりも、同じ情報を探す情報検索や単純なマッチングの能力を測る側面が強くなります。よって、少数ショット評価には適さないと判断されたと考えられます。
論文はさらに続けて、GPT-3が少数ショット(つまり、文脈内学習)で優れた能力を発揮することに言及しています。
また、GPT-3は、すばやい適応や推論を評価するタスク(単語の並べ替え、算術の実行、新しい単語の定義を一度だけ見た後に文章で使用する)において、ワンショットおよび少数ショットで優れた能力を示します。また、少数ショットでは、GPT-3が人間の評価者が人間が作成した記事と区別するのが難しい合成ニュース記事を生成できることも示しています。
GPT-3 also displays one-shot and few-shot proficiency at tasks designed to test rapid adaption or on-the-fly reasoning, which include unscrambling words, performing arithmetic, and using novel words in a sentence after seeing them defined only once. We also show that in the few-shot setting, GPT-3 can generate synthetic news articles which human evaluators have difficulty distinguishing from human-generated articles.
ここで「人間が作成した記事と区別するのが難しい合成ニュース記事を生成できる」というのが社会的な影響はどうなのかという疑問を沸き起こさせます。これについても論文は後で言及しています。
また、少数ショットの性能が発揮できないタスクもあることが述べられています。
同時に、GPT-3のスケールでも少数ショットのパフォーマンスが苦戦するタスクがあることも確認しました。これには、ANLIデータセットのような自然言語推論タスクや、RACEやQuACといった読解データセットが含まれます。これらの制限を含むGPT-3の強みと弱みを幅広く特定することで、言語モデルにおける少数ショット学習の研究を促進し、進展が最も必要とされる領域に注目を集めたいと考えています。
At the same time, we also find some tasks on which few-shot performance struggles, even at the scale of GPT-3. This includes natural language inference tasks like the ANLI dataset, and some reading comprehension datasets like RACE or QuAC. By presenting a broad characterization of GPT-3’s strengths and weaknesses, including these limitations, we hope to stimulate study of few-shot learning in language models and draw attention to where progress is most needed.
つまり、スケール則は文脈学習によく効くケースがある一方、いくつかの実験においてはそうでもなかったということです。これらの実験の詳細は論文の本文で解説があるので、そこでより深くGPT-3の弱点を理解することができるでしょう。
それでも少数ショット(つまり文脈内学習)における性能の向上が一般的な傾向であることが、以下の図で示されています。

これは、42個のタスクにおける正解度をゼロショット(青色)、ワンショット(緑色)、少数ショット(オレンジ色)に関して平均したものです。なお、横軸がパラメータ数(単位:10億)で、縦軸が正解率です。
ゼロショット → ワンショット → 少数ショットの順に性能が高くなるのが平均的な値として見ることができます。
ただし、各タスク(薄い色の線)ごとの結果はバラバラになっており、それをまとめたからといって、「そういう傾向が見られるようだ」以上のことは言えません。
論文でも次のように述べています。
全体的な結果の感覚的な概要は、図1.3で確認できます。この図はさまざまなタスクを集約したものですが、厳密または有意義なベンチマークとして捉えるべきではありません。
A heuristic sense of the overall results can be seen in Figure 1.3, which aggregates the various tasks (though it should not be seen as a rigorous or meaningful benchmark in itself).
このことは、それぞれのタスクの内容と結果をよく吟味する必要があることを意味します。
データ汚染による過大評価は?
大規模言語モデルの事前学習には、大量のテキストデータ(例:コモン・クロール)が使用されます。それらの多くはインターネットから集められたものであり、テストで使うタスク固有のデータセットに含まれることがあります。
これは、GPT-2では重複(Overlap)の問題と呼ばれていたものです。重複があると、モデルがその内容を「記憶」して、テストの際に記憶したデータを再生している可能性があるということです。つまり、一般化能力ではなく暗記能力になっているかもしれないということで、GPT-2ではブルーム・フィルターによって調査が行われました。
GPT-3でも同様の問題に関して、次のように述べています。
また、「データ汚染」の体系的な研究も行いました。これは、コモン・クロール(Common Crawl)のようなデータセットを使用して高容量モデルを訓練する際に増大する問題であり、これらのデータセットには、テスト用のデータセットの内容が(ウェブ上に存在するために)含まれている可能性があります。本論文では、データ汚染を測定し、その歪みの影響を定量化するための体系的なツールを開発しました。GPT-3のパフォーマンスには、ほとんどのデータセットでデータ汚染の影響が最小限であることが分かりましたが、結果を過大評価している可能性があるいくつかのデータセットも特定しました。その場合、結果を報告しないか、深刻度に応じてアスタリスクを付けて注意を促す対応を取っています。
We also undertake a systematic study of “data contamination” – a growing problem when training high capacity models on datasets such as Common Crawl, which can potentially include content from test datasets simply because such content often exists on the web. In this paper we develop systematic tools to measure data contamination and quantify its distorting effects. Although we find that data contamination has a minimal effect on GPT-3’s performance on most datasets, we do identify a few datasets where it could be inflating results, and we either do not report results on these datasets or we note them with an asterisk, depending on the severity.
「重複」(Overlap)ではなく「データ汚染」(Data Contamination)と読んでいるので、以前より何が変わったのでしょうか。ここでは書かれておりません。ただし、重複と同様の概念がコアにあるような印象は受けます。
「体系的なツールを開発」したと書いてあるので、ブルーム・フィルターよりもっと強力な調査方法が見つかったようです。これも、論文の本文から分かることでしょう。
いずれにせよ、OpenAIの研究者たちは、一般化能力の評価に対して非常に真摯に向き合っているのが伺えます。
社会全体への影響について
図1.2については、すでに言及されていますが、再び取り上げられています。

さらに、上記に加えて、1億2500万パラメータから130億パラメータまでの範囲にわたる小型モデルを一連で訓練し、ゼロショット、ワンショット、少数ショットの設定におけるGPT-3との性能比較を行いました。ほとんどのタスクで3つ設定においてモデル容量に応じて性能が上がるスケーリングが見られました。注目すべき点として、ゼロショット、ワンショット、少数ショットの性能差がモデル容量とともに拡大する傾向があり、これが大規模モデルがより熟練したメタ学習者であることを示唆している可能性があります。
In addition to all the above, we also train a series of smaller models (ranging from 125 million parameters to 13 billion parameters) in order to compare their performance to GPT-3 in the zero, one and few-shot settings. Broadly, for most tasks we find relatively smooth scaling with model capacity in all three settings; one notable pattern is that the gap between zero-, one-, and few-shot performance often grows with model capacity, perhaps suggesting that larger models are more proficient meta-learners.
ここでは、導入の締めに向けて「大規模モデルがより熟練したメタ学習者である」ことを主張したかったようです。
そして、GPT-3が高い能力を持つことへの懸念を表明しています。
最後に、GPT-3が示す幅広い能力を踏まえ、バイアスや公平性、そして社会全体への影響についての懸念を議論し、これらに関するGPT-3の特性の予備的な分析を試みます。
Finally, given the broad spectrum of capabilities displayed by GPT-3, we discuss concerns about bias, fairness, and broader societal impacts, and attempt a preliminary analysis of GPT-3’s characteristics in this regard.
導入の終わりは、この後の本文の内容を案内しています。
本論文の残りの構成は以下の通りです。第2節では、GPT-3の訓練および評価方法について説明します。第3節では、ゼロショット、ワンショット、少数ショットにおける全タスクの結果を提示します。第4節では、データ汚染(訓練データとテストデータの重複)に関する問題を扱います。第5節では、GPT-3の限界について議論します。第6節では、より広範な影響について議論します。第7節では関連研究をレビューし、第8節で結論を述べます。
The remainder of this paper is organized as follows. In Section 2, we describe our approach and methods for training GPT-3 and evaluating it. Section 3 presents results on the full range of tasks in the zero-, one- and few-shot settings. Section 4 addresses questions of data contamination (train-test overlap). Section 5 discusses limitations of GPT-3. Section 6 discusses broader impacts. Section 7 reviews related work and Section 8 concludes.
これで「導入」セクションは終わりです。1750億のパラメータを持つ大規模言語モデルGPT-3はスケール則を体現し、少数ショットによる文脈学習の能力がGPT-2よりも大幅に向上しました。
また、GPT-2同様の心配事がさらに重大になって来たようです。それが「データ汚染」と「社会全体への影響」です。また、GPT-3にはなんらかの限界があるとのことです。これらの話題は後のセクションでさらに深掘りされます。
次回予告
次回は、「アプローチ」を読み進めます。GPT-3の訓練および評価方法について説明があるので、これは読むべきセクションです。
お楽しみに!