
GPT-3を読む②構造と方針
前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の要約と結論を読みました。
要約と結論から、いくつかの疑問も湧き起こりました。これから読み進むにつれてその解答合わせもできることを目指しています。
今回は、疑問に思っていることなどを踏まえて、どのあたりに注力して読むかを決めます。まずは、論文の全体構造をざっくりと見渡しながら、軽く図や表に触れていきます。
ところで、この論文は、GPT1・2の論文よりずっと長めの論文になっています。付録が多いこともありますが、本文もかなり長くなっています。その理由も探ってみましょう。
なお、これまで通り論文の読み方に大体従っています。
論文の全体構造
この論文をさらっと見渡してすぐに気づくのは、2ページ目に目次があることです。この論文が目次をつける必要があるくらいに長いというわけで、本文だけでも40ページあり、その後に付録が20ページほど続きます。

「これは本ですか?」と言いたくなる長さですが、ページ数も踏まえて論文の全体構造を見てみましょう。
要約(Abstract)約0.5ぺージ
導入(Introduction)約3.5ページ
アプローチ(Approach)約4ページ
実験結果(Results)約19.5ページ
ベンチマーク暗記度の評価と防止(Measuring and Preventing Memorization Of Benchmarks)約4ページ
限界(Limitations)約1.5ページ
広範な影響(Broader Impacts)約5ページ
関連研究(Related Work)約1.5ページ
結論(Conclusion)7行
そして24ページほどの付録と7ページほどの参考文献が続きます。
中でも実験結果が本文の約50%を占めています。このことは多くの名前が著者リストに並んでいたことの理由を示唆しています。つまり、実験をする人手がそれだけ必要だったということです。

この論文が「少数ショット」にフォーカスしていることは、論文のタイトルや前回に読んだ「要約」や「結論」から分かっていますが、その多くの時間と労力は実験に費やされたのが伺えます。
よって、この論文の構造は実験結果を境に前後に大きく分けて考えることが出来ます。つまり、以下の3部構成です。
第1部:「導入」と「アプローチ」
第2部:「実験結果」
第3部:「ベンチマーク暗記度の評価と防止」、「限界」、「広範な影響」
それぞれについて読む方針を考えます。
第1部:「導入」と「アプローチ」
「導入」をざっくり見渡す
GPT-2では、約1ページほどだった「導入」がGPT-3では3ページ以上あり、図もふんだんに描かれています。

この図では、「meta-learning」(メタ学習)や「in-context learning」(文脈ない学習)といった用語があります。これらは以前のGPT論文には登場していないので、ハイライトして「これらの用語の意味を確認せよ」とコメントしました。
次の図では、あるタスクにおける「ゼロショット」、「ワンショット」、「少数ショット」の正解率を比較しています。

これを見るとモデルの容量(パラメータ数)がある程度の規模になると、一気に性能が向上することを表示しているのがわかります。これは、要約でも述べられていたスケーリング則と少数ショットの組み合わせを検証するというアプローチの結果を示しています。
また、正解率の線の傾斜の度合いから、少数ショットによる例文(プロンプト)が性能の向上に大きく貢献しているのがわかります。図を見ているだけで、すでに興味深いですね。
以下の図は、複数のタスクからの平均正解率を「ゼロショット」、「ワンショット」、「少数ショット」に対して表示しています。

ここでは、「ゼロショット」よりも「ワンショット」、「ワンショット」よりも「少数ショット」の性能が高いことが示されています。つまりは、ある特定のタスクだけで「少数ショット」が際立っているわけではないということです。
こうしてざっくり読み取ると「導入」では、すでに今回のアプローチの素晴らしさを自慢しているかのようです。
「アプローチ」をざっくり見渡す
アプローチでは、以下の手法を比較しながら説明しています。
ファインチューニング
少数ショット
ワンショット
ゼロショット
これまで、GPT-1とGPT-2を読んできた我々にとって、これらはおそらくこれまでの復習的なものでしょう。何か発見があるかもしれませんが、割と早く読み進めることを期待しています。
関連して、以下の図も用意されています。

GPT-2では、4つの異なる容量のモデルが比較されていましたが、今回はモデルや訓練の設定がより細かく指定されいます。

実際に読むときは、このような設定をした意図を探ることになるでしょう。
この後には次のようなサブセクションが続きます。
モデルとアーキテクチャ(Model and Architectures)
訓練データセット(Training Dataset)
訓練プロセス(Training Process)
評価(Evaluation)
以下の図では、GPT-3のパラメータ数が他のモデルよりずっと多いのにも関わらず、訓練にかかる計算量が少なくて済んでいることがわかります。

この理由として、GPT-3が扱うトークン数が比較的に少ないことが挙げられています。これがどうパフォーマンスに影響するのかは、どこかに書いてあると思われるので忘れないように「性能が悪くならないのか?」とマークしておきます。
なお、付録(Appendix)への参照があちらこちらに見受けられるので、「アプローチ」のセクションとしては概要に留めているようですが、それでも4ページあるのでそれなりの読み応えがあります。
第2部:「実験結果」
なお、第2部はサブセクションごとに各タスクを扱っています。
Language Modeling, Cloze, and Completion Tasks
Closed Book Question Answering
Translation
Winograd-Style Tasks
Common Sense Reasoning
Reading Comprehension
SuperGLUE
NLI
Synthetic and Qualitative Tasks
各タスクに対して、結果の表とグラフがあります。ここでも、「ゼロショット」、「ワンショット」、「少数ショット」が比較されており、「少数ショット」の性能が他を上まっているのが見られます。
ただし、これらのサブセクションはどれも情報量が多いので、図や表をここでは表示しません。
こういう時こそ、PDFのアウトラインを開いて、各セクションを行ったり来たりするのが役に立ちます。

このセクションを読む方針としては、客観的な事実を掴むことに徹します。つまり、一字一句読むことはしません。初めから詳細にハマりすぎると途中で読む気がなくなるからです。
いずれにせよ、約20ページなので、それなりの時間がかかるでしょう。
第3部:「ベンチマーク暗記度の評価と防止」、「限界」、「広範な影響」
第3部は、この論文の独特なセクションであり、おそらく色々と言いたいことが含まれている予感がします。
「ベンチマーク暗記度の評価と防止」
モデルの容量を増やすと性能が良くなるのは「暗記しているだけ?」という疑問は、GPT-2の論文の「一般化 vs 暗記」でも扱われていました。今回、さらに大容量となるGPT-3に関して、同様の観点から調査しているようです。
学習データセットがインターネットから取得されているため、モデルがいくつかのベンチマークのテストセットで訓練されている可能性があります。インターネット規模のデータセットからの「テスト汚染」を正確に検出することは、確立されたベストプラクティスがまだ存在しない新しい研究分野です。
Since our training dataset is sourced from the internet, it is possible that our model was trained on some of our benchmark test sets. Accurately detecting test contamination from internet-scale datasets is a new area of research without established best practices.
「テスト汚染」とは、要するに答えとなる内容が学習セットに混じっている(答えが漏れている)ことです。これを正確に検出する手法は、まだ確立されていない新しい研究分野だといっています。
では、どのような切り口でこの問題に取り組むのか、GPT-2における手法と異なる発見があるのでしょう。

4ページありますが、このセクションは熟読に値するでしょう。
「限界」
このセクションの「限界」(Limitations)とはなんでしょうか。
GPT-3とその分析にはいくつかの限界があります。以下にそれらの限界を説明し、今後の研究の方向性を提案します。
GPT-3 and our analysis of it have a number of limitations. Below we describe some of these and suggest directions for future work.
というわけで「この論文における分析が完璧ではないよ」ということを、約1.5ページにまとめたようです。ここもじっくり読んで理解するべきでしょう。
「広範な影響」
約5ページにわたるこのセクションでは、言語モデルがもたらす様々な影響について述べられています。以下の、サブセクションがあります。
言語モデルの悪用(Misuse of Language Models)
悪用の可能性のある応用(Potential Misuse Applications)
脅威アクターの分析(Threat Actor Analysis)
外部のインセンティブ構造(External Incentive Structures)
公正性、バイアス、表現(Fairness, Bias, and Representation)
ジェンダー(Gender)
人種(Race)
宗教(Religion)
将来のバイアスと公正性の課題(Future Bias and Fairness Challenges)
エネルギー消費(Energy Usage)
「要約」でも指摘されていましたが、GPT-3の性能が社会へ与える影響を心配しているのがわかります。また、エネルギーの消費の問題も取り上げています。
これらはもちろん現実社会に与える影響として重要な話題ですが、言語モデルを理解するという点からはちょっと一線を画します。つまり、技術的な理解とその応用や影響が異なる側面として存在するため、技術やビジネスばかりにフォーカスしていると忘れがちな観点です。
色々と話題になることも多いので知っておくべき内容でしょう。
話は少しそれますが、大規模言語モデルが一般に広がっていない頃から、OpenAIの研究者たちはその安全性を重視していました。
OpenAIの目的は以下のように述べられています。
我々の使命は、汎用人工知能(AGI)—すなわち、人間よりも一般的に賢いAIシステム—が人類全体に利益をもたらすことを確保することです。
Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.
しかし、最近では、OpenAIは設立当初の目的から逸脱しているとの批判を受けています。特に、営利企業への移行やMicrosoftとの提携により、商業的利益を優先しているとの指摘があります。2024年3月には、共同設立者のイーロン・マスク氏が、OpenAIが設立時の非営利的な理念を遵守していないとして提訴しました。
2024年11月現在、OpenAIの創設メンバー11名のうち、現在も在籍しているのは、一度クビになりかけたサム・アルトマンとウォイチェフ・ザレンバの2名のみです。 他の創設メンバーは、さまざまな理由でOpenAIを離れています。
例えば、イリヤ・サツケバーは2024年5月に退任し、Safe Superintelligenceを設立しました。 また、ジョン・シュルマンは大規模言語モデルClaudeを開発しているAnthropicに移籍しています。
このように、創設メンバーの多くがOpenAIを離れ、新たな道を歩んでいますが、上記のメッセージが今後も変わらないことを祈ります。
読む方針
少なくとも1回目の読みでは、第2部の実験結果を細かく吟味しない方が、効率的にこの論文の主張を理解できるでしょう。必要があれば、いつでも詳細に立ち戻ることが出来ます。
ただし、最も重要だと予測される第3部の背景として、第2部の「実験結果」をある程度は把握しておく必要があります。また、実験結果を理解するには、第1部による「アプローチ」において手法の説明を頭に入れておくことが大切です。
まとめると、以下の方針で読むのが良さそうです。
第1部:「導入」と「アプローチ」は、普通に読み手法を理解する。
第2部:「実験結果」は、実験結果を確認するにとどめる。
第3部:「ベンチマーク暗記度の評価と防止」、「限界」、「広範な影響」は、熟読し著者たちの主張を吟味する。
あと、「関連研究」のセクションが約1.5ページほどありますが、これは上記の3部を読み終えてから目を通し、どのくらい深く読むのかを考えます。
次回予告
次回は、「導入」のセクションから読み解いていきます。
お楽しみに!