
GPT-3を読む④導入(その2)
前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の「導入」の前半を読みました。
特に、「事前学習+微調整」の台頭と限界が議論の中心になっていました。どちらかというと問題点が指摘されており、解決のアプローチには触れられていません。また、「メタ学習」や「文脈内学習」といったキーワードもまだ登場していません。
では、「導入」の中盤を読み進めていきましょう。
3つの課題のおさらい
前回に指摘された「事前学習+微調整」の限界における3つの課題を簡単にまとめると以下になります。
新しいタスクごとに大量のラベル付きデータセットが必要
狭い分布を持つタスクでは偶発的な相関を利用してしまう
言語による指示とわずかな例示だけでタスクをこなせない
つまり、「事前学習+微調整」のアプローチでは、人間の学習と比較して「柔軟性と汎用性」に欠けている、と主張しています。よって、「事前学習」で既に学んだことを十分に活用できれば「微調整」は必要ないということを示唆しています。
ここで、メタ学習や文脈内学習といった用語が登場します。
メタ学習の外部・内部ループ
前回に指摘された3つの課題にどのように対応するのか。論文はこう続けます。
これらの課題に対処するための一つの可能な方法は、メタ学習(注1)です。言語モデルの文脈では、メタ学習とは、訓練時に幅広いスキルやパターン認識能力を発展させ、推論時にそれらの能力を活用して、迅速に望ましいタスクに適応または認識することを意味します(図1.1に示されています)。
One potential route towards addressing these issues is meta-learning¹ – which in the context of language models means the model develops a broad set of skills and pattern recognition abilities at training time, and then uses those abilities at inference time to rapidly adapt to or recognize the desired task (illustrated in Figure 1.1).
このメタ学習を言語モデルの文脈において次のように定義しています。
事前学習において「幅広いスキルやパターン認識能力」を獲得し、「推論時にそれらの能力を活用して」新しいタスクに適応すること。
これに関して以下の図が提示されています。

画像の文字が小さくて読みにくいので、同じことを下図で表現してみました。

外部ループは、従来の事前学習のことです。教師あり学習であり、たくさんの文章(シーケンス)を使って学習します。ここでは勾配降下法によるパラメータの更新が行われます。
内部ループは、パラメータの更新を行いませんが、例示から文脈を抽出し学習することでタスクに役立てます。
内部ループの図を拡大すると、以下のように言語による例示が行われています。

シーケンス1:足し算の例示
シーケンス2:誤字の修正例
シーケンス3:英語から仏語
このような例示が意図する文脈を捉えてタスクに利用します。
このようにメタ学習を、広範な学習で得た一般的なスキルやパターン認識能力を利用して例示が提示する内容に応じて、タスクに迅速に適応できるようになる方法として位置付けています。
しかし、これはGPT- 2が目指したゼロショット学習(転移)と同じではないでしょうか?
メタ学習とゼロショットの違い
メタ学習とゼロショットの違いについて、以下の注釈が付け加えられています。
(注1)言語モデルの文脈では、この手法は「ゼロショット転移」と呼ばれることがありますが、この用語は曖昧になる可能性があります。この手法は、勾配更新を行わないという意味では「ゼロショット」ですが、推論時にタスクの実演例を提供することが多く、厳密にはまったく例なしで学習しているわけではありません。この混乱を避けるために、本論文では、一般的な内ループ/外ループ構造を表す用語として「メタ学習」を使用し、メタ学習の内ループを指す用語として「文脈内学習(in-context learning)」を使用します。また、推論時に提供されるデモンストレーションの数に応じて、「ゼロショット」「ワンショット」「少数ショット」と説明をさらに具体化しています。これらの用語は、モデルが推論時に新しいタスクをゼロから学習しているのか、あるいは訓練中に見たパターンを認識しているだけなのかについては中立的であることを意図しています。この点は後で論文内で重要な課題として議論しますが、「メタ学習」という用語は両方の可能性を包含し、単に内ループ/外ループ構造を表すものとして使用しています。
¹ In the context of language models this has sometimes been called “zero-shot transfer”, but this term is potentially ambiguous: the method is “zero-shot” in the sense that no gradient updates are performed, but it often involves providing inference-time demonstrations to the model, so is not truly learning from zero examples. To avoid this confusion, we use the term “meta-learning” to capture the inner-loop / outer-loop structure of the general method, and the term “in context-learning” to refer to the inner loop of meta-learning. We further specialize the description to “zero-shot”, “one-shot”, or “few-shot” depending on how many demonstrations are provided at inference time. These terms are intended to remain agnostic on the question of whether the model learns new tasks from scratch at inference time or simply recognizes patterns seen during training – this is an important issue which we discuss later in the paper, but “meta-learning” is intended to encompass both possibilities, and simply describes the inner-outer loop structure.
「メタ学習とは」についてのかなり長い注釈ですが、分解して理解します。
勾配更新を行わないという意味では「ゼロショット」である
ただし、推論時に例示を提供するのでゼロ例からの学習ではない
つまり、例示を提供するけど、それを使ってパラメータの微調整を行うわけではないのでゼロショットではある。しかし、例示がタスクを実行するためのヒントとして与えられているという意味では、純粋なゼロショットと異なるということです。
そこで、この論文ではメタ学習を、「内ループ/外ループ構造を持つ」学習法として定義しています。外ループで学習した知識・スキルを内ループで利用するということです。これは人間の学習能力が持つ「柔軟性と汎用性」を意識したアプローチです。
また、内ループのことを「文脈内学習」(in-context learning)と呼んでいます。この用語を使うと、純粋なゼロショットでは文脈内学習がありません。これは、純粋なゼロショットでは指示はあっても例示がないので、内ループによる学習が行えないからです。
このため、論文では、推論時に提供される例示の数に応じて学習形態を区別しています。
ゼロショット:例がない(指示のみ)
ワンショット:一つの例
少数ショット:少数の例
もちろん、ゼロショット、ワンショット、少数ショットの全てにおいて質問や指示などは与えられます。しかし、具体的な解答例などの例示がどれほど与えられるのかで異なるということです。
さらに、どの学習形態でも、モデルが訓練中に見たパターンを認識している可能性があります。つまり、ゼロショットであっても、指示文から過去に学習した内容を引き出すことがあり得ます。タスクによっては、これが評価結果に影響を与える可能性があるため、論文ではこの点について後で議論すると述べています。
文脈内学習はうまくいっていなかった
「文脈学習」という手法は、GPT-3が初めて採用したものではありません。
最近の研究 [RWC+19] で、我々が文脈内学習(in-context learning)と呼ぶ方法で試みています。具体的には、事前学習された言語モデルのテキスト入力をタスクの指定として使用し、自然言語の指示やタスクの例示を条件として与えたうえで、次に来る内容を予測することでタスクのさらなる事例を完了することを目指します。
Recent work [RWC + 19] attempts to do this via what we call “in-context learning”, using the text input of a pretrained language model as a form of task specification: the model is conditioned on a natural language instruction and/or a few demonstrations of the task and is then expected to complete further instances of the task simply by predicting what comes next.
最近の研究 [RWC+19]とはGPT- 2のことです。ただし、GPT- 2の論文では「文脈内学習」(in-context learning)という用語を使っていません。むしろ、その当時はゼロショットとして捉えていたと考えられます。
しかし、GPT-2がタスクの指示文の中に自然と含まれる例示を活用していた可能性があることが後に認識され、GPT-3ではこれを「文脈内学習」として明確に概念化し注目したのでしょう。
よって、GPT-3では、自然言語の指示やタスクの例示を条件として与えることで、追加のタスクを(次を予測するかのように)完了する能力をより明確に認識して評価することを目指しています。この視点の進化は、GPT-3の重要な特性の1つです。
しかし、GPT- 2ではこのアプローチは大した成功をおさめていません。
このアプローチは初期的な可能性を示しているものの、微調整にはるかに劣る結果しか達成していません。例えば、[RWC+19] は 自然なNatural Questions(質問のタスク)でわずか 4% の結果しか得られず、さらにCoQA(会話による質問応答)の結果(F1スコア55)は、現在の最先端と比較して 35 ポイント以上も劣っています。メタ学習が言語タスクを解決する実用的な方法として成立するには、まだ大幅な改善が必要です。
While it has shown some initial promise, this approach still achieves results far inferior to fine-tuning – for example [RWC + 19] achieves only 4% on Natural Questions, and even its 55 F1 CoQa result is now more than 35 points behind the state of the art. Meta-learning clearly requires substantial improvement in order to be viable as a practical method of solving language tasks.
「微調整にはるかに劣る結果」が全てを語っています。
GPT- 2におけるNatural Questions(自然な質問)の正解率はたったの4.1%(解説はこちら)で、CoQA(会話による質問応答)のF1スコアは55(解説はこちら)であり当時の最先端と比較して35ポイントも劣っていました。
しかし、文脈学習の可能性も感じていることは確かです。ただし、何らかの改善が必要だということです。
スケール則の可能性
文脈学習ではパラメータの調整を行わないので、文脈学習のの性能を向上させるには、モデルの容量をさらに大きくし、また事前学習をより充実させるしかなさそうです。
そこで論文はスケール則の可能性について触れていきます。
近年の言語モデリングにおけるもう一つの新たなトレンドは、解決策の可能性を示しています。ここ数年で、トランスフォーマー型言語モデルの容量は大幅に増加しており、1億パラメータ [RNSS18] から 3億パラメータ [DCLT18]、15億パラメータ [RWC+19]、80億パラメータ [SPP+19]、110億パラメータ [RSR+19]、そして最終的に170億パラメータ [Tur20] に至っています。このような拡張のたびに、テキスト生成や自然言語処理(NLP)タスクにおける改善がもたらされており、多くの下流タスクと高い相関を持つ対数損失(log loss)がスケールとともに滑らかに改善する傾向があることを示す証拠もあります [KMH+20]。文脈内学習がモデル内のパラメータに多くのスキルやタスクを吸収することを含むため、スケールとともに文脈内学習能力が同様に強力に向上する可能性が考えられます。
Another recent trend in language modeling may offer a way forward. In recent years the capacity of transformer language models has increased substantially, from 100 million parameters [RNSS18], to 300 million parameters [DCLT18], to 1.5 billion parameters [RWC + 19], to 8 billion parameters [SPP + 19], 11 billion parameters [RSR + 19], and finally 17 billion parameters [Tur20]. Each increase has brought improvements in text synthesis and/or downstream NLP tasks, and there is evidence suggesting that log loss, which correlates well with many downstream tasks, follows a smooth trend of improvement with scale [KMH + 20]. Since in-context learning involves absorbing many skills and tasks within the parameters of the model, it is plausible that in-context learning abilities might show similarly strong gains with scale.
この論文が書かれるまでの数年では、トランスフォーマーをベースとして言語モデルの大容量化が傾向として見られていました。
GPT-1 : 1億パラメータ [RNSS18]
BERT : 3億パラメータ [DCLT18]
GPT-2 : 15億パラメータ[RWC+19]
Megatron-LM: 80億パラメータ [SPP+19]
T5 :110億パラメータ [RSR+19]
Turing-NLG :170億パラメータ [Tur20]
容量が大きくなるほど、テキスト生成や自然言語処理タスクにおける改善がもたらされました。
このようにモデルの容量と性能の向上を結びつけ、一種の法則と捉えることをスケール則と呼びます。これは「Scaling Laws for Neural Language Models」(ニューラル言語モデルのスケーリング則、[KMH+20])で研究され、モデル容量(パラメータ数)と性能(例えば、対数損失)との間に滑らかな関係があることが実験的に示されています。
よって、スケール則によると、モデルの容量を大きくすれば、文脈内学習の能力が、同様に向上する可能性があることになります。
仮説としてのGPT-3をどう評価するか
「スケール則によって、文脈内学習が向上する」、これはもちろん仮説ではありますが、GPT-3ではこの仮説を検証することを狙いとしています。
本論文では、この仮説を検証するために、1750億パラメータの自己回帰型言語モデル(autoregressive language model)であるGPT-3を訓練し、その文脈内学習能力を測定しました。具体的には、GPT-3を2ダース以上のNLPデータセットおよび、学習データに直接含まれていないと思われるタスクへの迅速な適応をテストするために設計されたいくつかの新しいタスクで評価しました。それぞれのタスクについて、以下の3つの条件でGPT-3を評価しました:
(a) 少数ショット学習(few-shot learning):モデルの文脈サイズに収まる限り多くの例を与える条件(通常10〜100)、
(b) ワンショットの学習(one-shot learning):1つの例のみを与える条件、
(c) ゼロショット学習(zero-shot learning):例を一切与えず、自然言語による指示のみを与える条件です。
また、GPT-3は原則として従来の微調整設定でも評価可能ですが、本研究では将来の課題として残しました。
In this paper, we test this hypothesis by training a 175 billion parameter autoregressive language model, which we call GPT-3, and measuring its in-context learning abilities. Specifically, we evaluate GPT-3 on over two dozen NLP datasets, as well as several novel tasks designed to test rapid adaptation to tasks unlikely to be directly contained in the training set. For each task, we evaluate GPT-3 under 3 conditions: (a) “few-shot learning”, or in-context learning where we allow as many demonstrations as will fit into the model’s context window (typically 10 to 100), (b) “one-shot learning”, where we allow only one demonstration, and (c) “zero-shot” learning, where no demonstrations are allowed and only an instruction in natural language is given to the model. GPT-3 could also in principle be evaluated in the traditional fine-tuning setting, but we leave this to future work.
この論文のメインテーマは、次の一文に込められています。
「この仮説を検証するために、1750億パラメータの自己回帰型言語モデルであるGPT-3を訓練し、その文脈内学習能力を測定しました」
1750億パラメータはTuring-NLGの10倍です。この大規模言語モデルがGPT-3の正体です。GPT- 2の100倍以上であり、GPT-1の1750倍です。
なお、自己回帰型言語モデルと呼んでいるのは、GPTシリーズのモデルはそもそもトランスフォーマーのデコーダをベースにしているからです。トランスフォーマーのデコーダは自己回帰型の構造を持っており、自らの出力を入力に追加してさらに次の出力を計算する仕組みになっています。

この大規模言語モデルGPT-3を多数の自然言語処理タスクにおいて評価しました。その際に、すでに述べられているように以下の文脈学習の形態を適用しました。
少数ショット学習:モデルの文脈サイズに収まる限り多くの例を与える
ワンショット学習:1つの例のみを与える
ゼロショット学習:例を一切与えない
なお、すべてのケースにおいて自然言語による指示が与えられます。そして、ファインチューニングなどによるタスク特有のパラメータ微調整は一切行いません。
次回予告
「導入」の中盤では、「メタ学習」と「文脈内学習」が説明されました。特に文脈内学習をどのように向上させるかについて、スケール則の影響を測ることを目標として掲げています。
次回も、このまま進めて「導入」セクションの終盤を読み進めます。
お楽しみに!