メインコンテンツへスキップ
見出し画像

GPT-3を読む⑥アプローチ

    前回までに、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の「導入」を読み終えました。

    OpenAIの研究者たちは、当時としては最も大容量だったマイクロソフトのTuring-NLG(170億パラメータ)の10倍の容量(1750億パラメータ)を持つGPT-3を事前学習し、「ゼロショット、ワンショット、少数ショット」の設定によって評価することを計画しました。

    今回は、セクション「2 アプローチ」(2 Approach)を読み、異なる設定の特性とそれらを使う理由を理解します。

    アプローチ

    まずは、事前学習と文脈内学習についてこう述べています。

    私たちの事前学習アプローチ(モデル、データ、訓練方法)は基本的にGPT-2 [RWC+19] と同じですが、そのスケール(モデルのサイズ、データセットの規模と多様性、訓練時間)を拡大したものです。また、文脈内学習もGPT-2と似た方法ですが、本研究ではさまざまな設定を体系的に試しています。

    Our basic pre-training approach, including model, data, and training, is similar to the process described in [RWC + 19], with relatively straightforward scaling up of the model size, dataset size and diversity, and length of training. Our use of in-context learning is also similar to [RWC + 19], but in this work we systematically explore different settings for learning within the context.

    https://arxiv.org/abs/2005.14165

    つまり、GPT-2とモデルの構造や訓練の方法などは同じですが、GPT-3は以下の設定でスケールアップされています。

    • モデルサイズ(パラメータ数)

    • データセットの規模

    • 訓練時間

    また、(GPT-2ではあまり試されなかった)文脈内学習に注力するとのことです。

    これらの設定によって、タスク固有のデータの必要性を見極めようとしています。

    そこで、このセクションでは、GPT-3を評価する際に使用する(または理論上評価可能な)さまざまな設定を明確に定義し、それらを比較することから始めます。これらの設定は、タスク固有のデータへの依存度に応じて分類することができます。具体的には、この分類の中で少なくとも4つの異なる種類が特定できます(図2.1を参照してください)。

    Therefore, we start this section by explicitly defining and contrasting the different settings that we will be evaluating GPT-3 on or could in principle evaluate GPT-3 on. These settings can be seen as lying on a spectrum of how much task-specific data they tend to rely on. Specifically, we can identify at least four points on this spectrum (see Figure 2.1 for an illustration):

    https://arxiv.org/abs/2005.14165

    ここで言っている「タスク固有のデータ」とは、文脈として与えられている例文とファインチューニングのデータセットのことを指しています。よって、タスク固有のデータへの依存度は「ゼロショット、ワンショット、少数ショット、ファインチューニング」の順に上がっていきます。

    英文の「Spectrum」を「分類」と訳しましたが、「Spectrum」というと、通常は単なる分類(カテゴリ分け)以上に、ある特性や要素が連続的に変化する広がりを持つイメージを伴います。

    例えば、「ゼロショット、ワンショット、少数ショット」は例文の数によって連続性がある区別なので、本来の「スペクトル感」があります。一方で、ファインチューニングは独立したカテゴリの印象があります。

    しかし、タスク固有のデータに対する依存度が連続的に変わるというイメージで「Spectrum」という言葉を使っていると思われます。

    以下の図2.1では、4つの設定を表現しています。

    画像
    論文:図2.1

    続けて、論文はこれら4つの設定を解説しています。

    ファインチューニング

    まずは、ファインチューニングの解説です。

    ファインチューニング(Fine-Tuning、FT)は近年最も一般的なアプローチであり、事前学習済みモデルを、目的とするタスクに特化した教師ありデータセットで訓練することでモデルの重みを更新します。通常、数千から数十万のラベル付きデータが使用されます。ファインチューニングの主な利点は、多くのベンチマークで高い性能を発揮することです。

    Fine-Tuning (FT)
    has been the most common approach in recent years, and involves updating the weights of a pre-trained model by training on a supervised dataset specific to the desired task. Typically thousands to hundreds of thousands of labeled examples are used. The main advantage of fine-tuning is strong performance on many benchmarks.

    https://arxiv.org/abs/2005.14165

    GPT-1とGPT-2を読んできた我々からすると、割と分かりきったことです。タスク固有のラベル付きデータで教師学習を行うのでゼロショットよりも性能が良くなるのはGPT−2の論文でも明らかでした。

    もちろん、ファインチューニングにも欠点はあります。

    主な欠点は、各タスクごとに新しい大規模データセットが必要となる点、分布外データでの一般化が不十分になる可能性がある点 [MPL19]、および訓練データの偶発的な特徴を利用してしまい結果的に人間のパフォーマンスとの比較が不公平になる可能性がある点 [GSL+18, NK19] などがあります。

    The main disadvantages are the need for a new large dataset for every task, the potential for poor generalization out-of-distribution [MPL19], and the potential to exploit spurious features of the training data [GSL + 18, NK19], potentially resulting in an unfair comparison with human performance.

    https://arxiv.org/pdf/2005.14165

    ファインチューニングで特に問題なのは、タスクごとにある程度の規模のデータセットで訓練を行う必要があることです。

    画像

    ファインチューニングのデータセットでは、タスクの説明はなく、質問と答え(入力とラベル)が準備されています。

    • sea otter => loutre de mer

    • peppermint => menthe poivré

    • plush girafe => girafe peluche

    これによって学習が行われると、「cheese」に相当するフランス語が答えられるようになるという仕組みです。

    また、モデルのパラメータを更新するため、結果として性能が悪くなる可能性もあります。つまり、タスク固有の訓練データによってパラメータが改悪されるかもしれません。すると、事前学習で身につけた一般化性能が失われることになります。

    しかし、GPT-3の研究ではファインチューニングは使いません。

    本研究では、タスクに依存しない性能に注目しているため、GPT-3をファインチューニングしません。しかし、原理的にはGPT-3をファインチューニングすることは可能であり、将来の研究において有望な方向性となるでしょう。

    In this work we do not fine-tune GPT-3 because our focus is on task-agnostic performance, but GPT-3 can be fine-tuned in principle and this is a promising direction for future work.

    https://arxiv.org/pdf/2005.14165

    よって、4つの設定を特定したうちの一つは「やらない」ということです。でも「将来的にやるかもしれない」とも言っています。

    少数ショット

    少数ショットは次のように説明されています。

    少数ショット (FS) とは、本研究で使用する用語で、推論時にモデルにタスクの例文(デモンストレーション)をいくつか与えて条件付けする設定を指します [RWC+19]。この場合、モデルの重みは更新されません。

    Few-Shot (FS)
    is the term we will use in this work to refer to the setting where the model is given a few demonstrations of the task at inference time as conditioning [RWC + 19], but no weight updates are allowed.

    https://arxiv.org/abs/2005.14165

    これはGPT-2(RWC+19)でも言及されたことですが、推論時に「質問と答えの例」をいくつかプロンプトの中に与えると、同様な問題に答えられるようになる現象があります。これを少数ショットと呼ぶわけですが、モデルの重み(パラメータ)の変更の必要がありません。

    画像

    上図では、最初にタスクの説明があり、その後に3つの例が示され、最後に質問が促されています。

    • タスク:英語からフランス語に訳してください。

    • 例文:
      sea otter => loutre de mer
      peppermint => menthe poivré
      plush girafe => girafe peluche

    • 質問:cheese =>

    これら全てが入力文(プロンプト)として与えられます。そして、言語モデルは事前学習から学んだ能力だけを使って(ファインチューニングなしに)、フランス語で「fromage」(チーズ)と答えることが期待されます。

    最後の質問のところは、図の中では「prompt」と書かれていますが、これはいわゆる「入力全体」を意味するプロンプトではなく、答えを促すためのキッカケとしての意味で使われています。

    これが少数ショットによる評価方法です。少数ショット設定とも呼ばれます。また、少数ショット学習とも呼ばれますが、タスクのためにパラメータを更新するような学習は行われません。

    それでも「学習」と呼ぶことがあるのは、プロンプト(入力全体)からの情報からタスク(やるべきこと)を理解しているからです。つまり、文脈内学習をしているからです。

    文脈内学習(In-Context Learning)がなぜ可能なのかについては、GPT-3の影響で盛んに研究され流ようになりました。

    例えば、「Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers」(GPT が文脈内で学習できるのはなぜか? 言語モデルはメタ最適化装置として密かに勾配降下法を実行する)という論文があります

    参考:GPTはなぜ文脈内学習できるのか

    確率的に考えると、プロンプトは次のトークンを予測するための条件となるので、例文を含めることが、答えを促す条件付けになると考えられるので、この論文ではそのように述べられいます。

    少数ショットで必要な例文の数は、典型的なファインチューニングで必要な訓練データセットよりもずっと少なくて済みます。

    図2.1に示されているように、典型的なデータセット(教師あり学習)では、1つの例が質問(context)と答え(desired completion)で構成されています。例えば、「英語文」と「フランス語訳」です。少数ショットでは、K個の質問と答えの例を提示した後、最後に1つの質問だけを与え、モデルが答えを提供することを期待します。Kは通常10~100の範囲で設定されます。これは、モデルのコンテキスト・ウィンドウ(nctx=2048n_\text{ctx} = 2048)に収まるのがこれくらいの例の数であるためです。

    As shown in Figure 2.1, for a typical dataset an example has a context and a desired completion (for example an English sentence and the French translation), and few-shot works by giving K examples of context and completion, and then one final example of context, with the model expected to provide the completion. We typically set K in the range of 10 to 100 as this is how many examples can fit in the model’s context window (nctx=2048n_\text{ctx} = 2048).

    https://arxiv.org/pdf/2005.14165

    英文では、文脈(context)と補完(completion)と書かれておりますが、ここでは図にある例に合わせて「質問」と「答え」と訳しました。論文が言っているのは、与えられた文脈を続けて完結(補完)することで、答えを出しているという意味です。

    少数ショットでは、プロンプトに収まるだけの例文の数があれば、文脈内学習によって答えを予測したり、文章を書いたりすることができます。

    少数ショットの主な利点は、タスク固有のデータの必要性が大幅に削減されることと、大規模で特定の分布に偏ったファインチューニングデータセットから狭い分布を学びすぎるリスクが軽減されることです。一方で、これまでのところ、この方法で得られる結果は最先端のファインチューニングモデルと比べてはるかに劣っています。また、少量ながらタスク固有のデータは依然として必要です。

    The main advantages of few-shot are a major reduction in the need for task-specific data and reduced potential to learn an overly narrow distribution from a large but narrow fine-tuning dataset. The main disadvantage is that results from this method have so far been much worse than state-of-the-art fine-tuned models. Also, a small amount of task specific data is still required.

    https://arxiv.org/pdf/2005.14165

    ファインチューニングでは、タスク固有(ある意味、狭い領域の情報)のデータを大量に使ってパラメータを更新するので、モデルの改悪が起こり得ます。

    それと比べると、少数ショットではプロンプトに収まる例文だけから学ぶので、タスク固有のデータの必要性が非常に低いです。ただし、少量でも必要ではあります。

    また、少数ショットではパラメータの更新をしないので、モデルの改悪も起こりません。もちろん、文脈内学習がうまくいかない場合は性能も落ちます。例えば、GPT-2などのGPT-3より前のモデルでは、少数ショットの性能はファインチューニングによるモデルよりずっと劣っていました。

    なお、少数ショット学習に関連した研究は以前からあります。

    ここで説明される少数ショット学習は、他の機械学習の文脈で使用される少数ショット学習 [HYC01, VBL+16] と関連しています。どちらも広範なタスク分布(本研究では事前学習データに含まれる暗黙の分布)に基づいて学習し、新しいタスクに迅速に適応するという点で共通しています。

    As indicated by the name, few-shot learning as described here for language models is related to few-shot learning as used in other contexts in ML [HYC01, VBL + 16] – both involve learning based on a broad distribution of tasks (in this case implicit in the pre-training data) and then rapidly adapting to a new task.

    https://arxiv.org/pdf/2005.14165

    ここで挙げられている少数ショット学習の例は、両方とも2016年に発表されたものでトランスフォーマーより前の研究です。

    • Learning to learn by gradient descent by gradient descent(HYC01)
      LSTMを活用し、タスク間の知識を転移する方法

    • Matching Networks for One Shot Learning(VBL+16)
      LSTMとアテンションなどを利用し、少ない例から学習するモデル

    つまり、GPT-3がトランスフォーマーベースである点が異なるだけで、基本的なアイデアは、LSTMを使って行われた以前の研究と同じと捉えられます。

    この部分は、過去の研究との関連性を述べるための記述であって、特別な意図はなく、単なる参考情報として提供されているようです。

    ワンショット

    ワンショットは少数ショットで例文が1つだけの設定です。

    ワンショット(1S) は、少数ショットとほぼ同じ設定ですが、1つの例文(デモンストレーション)しか許されない点が異なります。また、タスクの自然言語による説明が追加されることがあります(図2.1参照)。ワンショットを少数ショットやゼロショット(後述)と区別する理由は、人間にタスクを伝える際の方法に最も近い形式であるためです。

    One-Shot (1S)
    is the same as few-shot except that only one demonstration is allowed, in addition to a natural language description of the task, as shown in Figure 1. The reason to distinguish one-shot from few-shot and zero-shot (below) is that it most closely matches the way in which some tasks are communicated to humans.

    https://arxiv.org/abs/2005.14165
    画像

    ワンショットと少数ショットを区別する理由として「人間にタスクを伝える際の方法に最も近い形式である」と述べています。たしかに、人間に指示をする場合に、10個も例を挙げることはなかなかありません。

    例えば、Amazonのメカニカルタークなどのクラウドソーシングサービスで人間がデータセットを生成する場合、タスクの説明として1つのデモンストレーションを提供するのが一般的です。一方、例が全く提供されない場合、タスクの内容や形式を伝えることが難しい場合があります。

    For example, when asking humans to generate a dataset on a human worker service (for example Mechanical Turk), it is common to give one demonstration of the task. By contrast it is sometimes difficult to communicate the content or format of a task if no examples are given.

    https://arxiv.org/pdf/2005.14165

    Amazonのメカニカルタークは、指定したタスクを人間に実行してもらうサービスです。主に人間の直感や判断力を必要とする単純かつ反復的な作業を行ってもらいます。例えば、教師あり学習のために画像データのラベル付をしてもらうなどがあります。

    タスクが単純で、相手が人間なので、簡単な例を一つ示せば十分なことが多いようです。一方で、全く例がない場合は、タスクの内容を伝えることが難しい場合があるため「少数ショット、ワンショット、ゼロショット」という設定に分けているのが分かります。

    ゼロショット

    ここまでくるとゼロショットの説明は不要な気もしますが、論文を読んでいきましょう。

    ゼロショット(0S)はワンショットとほぼ同じ設定ですが、デモンストレーションは一切許されず、モデルにはタスクを説明する自然言語の指示だけが与えられます。この方法は、非常に便利で、多様な用途に対応できる可能性もあります。また、(事前学習データの大規模なコーパス全体で非常に広範囲に発生しない限り)不自然な相関を回避します。しかし、最も難しい設定でもあります。

    Zero-Shot (0S)
    is the same as one-shot except that no demonstrations are allowed, and the model is only given a natural language instruction describing the task. This method provides maximum convenience, potential for robustness, and avoidance of spurious correlations (unless they occur very broadly across the large corpus of pre-training data), but is also the most challenging setting.

    https://arxiv.org/abs/2005.14165

    まず、ゼロショットではいかなる例文も許されません。説明と質問だけです。

    画像

    これは、例文を準備する手間が不要で、もしうまく機能すれば非常に便利な方法です。そのため、さまざまな目的で活用できる可能性があります。また、タスク固有のデータ(少数ショットの例文やファインチューニング用データセット)が持つ偏りや偶然の相関から、モデルが間違ったことを学ぶ危険性も回避できます。

    しかし、うまくいくとは限らず、この方法は最も難しい設定でもあります。

    場合によっては、事前の例がなければタスクの形式を理解するのが難しいこともあり、この設定は「不公平に難しい」(unfairly hard)ものになる場合があります。例えば、「200m走の世界記録の表を作ってください」と頼まれた場合、表の具体的な形式や内容が不明確なため、この要求は曖昧です(詳細な説明があったとしても、正確に意図を理解するのは難しいことがあります)。

    In some cases it may even be difficult for humans to understand the format of the task without prior examples, so this setting is in some cases “unfairly hard”. For example, if someone is asked to “make a table of world records for the 200m dash”, this request can be ambiguous, as it may not be clear exactly what format the table should have or what should be included (and even with careful clarification, understanding precisely what is desired can be difficult).

    https://arxiv.org/pdf/2005.14165

    「不公平に難しい」(unfairly hard)とは、ある種のタスクは例がないとそもそも理解するのが困難だということです。

    例として「表を作る」タスクが言及されています。こういうのは、例を提示した方が理解しやすいものなので、そのようなタスクをゼロショット設定で行うのは「不公平」であり「難しい」ということです。

    もちろん、ゼロショットが正当なケースもあるわけです。

    それでも、少なくともいくつかの設定では、ゼロショットが人間がタスクを実行する方法に最も近いものと言えます。例えば、図2.1の翻訳例では、自然言語の指示だけで人間が何をすべきかを理解できる可能性が高いでしょう。

    Nevertheless, for at least some settings zero-shot is closest to how humans perform tasks – for example, in the translation example in Figure 2.1, a human would likely know what to do from just the text instruction.

    https://arxiv.org/pdf/2005.14165
    画像

    確かに、翻訳のタスクでは例を示すのは余計なのでゼロショットが相応しいです。

    4つの手法の比較

    以上、それぞれの設定の特徴を踏まえて、全体的なアプローチについて次のようにまとめています。

    図2.1は、英語からフランス語への翻訳を例にして4つの方法(ファインチューニング、少数ショット、ワンショット、ゼロショット)を示しています。本論文では、ゼロショット、ワンショット、少数ショットに焦点を当てます。それは、競合する手法としてではなく、異なる問題設定で比較するためです。これによって各ベンチマークにおける性能とサンプル効率の関係(トレードオフ)を明らかにすることを目指します。

    Figure 2.1 shows the four methods using the example of translating English to French. In this paper we focus on zero-shot, one-shot and few-shot, with the aim of comparing them not as competing alternatives, but as different problem settings which offer a varying trade-off between performance on specific benchmarks and sample efficiency.

    https://arxiv.org/abs/2005.14165

    ここでの「サンプル効率」は、モデルが少ないデータでどれだけ効果的に学習できるかを指します。また、「トレードオフ」とはモデルの性能とそのために必要なデータ量のバランスを意味します。それを明らかにしたいということです。

    要するに、どのタスクでどの設定(ゼロショット、ワンショット、少数ショット)が最適かを調べることが目的です。

    その結果についても軽く触れています。

    結果として、少数ショットが多くのケースで最先端のファインチューニングモデルにわずかに劣る程度の性能を示しています。しかし、最終的には、ワンショットやゼロショットの方が人間との比較において最も公平な設定であり、将来の研究において重要な目標となるでしょう。

    We especially highlight the few-shot results as many of them are only slightly behind state-of-the-art fine-tuned models. Ultimately, however, one-shot, or even sometimes zero-shot, seem like the fairest comparisons to human performance, and are important targets for future work.

    https://arxiv.org/pdf/2005.14165

    次回予告

    次回もこのまま「アプローチ」のセクションを読み進めます。

    お楽しみに!


     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ