メインコンテンツへスキップ
見出し画像

GPT-3を読む③導入(その1)

    前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の構造をざっくり見渡して読むための方針を決めました。

    この方針に従って、今回は「導入」を丁寧に読み進めていきます。気になっていた「メタ学習」や「文脈内学習」などといったキーワードを探しながら理解を深めていきましょう。

    「事前学習+微調整」の台頭

    論文の導入は次のように始まります。

    自然言語処理(NLP)システムにおいて近年に見られる傾向として、事前学習済みの言語表現がますます柔軟かつタスク非依存的に活用されるようになってきました。

    Recent years have featured a trend towards pre-trained language representations in NLP systems, applied in increasingly flexible and task-agnostic ways for downstream transfer.

    https://arxiv.org/abs/2005.14165

    ここでの言語表現とは埋め込みベクトルを指します。単語や文、文脈全体を数学的なベクトル形式で表現したもので、次のように進化してきました。

    「柔軟かつタスク非依存的」な活用について次のように続けます。

    初めは、単一層の表現が単語ベクトル[MCCD13, PSM14]として学習され、タスクに特化したアーキテクチャに入力されていました。その後、RNNによる複数層の表現や文脈状態を用いることで、より強力な表現が形成されるようになりました[DL15, MBXS17, PNZtY18](これも依然としてタスクに特化したアーキテクチャに適用されていました)。そして最近では、事前学習済みの「再帰型言語モデル」や「トランスフォーマー言語モデル」[VSP+17]が直接ファインチューニングされるようになり、タスクに特化したアーキテクチャが完全に不要となりました[RNSS18, DCLT18, HR18]。

    First, single-layer representations were learned using word vectors [MCCD13, PSM14] and fed to task-specific architectures, then RNNs with multiple layers of representations and contextual state were used to form stronger representations [DL15, MBXS17, PNZtY18] (though still applied to task-specific architectures), and more recently pre-trained recurrent or transformer language models [VSP + 17] have been directly fine-tuned, entirely removing the need for task-specific architectures [RNSS18, DCLT18, HR18].

    https://arxiv.org/abs/2005.14165

    「タスクに特化したアーキテクチャ」という言葉が3回も登場します。

    これは、「埋め込みベクトルの生成」と「タスクへの適用」が別々のモデルで行われる際の、実際にタスクを学習し実行するモデルのことです。

    この英文は長いので、以下に3つに分けて解説します。

    単語レベルの埋め込み

    初期の段階では、単語を固定長のベクトルで表現する技術が登場しました。これらは単語単位で意味だけを捉えるもので、文脈の違いを考慮できません。

    初めは、単一層の表現が単語ベクトル[MCCD13, PSM14]として学習され、タスクに特化したアーキテクチャに入力されていました。

    First, single-layer representations were learned using word vectors [MCCD13, PSM14] and fed to task-specific architectures, …

    https://arxiv.org/abs/2005.14165

    例として、Word2Vec[MCCD13]とGloVe[PSM14]]が挙げられています。

    これらの埋め込みベクトルは、タスクのために最適化されたものではありません。単にタスクに特化したアーキテクチャへの入力として使われました。

    よって、文脈が変わっても埋め込みベクトル自体は変化しません。

    文脈を含めた埋め込み

    次に、RNN(LSTM)ベースのモデルによって、文脈に依存した動的な埋め込みが生成されるようになりました。

    その後、RNNによる複数層の表現や文脈状態を用いることで、より強力な表現が形成されるようになりました[DL15, MBXS17, PNZtY18](これも依然としてタスクに特化したアーキテクチャに適用されていました)。

    … then RNNs with multiple layers of representations and contextual state were used to form stronger representations [DL15, MBXS17, PNZtY18] (though still applied to task-specific architectures), …

    https://arxiv.org/abs/2005.14165

    例えば、LSTMのエンコーダ・デコーダモデル[DL15]を訓練して文脈を含めた埋め込みを生成します。

    ここでは入力文章をエンコーダに与え、デコーダはエンコーダからの最後の隠れ状態を文脈として受け取り、元の文章を再現します。これを繰り返し学習することで、エンコーダが生成するシーケンス最後の隠れ状態は「文脈を圧縮した表現」(埋め込みベクトル)になります。

    例えば、ELMo (Embeddings from Language Models)[PNZtY18]は、多層で双方向のLSTMです。シーケンス内の各単語を順方向と逆方向の文脈から予測するように訓練されます。訓練後は、シーケンスの文脈を考慮した動的な埋め込みベクトルが各ステップの隠れ状態を基に生成されます。

    また、アテンション機構ありの双方向LSTMエンコーダ・デコーダ[MBXS17]を機械翻訳タスクで訓練することで、エンコーダは各単語の文脈情報を含むベクトルを生成できるようになるという研究も行われました。

    ただし、これらの埋め込みベクトルも、タスクに特化したアーキテクチャ(つまり別のモデル)への入力に使われました。

    タスク非依存的な事前学習済み埋め込み

    そして、「埋め込みベクトルの生成」と「タスクへの適用」の両方を統一的に学習・適用できるモデルが登場します。

    そして最近では、事前学習済みの「再帰型言語モデル」や「トランスフォーマー言語モデル」[VSP+17]が直接ファインチューニングされるようになり、タスクに特化したアーキテクチャが完全に不要となりました[RNSS18, DCLT18, HR18]。

    …, and more recently pre-trained recurrent or transformer language models [VSP + 17] have been directly fine-tuned, entirely removing the need for task-specific architectures [RNSS18, DCLT18, HR18].

    https://arxiv.org/abs/2005.14165

    例として、トランスフォーマー(VSP+17)をベースとしたGPT(RNSS18)とBERT(DCLT18)が挙げられています。

    また、事前学習したモデルを任意のNLPタスクに適用し微調整するための手法としてULMFiT(HR18)を挙げています。

    これらのモデルや手法では、事前学習モデルを微調整して特定のタスクに最適化します。よって、タスクに特化したアーキテクチャが不要となりました。

    このアプローチの利点として、共通の基盤となる言語モデルを使い回すことで、タスク固有の大規模なモデル設計や再学習を不要にする点です。これにより、少ないデータや計算資源でも微調整が可能となり高いパフォーマンスを実現しました。

    この「事前学習+微調整」アプローチは台頭します。

    この最後のパラダイムは、読解、質問応答、テキスト含意認識など、多くの困難な自然言語処理(NLP)タスクにおいて大きな進歩をもたらし、新しいアーキテクチャやアルゴリズムに基づいてさらに進化を遂げています [RSR+19, LOG+19, YDY+19, LCG+19]。

    This last paradigm has led to substantial progress on many challenging NLP tasks such as reading comprehension, question answering, textual entailment, and many others, and has continued to advance based on new architectures and algorithms [RSR + 19, LOG + 19, YDY + 19, LCG + 19].

    https://arxiv.org/abs/2005.14165

    このアプローチの例としていくつか挙げられています。

    T5(Text-to-Text Transfer Transformer) [RSR+19]では、自然言語処理の様々なタスクをすべて「テキストを入力」と「テキストを出力」で統一するフレームワークです。

    RoBERTa(Robustly optimized BERT approach) [LOG+19]は、BERTの学習方法を改善することで、より強力な事前学習モデルを実現し、様々な自然言語処理タスクにおいて高い性能を発揮しました。

    XLNet [YDY+19]もBERTをベースにしていますが、訓練方法として「順列言語モデリング」(Permutation Language Modeling、PLM)を採用しています。

    ALBERT(A Lite BERT)[LCG+19]は、BERTを軽量化したモデルです。さまざまな工夫により、なるべく性能を落とさずに効率を向上させています。

    これらに代表されるように、機械翻訳、文書要約、質問応答、分類タスクなどのタスクに対して、同じモデルで性能を向上させることが活発に行われました。

    「事前学習+微調整」の限界

    「しかし」、と論文は続けます。

    しかし、このアプローチには大きな制約があり、それはアーキテクチャがタスク非依存である一方で、依然としてタスク固有のデータセットやタスク固有の微調整が必要であることです。望ましい成果を達成するためには、通常、そのタスクに特化した数千から数十万の例を含むデータセットでの微調整が必要です。この制約を取り除くことができれば、いくつかの理由で有益となるでしょう。

    However, a major limitation to this approach is that while the architecture is task-agnostic, there is still a need for task-specific datasets and task-specific fine-tuning: to achieve strong performance on a desired task typically requires fine-tuning on a dataset of thousands to hundreds of thousands of examples specific to that task. Removing this limitation would be desirable, for several reasons.

    https://arxiv.org/abs/2005.14165

    つまり、同じモデルが事前学習と微調整で使われますが、タスクごとにデータセットや微調整を行う必要があります。実験的に少数のタスクを実行するのであれば問題ないですが、実用化するにはあらゆるタスクに対応する必要があります。

    微調整用の教師データの収集

    論文は3つのポイントで「事前学習+微調整」の限界を説明しています。

    第一に、実用的な観点から言えば、あらゆる新しいタスクごとに大量のラベル付きデータセットが必要であることが、言語モデルの適用性を制限しています。文法の訂正や抽象的な概念の例の生成、小説の批評といった、非常に幅広い言語タスクが存在しますが、これらの多くのタスクでは、大規模な教師あり学習データセットを収集することが困難です。このプロセスを新しいタスクごとに繰り返す必要があるので、なおさらです。

    First, from a practical perspective, the need for a large dataset of labeled examples for every new task limits the applicability of language models. There exists a very wide range of possible useful language tasks, encompassing anything from correcting grammar, to generating examples of an abstract concept, to critiquing a short story. For many of these tasks it is difficult to collect a large supervised training dataset, especially when the process must be repeated for every new task.

    https://arxiv.org/abs/2005.14165

    要するに、教師あり学習のデータセットを様々なタスクに対して準備するのが難しいということです。

    これは、GPT-1、GPT-2でも繰り返し述べられてきました。

    GPT-1も「事前学習+微調整」のアプローチですが、微調整であることで元来のタスクに特化したアーキテクチャよりずっと少ない訓練データで済むところが売りでした。

    さらに、GPT-2では「事前学習+ゼロショット」のアプローチで「微調整」を避けようと試みたと考えられます。しかし、全体的には、十分な性能までには至っていません。

    大規模モデルと小規模データ

    また、タスク特有のデータは限定されていることを問題として指摘しています。

    第二に、訓練データ中の偶発的な相関を利用してしまう可能性は、モデルの表現力が高まり、訓練データの分布が狭くなるほど大きくなります。これは、「事前学習+微調整」の手法において問題を引き起こします。この手法では、事前学習中に情報を吸収するためにモデルを大規模化しますが、その後、非常に狭い分布を持つタスク用の訓練データに基づいて微調整を行っています。

    Second, the potential to exploit spurious correlations in training data fundamentally grows with the expressiveness of the model and the narrowness of the training distribution. This can create problems for the pre-training plus fine-tuning paradigm, where models are designed to be large to absorb information during pre-training, but are then fine-tuned on very narrow task distributions.

    https://arxiv.org/abs/2005.14165

    ここでの偶発的な相関は、データの偏りによるものです。

    例えば、「猫の画像の背景が草地に偏っている」とモデルが「草地」あるものは「猫」である確率が高いと誤認識する、といった現象です。

    微調整用の訓練データは大規模である必要がないのが利点ですが、そのことがかえって偏見や思い違いを生じる可能性があります。この問題は、モデルの表現力(能力)が高く、訓練データの分布が狭いほど、起こりやすくなります。

    つまり、大規模言語モデルを小規模の訓練データで微調整することの限界を述べています。論文は、これに関していくつかの例を提示しています。

    例えば、[HLW+20]では、大規模なモデルが必ずしも分布外データに対して良い汎化性能を示すわけではないと指摘しています。この「事前学習+微調整」の手法で達成される汎化性能が貧弱である理由として、モデルが訓練データの分布に過度に特化しており、分布外では十分に汎化できないことが挙げられます [YdC+19, MPL19]。そのため、微調整されたモデルが特定のベンチマークで人間レベルの性能を示していても、実際のタスクにおける性能が過大評価されている可能性があります [GSL+18, NK19]。

    For instance [HLW + 20] observe that larger models do not necessarily generalize better out-of-distribution. There is evidence that suggests that the generalization achieved under this paradigm can be poor because the model is overly specific to the training distribution and does not generalize well outside it [YdC + 19, MPL19]. Thus, the performance of fine-tuned models on specific benchmarks, even when it is nominally at human-level, may exaggerate actual performance on the underlying task [GSL + 18, NK19].

    https://arxiv.org/abs/2005.14165

    人間的な柔軟性と汎用性は?

    さらに論文は、「そもそも人間だったら、ちょっとした指示から多くのことを学べるよ」的な観点から「事前学習+微調整」の限界を指摘しています。

    第三に、人間はほとんどの言語タスクを学習する際に、大量の教師付きデータセットを必要としません。自然言語での簡単な指示(例:「この文が何か幸福なことを述べているのか、悲しいことを述べているのか教えてください」)や、わずかな例示(例:「これが勇敢な行動を示す2つの例です。3つ目の勇敢な例を挙げてください」)で十分に新しいタスクをある程度適切にこなせます。この人間の適応性は、現在のNLP技術の概念的な限界を示すだけでなく、実用面でも利点があります。例えば、人間は長い対話中に加算のような別のスキルを取り入れたり、タスク間を自由に切り替えたりすることが可能です。将来的に、NLPシステムもこのような柔軟性と汎用性を備えることが望まれます。

    Third, humans do not require large supervised datasets to learn most language tasks – a brief directive in natural language (e.g. “please tell me if this sentence describes something happy or something sad”) or at most a tiny number of demonstrations (e.g. “here are two examples of people acting brave; please give a third example of bravery”) is often sufficient to enable a human to perform a new task to at least a reasonable degree of competence. Aside from pointing to a conceptual limitation in our current NLP techniques, this adaptability has practical advantages – it allows humans to seamlessly mix together or switch between many tasks and skills, for example performing addition during a lengthy dialogue. To be broadly useful, we would someday like our NLP systems to have this same fluidity and generality.

    https://arxiv.org/abs/2005.14165

    この最後のポイントは、言語モデルには人間のような柔軟性と汎用性が欠けているということです。人間は新しいタスクを学ぶ際に、自然言語での簡単な指示や、少数の例があれば十分で、大量の教師付きデータセットを必要としません。

    これに関する例として以下が挙げられています。

    • 言葉での指示:「この文が何か幸福なことを述べているのか、悲しいことを述べているのか教えてください」

    • わずかな例示:「これが勇敢な行動を示す2つの例です。3つ目の勇敢な例を挙げてください」

    このようなポイントを指摘しているのは、この論文のタイトルが「Language Models are Few-Shot Learners」(言語モデルは少数ショットの学習者)であることにも通じています。また、そもそも人工知能を創り出すことを目指しているOpenAIらしいポイントです。

    さらに、人間は対話中に計算をすることもできます。つまり、いわゆる言語処理とは異なるタスクを間に挟んで会話を続けることができます。また、文脈を切り替えたり、タスクを切り替えるのも自由に行えます。

    ChatGPTなど現在のチャットボットは、かなり柔軟性と汎用性が高まってきています。簡単な指示から細かい指示まで対応できます。また、簡単に会話を切り替えられる上、計算やプログラミングも行えます(いつも正しいとは限りませんが)。

    この論文が書かれたときにそのような未来をある程度は想定していたのでしょう。

    https://arxiv.org/abs/2005.14165

    論文はここで一旦、「将来的に、NLPシステムもこのような柔軟性と汎用性を備えることが望まれます」と結んでいます。

    次回予告

    これまで「事前学習+微調整」の台頭と限界を見てきました。まだ、「メタ学習」や「文脈内学習」といった用語はまだ登場していませんが、この後に「事前学習+微調整」の限界に挑戦する手法について話が移っていきます。

    次回は、このまま進めて「導入」セクションの中盤を読み進めます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ