メインコンテンツへスキップ
見出し画像

GPT-3を読む①要約と結論

    前回までに、GPT-1とGPT-2の論文を読み終えました。今回からGPT-3の論文「Language Models are Few-Shot Learners」(言語モデルは少数ショットの学習者)を読み始めます。

    前回まで読んできた方なら、これはGPT-2の「ゼロショット」から「少数ショット」へとアプローチを変えたのだと気づくでしょう。また、GPT-1の「ファインチューニング」とどう違うのかも気になるところです。

    とろこで、この論文の著者リストは以前よりずっと長いです。これは一体何を意味するのでしょうか。

    画像

    ぱっと見だけで色々と疑問が浮かびます。

    そんなわけで今回は論文の概要を掴むために「要約」(Abstract)と「結論」(Conclusion)を読みます。

    なお、論文の読み進め方は、こちらの記事に従っています。

    要約で主張を理解する

    ファインチューニングの再考

    要約はこう始まります。

    近年の研究が示したのは「大規模なテキストコーパスで事前学習を行い、その後に特定のタスクでファインチューニングを行うこと」で多くの自然言語処理(NLP)タスクやベンチマークで大きな成果が得られることです。

    Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task.

    https://arxiv.org/abs/2005.14165

    「大規模なテキストコーパスで事前学習を行い、その後に特定のタスクでファインチューニングを行うこと」とあるのは、GPT-1のアプローチです。

    事前学習で行われるのは、言語モデリング(与えられた文章から次の単語を予測する)です。これによって、モデルは「言語タスクで利用できる能力」を身につけます。それは文章内の言葉の意味や関係から文脈を抽出できるようになります。

    文脈には、単なる言葉の寄せ集め以上の文章が与える情報・特徴が含まれています。モデルはこの文脈の抽出が上手くなり、また文脈の情報を条件として次に来る言葉の確率分布を予測できるようになります。

    ファインチューニングでは文脈の抽出を特定のタスクで利用できるように教師あり学習を行います。事前学習済モデルは与えられた文章の特徴を利用して文章分類や質問応答などに対応できるようにニューラルネットワークのパラメータを微調整していきます。

    GPT-1の実験結果からこのアプローチの有効性が確認されました。

    しかし、良い事ばかりでもありません。

    このアプローチは、アーキテクチャ自体はタスクに依存しないものの、ファインチューニングにはタスク固有の数千から数万の例が必要です。

    While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples.

    https://arxiv.org/abs/2005.14165

    事前学習による言語モデルのアーキテクチャは、固有のタスクに左右されません。ただし、ファインチューニングはタスクに特有の教師あり学習を行います。そのため、データセットを準備する必要があります。つまり、タスクの数が増えると、それに伴って必要なラベル付きデータセットの必要量も増加します。

    そもそも事前学習の利点は、ラベルなしの莫大なデータセットを利用できる事でした。しかし、様々なタスクをこなそうとすると、ラベル付きのコーパスを準備する必要になり元の問題に戻ってしまいます。

    また、多くのタスクに対応するためには時間がかかります。各タスクに対してファインチューニングを行うことになるからです。また、結果としてタスク専用のモデルがたくさん訓練されることになります。

    これは人間が言語を理解し利用するのとは大きく異なっています。

    一方で人間は、少数の例や簡単な指示だけで新しい言語タスクをこなせることが多いですが、現行のNLPシステムではこれが困難な場合がほとんどです。

    By contrast, humans can generally perform a new language task from only a few examples or from simple instructions – something which current NLP systems still largely struggle to do.

    https://arxiv.org/abs/2005.14165

    我々の脳はファインチューニングによってタスク専用に訓練され直されることはありません。同じ脳がそのままあらゆるタスクに対応できるようになっています。そのために必要なのは言語による指示だけです。

    ただし、受験勉強や運転試験のための訓練などはある意味ファインチューニングと呼べなくもありません。そこでは目的に合わせた学習が行われ脳の中で何らかの変化(調整)が生じているはずです。もちろん、人間の脳は一つでたくさんのタスクをこなすようにはなっていますが。

    個人の見解です

    なお、GPT-1でもゼロショットの性能が考察されていました。

    ゼロショット学習を簡単に復習すると「新しいタスクに対してファインチューニングを行わずに指示の与え方を工夫してモデルを評価する方法」です。学習といってもパラメータを調節するわけではなく、与えられた指示の意図を汲んで(学習して)タスクをこなすということです。そのため、モデルの入力や出力、あるいはタスクの方を変更して適応させます。様々なタスクに柔軟に対応できる意味では、人間の脳に似ていなくもありません。

    そこで、GPT-2ではさらに積極的にゼロショットの評価を行っていました。ゼロショットではタスクに応じてモデルのパラメータを調節する必要はありません。また、GPT-2では異なる容量のモデルで実験を行い、言語モデルの容量を大きくするほど性能が上がるということが明確になりました。ただ一方で、ゼロショットだけでは十分な性能が出せないタスクも多かったのも事実です。

    以上より、「事前学習+ファインチューニング」も「事前学習+ゼロショット」もまだ不十分であることがわかってきました。

    そこでGPT-3では少数ショットが考慮されています。

    スケーリング則と少数ショット学習

    論文はGPT-3の方針を語り始めます。

    我々の研究が明らかにするのは、言語モデルのスケールアップによって「タスクに依存しない少数ショット学習の性能」が大幅に向上し、ファインチューニングによる従来の最高性能に匹敵する成果を上げられる場合があるということです。

    Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art finetuning approaches.

    https://arxiv.org/abs/2005.14165

    「言語モデルのスケールアップ」とは、「スケーリング則」(Scaling Law)と呼ばれる実験的に知られている法則に関するもので、言語モデルの大容量化やデータ量の増加を進めれば、その性能が大幅に向上するという経験則のことです。

    また、「少数ショット学習」というのは、一般に少数の例を使う学習を意味しますが、詳細ついては論文の内容を読む必要があります。なお、「タスクに依存しない」と主張しているので、モデルのパラメータを変更するような学習を必要としないということになります。

    この少数ショットの意味が、プロンプトの中に少数の例を提示することであるのは、現代の我々からすると明白ですが、論文の中でおいおい語られるでしょう。

    GPT-2でも言語モデルの容量を大きくすることが、ゼロショットの性能が上がることに貢献していることはわかっていました。しかし、それでも成績が悪いタスクがあることから、モデルをさらにスケールアップすることが必要だったということでしょう。GPT-2の論文では「まだ学習不足になっている」(but still underfits WebText)と書かれていたことを思い出します。

    画像
    GPT-2の要約より(ハイライトは私による)

    では、どのくらい大容量化したのでしょうか。

    具体的には、1750億パラメータを持つ自己回帰型の言語モデルであるGPT-3を訓練しました。この規模は、従来の非スパースな言語モデルの10倍以上です。そして、このモデルの性能を少数ショットの設定で検証しました。

    Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting.

    https://arxiv.org/abs/2005.14165

    1750億(175 billion)パラメータというのは、想像できないぐらい巨大な数です。従来の言語モデル(GPT-2を含む)と比較して10倍以上ということなので、GPT-2の表をここに掲載します。

    画像
    GPT-2の論文:表2

    この4つのモデルの一番大きいもの(表の一番下)が、GPT-2です。これは約15億(1542 million)なので、確かにGPT-3はGPT-2の10倍以上(というか100倍)の容量があります。

    10倍というのは、おそらく当時のTuring-NLG(Microsoft)の170億パラメータを指していると考えられます。

    なお、「自己回帰型の言語モデル」と言っているのはGPT-3がトランスフォーマーのデコーダをベースにしたモデルであることを意味します。モデルが予測した次の言葉を文脈に含めて、さらにその次の言葉を予測していくところが自己回帰的です。

    「非スパースな言語モデル」とわざわざ言及している点についてですが、ディープラーニングの言語モデルはほとんどがテンソルの全ての要素を使う非スパース型です(つまり、ゼロが少ない)。そのため、一般的なディープラーニングの言語モデルは非スパース型であるといえます。したがって、「非スパースな」と強調する意図はよくわかりません。クールだからでしょうか。一応マークしておきます。

    画像

    そして、「このモデルの性能を少数ショットの設定で検証しました」とありますが、これについて論文の要約ではもう少し踏み込んでいます。

    すべてのタスクにおいて、タスクと少数の例示(few-shot demonstrations)がテキストを通して指定され、GPT-3に対する「勾配によるパラメータの更新」や「ファインチューニング」はありません。

    For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model.

    https://arxiv.org/abs/2005.14165

    ここで、少数ショット学習がどのように行われた中が簡単に説明されています。テキストによる指示の中に「タスクの説明」と「少数の例示」が与えられており、いわゆる学習(パラメータ更新)は行われていないということです。

    つまり、これもある種のゼロショット転送ですが、指示の中に少数の「教師ありデータ」を例として提示しているので、少数ショット学習となるということです。与えられた文章の説明と例からその場で学習するわけです。

    以上より、巨大になったGPT-3を使って少数ショットの実験を行ったのが今回の論文の主旨ということになります。よって、モデルの構造とかよりも、どのような工夫をして少数ショットの実験を行ったのか、また、タスクによってどのような結果となったのかが焦点になるでしょう。

    GPT-3の性能と社会へ影響

    論文は次に、GPT-3の性能についてこう述べています。

    GPT-3は、多くのNLPデータセットで優れたパフォーマンスを発揮します。翻訳、質問応答、穴埋めなどのタスクや、その場での推論やドメイン適応を必要とするタスクにも対応できます。例えば、単語を並び替えたり、文章の中の知らない単語を使ったり、3桁の計算などです。

    GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic.

    https://arxiv.org/abs/2005.14165

    実際の実験内容をは本文を読む必要がありますが、これだけでもGPT-2よりはるかに性能が良さそうです。一言にすると「GPT-3はすごい」と主張しています。

    ただし、不安材料もあるようです。

    また、GPT-3の少数ショット学習が苦手とするデータセットがあることもわかりました。そして、ウェブのテキストを利用した大規模なコーパスでの学習に関していつかのデータセットで問題があることもわかりました。

    At the same time, we also identify some datasets where GPT-3’s few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora.

    https://arxiv.org/abs/2005.14165

    GPT-3でも苦手なデータセットがあるということでしょう。苦手なタスクやデータセット自体の質の問題もあるかもしれません。詳しい内容については、論文の中身を読む必要があります。

    画像

    また、異なる意味での問題もあるようです。

    最後のポイントは、GPT-3は人間の書いた記事と見分けがつかないようなニュース記事を生成することができることです。我々は、このことだけでなくGPT-3が社会一般に及ぼす影響についても議論します。

    Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.

    https://arxiv.org/abs/2005.14165

    GPT-2でも創造的な文章を生成することが指摘されていましたが、今度はニュース記事のように割としっかりした内容を扱う文章を生成し、それが人間の目にも本物の記事であるかのように受け止められるということでしょう。

    このような機能を悪用することは社会に良からぬ影響を及ぼす可能性がある(現在、実際に起きていますが)ため、GPT-3の社会への影響を議論するとのことです。


    ここまで要約を読んできて、内容はかなり興味深いことがわかりました。論文の著者たちの自信も伝わってきます。本文を読めば、実際の結果なども詳しく書かれているのでしょう。

    ただし、ここでは本文に直接入らずに、結論を確認します。結論で、要約と大きく反することが書かれていなければ本文を読む意味もあるし、また、本文を読む際のヒントとなることが書かれている可能性もあるからです。

    結論で自信の程を確認する

    論文の結論では、著者たちが自信満々なのが伝わってきます。

    私たちは、1750億のパラメータを持つ言語モデルを発表し、ゼロショット、ワンショット、少数ショットの設定で多くのNLPタスクやベンチマークで強力なパフォーマンスを示すことを確認しました。場合によっては、最先端のファインチューニングシステムに匹敵する性能に近づき、さらに高品質なサンプル生成や、その場で定義されるタスクに対する強力な定性的パフォーマンスも発揮しています。

    We presented a 175 billion parameter language model which shows strong performance on many NLP tasks and benchmarks in the zero-shot, one-shot, and few-shot settings, in some cases nearly matching the performance of state-of-the-art fine-tuned systems, as well as generating high-quality samples and strong qualitative performance at tasks defined on-the-fly.

    https://arxiv.org/abs/2005.14165

    「ゼロショット、ワンショット、少数ショット」とあるので、少数ショットだけを実験したわけではないのがわかります。きっと、ゼロショットでもGPT-2以上の性能が出たことを確認したかったのでしょう。

    また、ワンショット(一つの例だけ)の設定もあるということですが、これは少数ショットでの例が一つだけということだと考えられますが、何か特別な意味があるのでしょうか。何にもないかもしれませんが一応マークしておきます。

    画像

    また次のような、要約では述べられていないことにも言及しています。

    また、ファインチューニングを使わない性能のスケーリングにおいて、おおよそ予測可能な傾向も記録しました。

    We documented roughly predictable trends of scaling in performance without using fine-tuning.

    https://arxiv.org/abs/2005.14165

    「ファインチューニングを使わない性能のスケーリング」の「おおよそ予測可能な傾向」とは、スケーリング則のことを表現を変えているだけでしょうか。

    画像

    一応マークしておきました。

    以下は、要約で述べられたものと同じです。

    このクラスのモデルがもたらす社会的影響についても議論しました。

    We also discussed the social impacts of this class of model.

    https://arxiv.org/abs/2005.14165

    これだけ巨大になって、パワフルなモデルなので心配も必要です。実際、大規模言語モデルの危険性を語る人は現在でも多く存在します。どのような議論が、このGPT-3の段階で語られたのかは興味深いところです。

    結論の最後はこう締めくくられています。

    多くの制約や弱点があるものの、これらの結果が示唆しているのは、非常に大規模な言語モデル(LLM)が「適応性のある汎用的な言語システムの開発」において重要な要素となる可能性があるということです。

    Despite many limitations and weaknesses, these results suggest that very large language models may be an important ingredient in the development of adaptable, general language systems.

    https://arxiv.org/abs/2005.14165

    「適応性のある汎用的な言語システム」とは、現在では「ファウンデーション(基盤)モデル」と呼ぶものでしょう。まだ「多くの制約や弱点がある」ので発展途上ということですが、それでもすでに「重要な要素となる」と考えているところからOpenAIの研究者たちの自信の程が伺えます。

    次回予告

    次回は、GPT-3の論文全体を見渡して、どの部分にフォーカスして読むべきかを決めていきます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ