
GPT-2を読む⑫議論
前回は、関連研究(Related Work)のセクションを読みました。
GPT-2が既存の研究と比べてどこで一線を画しているか明確するという内容でした。また、「関連研究」セクションが論文の後半に配置されている理由についても触れ、その意図を考察しました。
今回は、議論(Discussion)を読み進めます。
GPT-2では、ゼロショット能力の可能性が非常に興味深いのですが、実験の結果によってその限界も浮き彫りになりました。そこで、このセクションではGPT-2が抱える課題や限界について考察しています。また、なぜモデルの容量がカギとなるのかが議論されています。
その上で、GPT-2が持つ可能性をさらに引き出す方法としてファインチューニングのさらなる可能性についても触れており、その後の研究への流れが見えてきます。
なお、「GPT-2を読む」シリーズは今回が最後になります。
教師なしタスク学習の可能性
「議論」のセクションは、次のように「事前学習」研究の言及から始まります。
これまでに「教師あり学習」や「教師なし学習」による事前学習からの表現が多く研究されてきました。それは表現を「学習すること」(Hillら, 2016)、「理解すること」(Levy & Goldberg, 2014)、「客観的に評価すること」(Wieting & Kiela, 2019)などに関してです。
Much research has been dedicated to learning (Hill et al., 2016), understanding (Levy & Goldberg, 2014), and critically evaluating (Wieting & Kiela, 2019) the representations of both supervised and unsupervised pre-training methods.
この「表現」は、言語モデルの論文で頻繁に使用される用語で、テキストデータ(例えば、単語や文)を数値ベクトルに変換したものを指します。つまり、埋め込みベクトルによる分散表現を意味しています。
分散表現の対極にあるのは、ベクトルの1つの要素だけを使うワンホットエンコーディングがあります。分散表現は、ベクトルの要素全体を使うので、ワンホットエンコーディングより遥かに少ない次元数でより豊かな表現が可能になっています。
「教師あり学習」や「教師なし学習」による事前学習は、単語や文をベクトル空間に埋め込むことで、その意味や関係性を数値的に表現します。これが表現を「学習すること」に相当し、これにより埋め込みベクトルは、要約、翻訳、感情分析などのタスクで役に立ちます。
また、モデルの性能を向上させるには、これらの埋め込みベクトルがどのように機能し、なぜ効果的なのかを「理解すること」が望まれます。モデルが埋め込みベクトルを使って、単語やその周囲の文脈情報をどのように活用しているのかを分析し、なぜそれが効果的なのかが把握できればより効率的で効果的な言語モデルの開発につながります。
そのためには、埋め込みベクトルがモデルに対してどれだけ有用な情報を提供しているのかを明確にすることが大切です。例えば、ランダムなエンコーダと比較することで、埋め込みベクトルがモデルの性能にどの程度寄与しているのかを「客観的に評価すること」できれば、改善点を検討することが可能になります。
ここで英語の「critically evaluating」を「客観的に評価すること」と訳しました。「critically」を「批判的」にと直訳すると、やや否定的なニュアンスが強くなる可能性があるからです。
英語の「critically」には、単に否定的に批判するという意味だけでなく、「客観的に」「慎重に」「分析的に」といった意味合いが含まれています。特に研究や学術的な文脈では、感情や偏見を排除し、距離を置いて公平に利点や欠点を評価する姿勢を指します。
まとめると、この部分では、これまで「教師あり学習」や「教師なし学習」による事前学習を用いた分散表現(埋め込みベクトル)に関して「学習すること」「理解すること」「客観的にに評価すること」の研究が行われてきたことが述べられています。
では、このような状況下でGPT-2は何をもたらしたのでしょうか。
我々の結果が示唆するのは、「教師なしタスク学習」(unsupervised task learning)が新たに有望な研究領域であることです。
Our results suggest that unsupervised task learning is an additional promising area of research to explore.
「教師なしタスク学習」とは何を意味するのでしょうか?
いわゆる、「教師なし学習」は、明示的なラベルや指示なしで、データからパターンや関係性を学習することを意味します。例えば、Word 2VecにおけるCBOWやスキップグラムがその代表例です。これでも、ある程度は下流タスクで役に立つ情報を含むようになりますが、むしろ単語の意味や単語間の関係などに重点を置いています。
その一方、「教師なしタスク学習」は、モデルが要約や翻訳、質問応答などのタスクに関連する知識やスキルを教師なし学習で身につけることを目指します。つまり、事前学習の段階で下流タスクに必要な情報を学ぶことになり、その後のタスクへの適応が容易になるというアプローチです。
そもそも、この論文のタイトルは「Language Models are Unsupervised Multitask Learners」(言語モデルは教師なしマルチタスク学習者)です。様々なタスクに役立つ言語モデルを教師なし学習で作り出すことを意味します。その仕組みは、大規模なコーパスを使って大容量のモデルによる言語モデリングを行うというものでした。
つまり、これまでの「教師あり学習」や「教師なし学習」による事前学習に加えて、「教師なしタスク学習」が研究に値するテーマだというわけです。これは、ここまで論文を読んでいる我々からすると受け入れやすい主張です。
OpenAIの研究者たちは、「教師なしタスク学習」に大いなる可能性を感じているのが伝わってきます。
これらの知見は、様々な自然言語処理(NLP)タスクにおいて事前学習技術が広く成功している理由の一端を説明するかもしれません。私たちの研究結果が示すように、極限まで推し進めると、これらの事前学習技術のうちの1つが、教師あり学習による調整や修正を経ることなく、直接タスクを実行できるようになるからです。
These findings potentially help explain the widespread success of pre-training techniques for down-stream NLP tasks as we show that, in the limit, one of these pre-training techniques begins to learn to perform tasks directly without the need for supervised adaption or modification.
事前学習に対するさまざまな研究からの知見は、自然言語処理タスクにおいて事前学習が有効であること説明するのに役立つ可能性があります。なぜなら、GPT-2では、大規模のコーパスで大容量のモデルに事前学習させることを極限まで推し進めることで「事前学習モデルが、追加の教師あり学習や微調整なしでも、直接タスクを学習・実行できるようになる」ことを実験で示したからです。
ただし、GPT-2のことを「これらの事前学習技術のうちの1つ」と呼んでいるのは、これがが最善だと言える確証がないからでしょう。GPT-2は確かに「教師なしタスク学習」の能力を示しましたが、研究者たちはこれを一つの例として捉えています。つまり、もっと良いアプローチもあるかもしれないということでしょう。
それでもGPT- 2の結果は、様々な自然言語処理タスクにおける事前学習の有効性を示しています。控えめな表現が使われているのは、引き続き更なる研究の努力が必要だということでしょう。
また、将来的にもっと「極限まで推し進める」ことを示唆しているようにも受け取れます。つまり、さらなるハードウェアの進化やモデルの改良や容量の巨大化によって、もっと性能が良い「教師なしタスク学習」の可能性を示唆しています。
GPT-2のゼロショット能力
「教師なしタスク学習」の可能性は有望ですが、GPT-2のゼロショット能力はまだ実用には遠い現状であることも事実です。
読解において、GPT-2の性能はゼロショット設定でも教師ありベースラインと競争力があります。しかし、要約などの他のタスクでは、質的にはタスクを実行しているものの、定量的な指標によるとその性能はまだ初歩的な段階にとどまっています。研究結果として示唆に富むものである一方、実用的なアプリケーションの観点では、GPT-2のゼロショット性能はまだ実用レベルには程遠い状態です。
On reading comprehension the performance of GPT-2 is competitive with supervised baselines in a zero-shot setting. However, on other tasks such as summarization, while it is qualitatively performing the task, its performance is still only rudimentary according to quantitative metrics. While suggestive as a research result, in terms of practical applications, the zero-shot performance of GPT-2 is still far from use-able.
ここでは、淡々とゼロショット性能の限界を述べています。
もちろん、タスクに合わせた変更やファインチューニングを行うことなく、様々なタスクを実行できるということは、それだけでも素晴らしい研究結果ではあります。ただし、読解以外のほとんどのタスクでの性能(数値)は不十分で、実用的なレベルには達していません。
読解のタスクでは、既存の教師あり学習モデルと同等の性能
要約など他のタスクを実行をできてはいるが、その性能は良くない
研究結果としては意義があるが、実用には使えない
つまり、GPT-2のゼロショット能力は、研究の観点では有望であるものの、現実のアプリケーションにはまだ使えないということです。まだ、かなりの伸び代があるということでもあります。
ゼロショット性能と容量の必要性
GPT-2では様々なタスクによる実証実験が行われましたが、まだまだたくさんのタスクが存在します。
私たちは、WebText言語モデルのゼロショット性能を多くの標準的な自然言語処理(NLP)タスクで研究しましたが、評価可能な追加のタスクがまだ多く存在します。GPT-2の性能がランダムと変わらないような実用的なタスクも多くあることでしょう。
We have studied the zero-shot performance of WebText LMs on many canonical NLP tasks, but there are many additional tasks that could be evaluated. There are undoubtedly many practical tasks where the performance of GPT-2 is still no better than random.
まだ、実験していないタスクもあるし、その中にはGPT-2が性能を発揮できないようなタスクもたくさんあるだろうと述べています。
つまり、より多くのタスクで実験をして事前学習の理解を深められる可能性があると同時に、さらに技術を発展・改善することでGPT-2よりもっと性能が高いモデルを開発し、その性能を比較する余裕があるということです。
例えば、もっと大容量のモデルを実験するのも一つのアプローチです。
質問応答や翻訳などよく使われるタスクでも、より単純なモデルの性能(ベースライン)を超え始めるのは、言語モデルに十分な容量がある場合に限られます。
Even on common tasks that we evaluated on, such as question answering and translation, language models only begin to outperform trivial baselines when they have sufficient capacity.
これは、モデルの容量を大きくすればするほど事前学習後のゼロショット性能が上がるという経験則によって一つの研究の方向性を示唆してます。
なお、「ベースライン」とは、モデルの性能を比較するための基準となるものです。例えば、完全にランダムなモデルや、より単純な構造を持つモデルによる性能を基準として使います。
ファインチューニングによる挑戦
GPT-2のゼロショット性能は、それ自体がベースラインとなります。これにより、さらにファインチューニングを行うことでどのくらい性能が増すのかを測ることができます。
ゼロショット性能は、GPT-2が多くのタスクで発揮し得る潜在的な性能のベースラインを確立しますが、ファインチューニングでどこまで性能を引き出せるのかはわかりません。
While zero-shot performance establishes a baseline of the potential performance of GPT-2 on many tasks, it is not clear where the ceiling is with finetuning.
事前学習によって言語モデルがどの程度の能力を獲得したのかをゼロショット性能で評価することは、そのモデルが持つ可能性(潜在的な性能)をある程度示します。よって、たくさんあるタスクに対してGPT-2のゼロショット性能を測れば、それをベースラインとすることができます。
さらに、ファインチューニングを使えば、モデルの潜在的な性能をうまく引き出せる可能性があります。これをゼロショットのベースラインと比較して評価できます。
GPT-2にある潜在的な性能について論文は次のように述べています。
いくつかのタスクでは、GPT-2の完全に抽象的な出力は、現在多くの質問応答や読解のタスクで最先端とされているポインターネットワーク(Vinyalsら, 2015)による抽出型の出力とは大きく異なっています。
On some tasks, GPT-2’s fully abstractive output is a significant departure from the extractive pointer network (Vinyals et al., 2015) based outputs which are currently state of the art on many question answering and reading comprehension datasets.
「完全に抽象的な」(fully abstractive)は「抽象的に考える能力による」と読み替えても良いでしょう。入力テキストを理解し、新しい文や表現を生成する能力を持っていることを意味します。
その一方で、ポインターネットワークは、主に入力テキストから直接情報を選択(抽出)して出力を構成します。この抽出型の手法は、多くの質問応答や読解タスクにおいて当時の最高性能を示していました。
しかし、GPT-2は単に情報を抽出するだけでなく、理解した内容を基に新しい表現で回答を生成できることを示唆しており、その点で大きく異なっています。よって、この潜在能力をうまく利用できれば、自然言語処理タスクへのアプローチに大きな変化をもたらす可能性があります。
このことがGPT-1において成功を収めたファインチューニングを再考する一因となったようです。
GPT-1のファインチューニングによる成功を踏まえ、我々はファインチューニングを decaNLP や GLUE のようなベンチマークで調査する予定です。特に、GPT-2にもっと訓練データと容量を追加するだけでは、BERT(Devlinら, 2018)が示した「単方向表現の非効率性」を克服するのに十分かどうかは不明確だからです。
Given the prior success of fine-tuning GPT, we plan to investigate fine-tuning on benchmarks such as decaNLP and GLUE, especially since it is unclear whether the additional training data and capacity of GPT-2 is sufficient to overcome the inefficiencies of uni-directional representations demonstrated by BERT (Devlin et al., 2018).
ここでは、いくつかのデータセット(decaNLPやGLUE)を使ってGPT-2のファインチューニングを行なうという研究の方向性が述べられています。これは、単に訓練データを追加したり、モデルの容量を増やすだけでは、BERTの双方向性による優位性を克服できない可能性があるからです。
BERTはトランスフォーマーのエンコーダをベースにしており、文章全体から文脈を抽出することに非常に優れています。そのため、質問応答や文の読解のように、文全体の文脈を把握する必要があるタスクにおいて高い性能を示します。
なお、BERTは、文中のランダムな単語を「マスク」して、その単語を前後の情報を使って予測する学習方法を採用しています。これにより、文全体の文脈を利用することを学習します。
その一方で、GPTはトランスフォーマーのデコーダを基盤としており、次に来るトークンの予測に特化しています。このため、文脈を単方向(例:左から右)でしか利用できず、後続の情報を考慮できないという制約(単方向表現の非効率性)があります。
したがって、GPT-2の学習データ量やモデル容量を増やすだけでは、単方向表現の非効率性を上回るほどに性能を向上させることは難しい可能性があります。
それでも、コーパスのさらなる大規模化とモデル容量の増加は、特定のタスクにおいては高い性能をもたらすでしょう。よって、この方向性が重要であることに変わりはありません。
そこでファインチューニングを使うことで、モデルは少ないデータ量でも特定のタスクに関連する文脈情報をより効果的に利用できるようになります。これにより、OpenAIの研究者たちは、単方向表現の制約内でも大きく能力が向上することを期待しているわけです。
次回予告
今回で、「GPT-2を読む」シリーズは最後になります。
そして次回からは、「GPT-3を読む」が始まります。
お楽しみに!