
GPT-2を読む⑪関連研究
前回は、セクション4「一般化 vs 暗記」を読み終えました。
GPT-2の一般化能力の評価が訓練データにどれほど依存しているのかについて検証されていました。訓練データと各データセットのテストデータにどれほどかの重複があるかをブルーム・フィルターを使って調査した結果を確認する内容でした。
これによって、GPT-2のアプローチが正当化されました。つまり、大容量の言語モデルを巨大なデータセットであるWebTextで「教師なし学習」を行うことことは「単なる暗記」ではないということです。
モデルの規模が大きくなるにつれ、暗記のリスクは高まりますが、それと同時に一般化能力が向上することになります。つまり、言語モデルにとって「記憶」としての情報の蓄積はむしろ重要であり、それをうまく活用することで、一般化能力が発揮されると理解できます。
また、論文ではGPT-2がWebTextに対して未学習状態であり、過学習による暗記に陥っていないことが強調されています。これにより、モデルはさらに一般化能力を向上させる余地があることが示唆されています。
結果として、モデルの容量を増やすことで一般化能力が向上することが確認され、GPT-2は後続の言語モデルによる大規模化をさらに推進したと言えます。
ここまでの内容で、この論文は大方読み終えました。あと残すは、関連研究(Related Work)と議論(Discussion)のセクションです。
今回は、関連研究を読み進めます。
関連研究のセクションについて
「関連研究」では、GPT-2におけるアプローチに関連する過去の研究について言及しています。
つまり、論文の著者たちが、自分たちの研究が過去のどの研究の積み重ねの上に成り立っているか、もしくは関連しているかを紹介しています。もちろん、過去の論文の参照は全体にわたって行われますが、ここでは特に本論文が歴史的な研究の流れにおいてどのような位置づけにあるのかが明確にされています。よって、本論文の理解を深めるのにも役立ちます。
なお、この論文の導入でも関連する研究などが取り上げられています。事前学習やマルチタスク学習など、よりGPT-2の目的に沿ったものです。
多くの論文では「関連研究」セクションが「導入」(Introduction)の直後に来ることが多いです。しかし、GPT-2の論文では、後の方に配置されています。もちろん、そういうパターンも見受けます。
でも、それなりの意図があっての配置だと考えられます。これについては、まとめの部分で再び触れることにします。
大容量の言語モデル
GPT-2では、大容量の言語モデルを巨大なデータセットで訓練し評価するアプローチをとっていますが、これに関連して幾つかの関連研究が紹介されています。
大容量のRNN言語モデル
まず、RNN(特にLSTM)の大容量の言語モデルとして LSTM を1 Billion Word Benchmark(1BW)で訓練と評価した「Exploring the Limits of Language Modeling」(Jozefowicz et al. 2016)が挙げられています。コーパスの大きさ、語彙サイズ、長期依存関係など対処することを目指したものです。
これらの点は、後のGPT-2のアプローチにも関連する重要な研究の流れです。
Project Gutenbergによる大規模訓練セット
また、「Embracing data abundance: BookTest Dataset for Reading Comprehension」(Bajgar et al. 2016)では、よく使われていた既存の訓練セットを補完するために、Project Gutenberg からさらに大規模な訓練セットを作成し、子供の本によるテスト(The Children's Book Test, CBT)で評価をしています。
Project Gutenbergは、7万冊以上の無料eBookを提供するオンライン図書館です。ePubやKindle形式でダウンロードでき、オンラインで読むことも可能です。主に米国で著作権が切れた古典文学が中心で、ボランティアによってデジタル化され、校正された書籍が提供されています。
この追加データにより、言語モデルのパフォーマンスが向上したことが報告されています。これに関しても、GPT-2では似たようなアプローチをとっています。
スケーリングと性能の関係
「Deep Learning Scaling is Predictable, Empirically」(Hestness et al. 2017) の研究は、モデルの容量とデータセットのサイズがディープラーニングモデルのパフォーマンスにどのように影響するかを分析しています。
4つのドメイン(機械翻訳、言語モデリング、画像処理、音声認識)でテストされ、特に大規模なモデルやデータセットが性能向上に重要であることが示されています。
また、モデルの改良によるエラー削減は限界がある一方で、スケーリング(モデル容量やデータセットの拡大)がモデルの性能に大きな影響を与えることが示されています。
スケーリングと性能の関係はその後のGPT-3の開発を強く連想させます。GPT-3は、そのパフォーマンスの向上を、モデルサイズやデータセットの大幅なスケーリングによって実現しました。
GPT-2でも、パラメータが増えるほど性能の改善傾向が続くことを示唆しており、非常に大規模なモデルにもその傾向が適用される(だろう)ことを指しています。
生成モデルの学習能力
言語モデリング(次に来る単語や文を予測することによる学習)によって、言語モデルは文脈に沿ったテキストを生成する能力を獲得します。つまり、生成モデルとしての機能を学習するわけです。
GPT-2の実験でも、与えられたプロンプトに対して文章を作成するの高さが確認されました。これに関連した過去の研究も言及されています。
生成による機能獲得
「Visualizing and Understanding Recurrent Networks」(Karpathy et al. 2015)は、Andrej Karpathyがスタンフォード大学の博士課程に在籍していた時に発表された論文で、Fei-Fei Liの指導の下で行われました。
Andrej Karpathyは、その後OpenAIの創業メンバーとなました。2017年にはテスラの人工知能ディレクターとしてElon Musk直属となりますが、2023年にOpenAIの復帰します。ところが、2024年に、OpenAIを再び去り、その後は、会社を立ち上げ、人工知能教育系YouTuber(?)になった模様です。
この研究では、RNN(特にLSTM)の内部構造を可視化し、単純なn-gramモデルと比較することで、LSTMがどのような機能を学習するかを分析しています。LSTMのセル(記憶細胞)が、長距離依存(例えば、行の長さや引用符、括弧の追跡)を管理する役割を持つことが明らかになり、これがn-gramモデルに対するLSTMの優位性の一因であることが示されています。
つまり、言語モデリングで学習した長距離依存の管理機能は、文章生成に役立っている証拠となります。文章の文脈や構造をより適切に反映した生成に繋がります。
生成による翻訳能力
「Generating Wikipedia by Summarizing Long Sequences」(Liu et al. 2018)では、トランスフォーマーのデコーダのみのアーキテクチャを使用し、複数文書を入力として、その要約としてWikipedia記事の生成を行います。
その結果として、モデルが名前の翻訳(例:英語からヒンディ)といった特定のタスクに対して、明示的な訓練を受けていないにもかかわらず、そのような能力を獲得したことをこの論文は示唆しています。
また、名前の翻訳は正確なことが多く、元の記事にはないものも含まれていました。これは、モデルが多言語データから学習し、言語間の関係性を学習したことを意味しています。
事前学習による表現学習
事前学習に関しては、導入部分でも触れられていますが、ここでは追加の研究が紹介されています。
Common Crawlからの単語ベクトル
「GloVe: Global Vectors for Word Representation」(Pennington et al., 2014)のGloVeは、単語ベクトル表現の学習し、単語間の関係をベクトル演算で捉えることができるモデルです。
その際、大規模なテキストコーパス(コモン・クロール)から、単語の共起関係を学習し、単語ベクトルを生成します。
共起関係は、2つの単語が同じ文脈や文章内で一緒に出現する頻度を指します。例えば、「犬」と「吠える」という単語はよく一緒に出現するので、共起関係が強いといえます。「雨」と「傘」も同じ文脈の中で扱われることが多いです。
GloVeは大規模なテキストコーパスを使用し、タスクに依存しない単語のベクトル表現を学習するので、事前学習の一種です。学習されたベクトルは様々な自然言語処理タスクに転用できます。
テキストの深層表現学習
「Skip-Thought Vectors」(Kiros et al., 2015)では、文章の情報を圧縮(エンコード)してから再構築(デコード)するエンコーダ・デコーダモデルを教師なし学習によって訓練しています。
文脈となる文からその意味を学び、その文章の周囲にある文を再構築するというアプローチを取ります。つまり、「前後の文」を与えられずに、文の意味をエンコードし、「前後の文」をデコードします。よって、与えられていない前後関係を考えながらベクトル表現を行なっています。
「Skip-thought」という名前は、スキップグラムに似ています。スキップグラムは、ある単語を入力として文脈(前後周りの単語)を予測する手法です。
これによって、エンコーダは文章をベクトル表現することができるようになり、様々なタスクに応用できる汎用的なものです。よって、事前学習の一種と言えます。
機械翻訳モデルの文脈表現
「Learned in Translation: Contextualized Word Vectors」(McCann et al. 2017)は、機械翻訳で訓練されたLSTMのエンコーダを用いて、単語ベクトルを文脈に基づいて強化する手法(CoVe)を提案しています。
機械翻訳では、エンコーダが入力文章の内容を文脈を含めてエンコードします。よって、事前学習されただけの単語ベクトルに文脈情報を追加する効果があります。これにより感情分析や質問応答などのNLPタスクの性能が向上することが示されました。
転移学習による言語能力利用
事前学習されたベクトル表現を利用する関連研究にも触れています。
RNN言語モデルの微調整手法
「Universal Language Model Fine-tuning for Text Classification」(Howard & Ruder 2018)は、RNNベースのモデルに関するファインチューニング手法を改善しました。
この論文の著者の一人であるJeremy Howardは、カグルの創設者でもあります。また、fastaiなどディープラーニン関連のソフトウェア開発やチュートリアルでも有名です。
この論文では、ULMFiT(Universal Language Model Fine-Tuning)という、タスク固有の訓練を必要としない、さまざまなNLPタスクに適用可能な転移学習の手法を提案しています。
事前学習された言語モデルをうまく微調整することで、ゼロショットではないですが、少ないデータ(数ショット、Few Shots)でも高いパフォーマンスを発揮する転移学習手法です。
教師ありの転移学習
「Supervised Learning of Universal Sentence Representations from Natural Language Inference Data」(Conneau et al., 2017)では、スタンフォードの自然言語推論(SNLI)データセットを使って「教師あり学習」を LSTM などで行い、そこで学習された文表現を転移学習に利用するものです。
自然言語推論(Natural Language Inference, NLI)は、2つの文の間の意味的な関係を理解し、推論するタスクです。
ある文(前提)と別の文(仮説)の関係が「含意(前提から仮説が導かれる)」、「矛盾(前提と仮説が矛盾している)」、または「中立(前提と仮説が無関係)」のいずれかであるかを分類します。
教師ありなのにGPT-2の関連研究として取り上げられる理由は、自然言語推論(NLI)を使った教師あり学習による文表現の学習が、言語モデリングによる事前学習に相当している点だと考えられます。
つまり、教師あり学習でありながら、自然言語推論のタスクでは文脈や文間の意味関係を深く学習するため、言語の表現力を習得するのに適しています。
これによって、SkipThoughtのような「教師なし手法」よりも幅広いタスクで優れた性能を発揮することが示されました。
マルチタスク教師あり学習
「Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning」(Subramanian et al., 2018)では、文の表現を学習するためのマルチタスク学習を提案し、複数のデータソースを用いて100万以上の文章でGRU(Gated Recurrent Units)言語モデルを訓練しました。
GRU(gated recurrent unit)はLSTMを簡略化したものです。セル無しでもLSTMと似たようなモデルを作ることに成功しました。
リセットゲートと更新ゲートの2つのゲートがあり、LSTMにおける3つのゲートの役割を果たしています。
LSTMよりも重み(パラメータ)が少なくなるのでLSTMの代わりに用いられることもあります。ただし、LSTMの方が長期記憶では優れています。
異なるタスク間で文章エンコーダを共有することで、従来の手法を超える性能が見られ、転移学習や少数のデータでの学習で効果を示しています。
ただし、このマルチタスク学習は、一つのモデルを使って複数のタスクで教師あり学習を行っています。
事前学習とファインチューニング
「Unsupervised Pretraining for Sequence to Sequence Learning」(Ramachandran et al., 2016)は、事前学習をシーケンス・ツー・シーケンス(seq2seq)モデルに適用した研究です。
シーケンス・ツー・シーケンス(seq2seq)とは、入力文(シーケンス)をエンコードして、別の文(シーケンス)を生成するモデルです。
例えば、機械翻訳や文章の要約などのタスクで使われます。エンコーダが入力からの文脈情報を内部表現に変換し、デコーダがその情報を基に出力を生成します。よって、エンコーダ・デコーダモデルの一種です。
この論文では、機械翻訳を取り扱っており、2 つの事前学習モデル(LSTM)の重みで、seq2seq モデルのエンコーダとデコーダの重みを初期化し、その後にラベル付きデータでファインチューニングを行います。
トランスフォーマーによる対話
トランスフォーマーと転移学習
「TransferTransfo: A Transfer Learning Approach for Neural Network Based Conversational Agents」(Wolf et al., 2019)は、Transformerモデルと転移学習を組み合わせたチャットボットです。
この手法では、複数の予測タスクを組み合わせたマルチタスク学習によりファインチューニングを行い、従来の会話モデル(seq2seqや情報検索ベースモデル)よりも大幅な改善を示しました。
トランスフォーマーと記憶ネットワーク
「Wizard of Wikipedia: Knowledge-Powered Conversational agents」(Dinan et al., 2018)は、知識を活用した対話型エージェントとして、記憶を扱うネットワークとトランスフォーマーを組み合わせたモデルを提唱しています。
また、従来のシーケンス・ツー・シーケンスモデルが、知識を活用して応答を生成することが難しかった理由の一つは、明確に知識に基づく対話の教師あり学習ベンチマークが存在しなかったためと考え、Wikipediaから取得した知識に基づいて会話を行うための大規模なデータセットを収集し公開しています。
このデータセットと新しいモデルにより、知識を条件に応答を生成する能力が向上しました。
まとめ
「関連研究」セクションで登場した手法やモデルを次のようなトピックでグループ化し紹介しました。
大容量言語モデル
言語モデリング
事前学習による表現学習
転移学習による言語能力利用
トランスフォーマーによる対話
これらの手法と比較すると、GPT-2は過去のさまざまな研究と関連を持ちつつも、とてもシンプルな手法を採用しているのが明確になりました。
GPT-2は、大容量言語モデルを大規模なコーパスで事前学習して、ゼロショットでマルチタスクを行うというものです。WebTextによる言語モデリング(自己教師あり学習)によって、さまざまなタスクに役立つ表現や能力を習得します。
何か、大統一理論の登場を見ているかのようです。
「関連研究」セクションが後半に登場したのは、GPT-2の手法が既存の研究とどのように関係があり、またどこで一線を画しているか明確に示すためには、まずモデルの特性や実験結果の理解が必要だったからでしょう。
この配置によって、GPT-2のシンプルなアプローチとその効果の強調が、既存の複雑な手法と対比されることで、その新規性と効果がより明確に浮き彫りになっています。
仮に「関連研究」セクションが前半に配置されていたら、その効果はかなり弱くなっていたと想像できます。
次回予告
次回は、「GPT-2を読む」の最終回です。「議論」(Discussion)のセクションを読み、全体を振り返りましょう。
お楽しみに!