
GPT-2を読む②構造と方針
前回は、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」(GPTのバージョン2)の要約と結論を読みました。
要約と結論から、いくつかの疑問も湧き起こりました。これから読み進むにつれてその解答合わせもできることを目指しています。
さて今回は、疑問に思っていることなどを踏まえて、どのあたりに注力して読むかを決めます。まずは、論文の全体構造をざっと見回して、軽く図や表に触れていきます。
なお、これまで通り論文の読み方に大体従っています。
目次を作成する
まずは、論文ないのセクション名から全体構造を確認します。PDFリーダーで目次が表示される場合は、そこですぐに確認できます。
ただし、この論文では目次が表示されませんでした。そこで、手作業で各セクションを目次へと追加しました。

(私はPDF Expertを使っていますが、
他のPDFリーダーでも同様の機能があるなら
好きなものを使えば良いでしょう)
この論文のように、AI関連の論文は10ページ程度のものが多く、ページ移動にそれほどの手間はかかりませんが、私は目次を開いておいて好きなセクションに瞬間移動するのが好みです。

それでは論文の構造を確認しましょう。
論文の全体構造
論文の全体構造は以下のようになっています。
要約(Abstract)
導入(Introduction)
アプローチ(Approach)
実験(Experiments)
一般化 vs 暗記(Generalization vs Memorization)
関連研究(Related Work)
議論(Discussion)
結論(Conclusion)
論文の読み方で解説したように、よくある論文の構造を持っています。しかし、「一般化 vs 暗記」というセクション名はちょっと気になります。
一般化 vs 暗記
前回の疑問の一つに、GPT-2では容量(パラメータ)を増やすことでゼロショットでの性能が高くなるという点に「それって単なる暗記では?」という疑問を持ちました。疑問のある箇所をハイライトして、思い出しやすいように短いコメントをつけています。

通常、機械学習で「一般化」とは、学習した知識や経験を新しい状況や未知のデータに適用する能力を指します。モデルが訓練データからパターンを習得し、それをもとに新しいデータにも正確に予測や対応できるようになることが目標です。汎化能力が高い状態を指します。
また、機械学習で「記憶」という言葉は、よくモデルが訓練データを単に暗記してしまい、新しいデータに対して柔軟に対応できなくなる状態を指します。この場合、モデルは訓練データと非常に似たデータに対しては正確に動作しますが、少しでも異なるデータに対しては適切に対応できなくなります。過学習の原因となります。
「過学習」や「暗記」に関して、よくある説明として、ほぼ線形に見える訓練データに対して、非常に複雑なモデルを適用するケースがあります。

緑:線形モデル
赤:複雑モデル
モデルの容量(パラメータ数)を増やすことは、モデルを複雑にすることなので過学習を起こしやすくなります。なぜなら訓練データの細かい特徴までフィットしてしまうからです。これをモデルが訓練データを「記憶してしまう」と言います。
なので、このセクションでは、「一般化 vs 暗記」つまりは「それって単なる暗記では?」に対する答えが見つかるかもしれません。よって、このセクションは読むべきでしょう。
それでは、「導入」から他のセクションもさらっと目を通してみます。
導入
導入の部分は、次のように始まります。
現在の機械学習システムは、大規模なデータセット、高容量のモデル、および教師あり学習を組み合わせることで、訓練されたタスクにおいて期待通りの成果を上げています(Krizhevsky et al., 2012)(Sutskever et al., 2014)(Amodei et al., 2016)。
Machine learning systems now excel (in expectation) at tasks they are trained for by using a combination of large datasets, high-capacity models, and supervised learning (Krizhevsky et al., 2012) (Sutskever et al., 2014) (Amodei et al., 2016).
ここでは特筆するべきことはありません。要約の始まりと同じで、あっさりとした始まり方です。
ちなみに、参照されている3つの論文は(この論文の最後にある)参照セクションから以下のモデルに関するものである事がわかります。
Krizhevsky et al., 2012:画像分類モデル(AlexNet)
Sutskever et al., 2014:機械翻訳(LSTM)
Amodei et al., 2016:音声認識(RNN)
要するに教師あり学習の論文を成功例として参照しているわけですが、3つも取り上げる必要があるのかという感じがします。この論文の著者たちの過去の栄光を取り上げているだけで、これといって深い意味は感じません。
続きを読みます。
しかし、これらのシステムは脆弱であり、データ分布のわずかな変化(Recht et al., 2018)やタスクの仕様(Kirkpatrick et al., 2017)に敏感です。
Yet these systems are brittle and sensitive to slight changes in the data distribution (Recht et al., 2018) and task specification (Kirkpatrick et al., 2017).
ここで教師あり学習の批判が始まった(?)ようです。
Recht et al., 2018:一般化能力の定義や評価法など
Kirkpatrick et al., 2017:破滅的な忘却(catastrophic forgetting)など
これらの論文は、Google(Deepmind)によるものです。私自身、簡単に要約をチラ見しただけですが、教師あり学習の一般化能力をどう評価するか、破滅的な忘却にどう対処するかといった内容です。要するに教師あり学習の脆弱性を取り上げています。
現在のシステムは、優れたジェネラリスト(一般家)というよりも狭い分野のエキスパート(専門家)として特徴づけられます。私たちは、さまざまなタスクを実行できる、より一般的なシステムを目指したいと考えています。最終的には、各タスクごとに手動でトレーニングデータセットを作成し、ラベル付けする必要がないシステムを目指します。
Current systems are better characterized as narrow experts rather than competent generalists. We would like to move towards more general systems which can perform many tasks – eventually without the need to manually create and label a training dataset for each one.
ここで「最終的には、各タスクごとに手動でトレーニングデータセットを作成し、ラベル付けする必要がないシステムを目指します」と目標を述べています。ラベル付けを必要としないシステムを完成したわけではないようです。
これは以前に要約で述べられていた「学習し始める」とはどういうことか、に関連しているかもしれません。少なくとも導入では、もう少し深い背景を知る事ができそうです。よって、導入もしっかり読むべきでしょう。
一気に飛ばして、導入の最後を読んでみます。
本論文では、これら二つの研究の流れを結びつけ、より一般的な転移学習の手法を継続的に探求します。我々は、言語モデルがパラメータやアーキテクチャの変更なしに、ゼロショット設定で下流タスクを実行できることを示します。このアプローチが多様なタスクをゼロショット設定で実行する言語モデルの能力を強調することで、その可能性を示します。我々は、タスクに応じて、有望で競争力のある、そして最先端の結果を達成します。
In this paper, we connect these two lines of work and continue the trend of more general methods of transfer. We demonstrate language models can perform down-stream tasks in a zero-shot setting – without any parameter or architecture modification. We demonstrate this approach shows potential by highlighting the ability of language models to perform a wide range of tasks in a zero-shot setting. We achieve promising, competitive, and state of the art results depending on the task.
「これら二つの研究の流れを結びつけ」と書いてありますが、「二つの研究とは?」は導入の中身を読まないとわかりません。
あとで忘れないようにマークしておきます。

ここでもう少し具体的に論文の中身に触れています。
まず、「言語モデルがパラメータやアーキテクチャの変更なしに、ゼロショット設定で下流タスクを実行できることを示します」と主張しているので、ゼロショットがある程度うまくいくぐらいの一般化が可能だという事でしょう。もちろん、まだ「単なる暗記では?」の疑問は残ります。
そして、「このアプローチが多様なタスクをゼロショット設定で実行する言語モデルの能力を強調することで、その可能性を示します」と述べているのは「可能性」にとどまるようです。やはりゼロショットでは、タスク専用の教師あり学習は超えられないが、まだ伸び代があるという事でしょうか。
最後に「タスクに応じて、有望で競争力のある、そして最先端の結果を達成します」と、「目指しているます」感があります。
よって、導入から受ける印象は、ゼロショットがさまざまなタスクである程度うまくいくけど、まだ成長の余地があります、という感じです。ちょっと中途半端な印象ですが、それでもGPT-2として論文を発表する価値があると考えたのでしょう。GPT-2では、GPT-1とは異なるアプローチが使われたことは間違いないでしょう。
アプローチ
次のセクションであるアプローチでは、言語モデリングの解説から始まります。
私たちのアプローチの中心にあるのは言語モデリングです。言語モデリングは通常、一連の例 $$(x_1, x_2, \ldots, x_n)$$ (各例は、さまざまな長さの記号のシーケンス $$(s_1, s_2, \ldots, s_n)$$ で構成される)から教師なし学習で分布を推定するものです。
At the core of our approach is language modeling. Language modeling is usually framed as unsupervised distribution estimation from a set of examples each composed of variable length sequences of symbols .
言語モデリングは、ラベルなしのデータセットからの文章を使って、条件文に続く言葉(トークン)を予測するものです。GPT-1の事前学習で行われたものと同じです。GPT-2でも事前学習が行われ、ゼロショットによる評価が行われるのでしょう。このセクションもよく読んだ方が良さそうです。
ざっくり目を通したところ図や表などがあまりないので、容量(パラメータ数)を大幅に増やす以外は大きな変化はないのかもしれません。
なお、このセクションでは、さらにサブセクションが3つあり、「訓練データセット」、「入力表現」、「モデル」と続いています。

興味がそそられますが、あとでじっくり読むことにして、次に進みます。
実験
ここは、実験の設定や結果がわかるセクションです。この論文で一番大きなセクションとなっています。

サブセクションからもわかるようにさまざまなタスクが試みられてようです。
言語モデリング(Language Modeling)
子供用の本のテスト(Children's Book Test)
LAMBADA
ウィノグラード・スキーマ・チャレンジ(Winograd Schema Challenge)
読解(Reading Comprehension)
要約(Summarization)
翻訳(Translation)
質問応答(Question Answering)
これらのタスクでゼロショットがどのくらいうまくいったのかなどの詳細があるはずです。実験の再現をするのでなければ、細かく読む必要はありませんが、結果から論文の主張を確認するのは重要です。
読む方針
論文は、この後に以下のセクションが続きます。
一般化 vs 暗記
関連研究
議論
まず、「一般化 vs 暗記」については、すでに述べたとおり、読むべきセクションです。「関連研究」は、よく「導入」の後など、論文の始めの方で登場する事が多いですが、ここではほぼ終わりの方にあります。何か特別な理由でもあるのでしょうか。そして、最後は「議論」となっています。おそらく「関連研究」と「議論」とで何か繋がりがあるのでしょう。この段階ではわかりませんが、すでにいくつか疑問が上がってきたので、これらをどのくらい力を入れて読むべきかは、あとで考えることにします。
とりあえず、読む方針としては、以下になります。
「導入」でもう少し「2つの研究」をめぐる背景を深く理解する。
「アプローチ」はおそらくこの論文の肝なので重点的に読む。
「実験」は、ゼロショットの成功や一般化の裏付けを確認するために読む。
「一般化 vs 暗記」を読んで「単なる暗記では?」の答え合わせ。
「関連研究」と「議論」はどうするかあとで考える。
だいたい大まかにこのように進めていきます。
次回予告
次回は、「導入」のセクションから読み解いていきます。
お楽しみに!