
言語AIの進化史⑳GPT 1, 2, 3(飛躍するスケール則)
前回は、トランスフォーマーのエンコーダをベースとしたBERTを紹介しました。大量のテキスト・コーパスを利用した自己教師あり学習による事前学習を通じて言語理解能力を得ることで、多くのタスクに適応可能な自然言語処理(NLP)の基盤モデルの一つとなりました。
今回は、トランスフォーマーのデコーダをベースに設計されたGPT(Generative Pre-trained Transformer)シリーズのGPT-1、GPT-2、GPT-3を紹介します。
OpenAIは、GPTのバージョンが上がるごとに研究のアプローチを変えていきました。その理論的な土台として「スケール則」があります。
GPTシリーズの進化を見ていくと、事前学習とスケール則が、これまで重要とされてきたファインチューニングの役割を凌駕していったのか見えてきます。
GPTの仕組みの概要
教師なしの事前学習
BERTがエンコーダの「双方向の文脈理解による」自然言語理解(NLU)を追求したのに対し、GPTはデコーダの「一方向のテキスト生成による」自然言語生成(NLG)に特化しました。
BERTもGPTもラベル無しの巨大なテキスト・コーパスを利用して事前学習を行います。これ自体は、特定の目的(タスク)を考えずに、言語の理解を深めることを目的としています。
ただし、BERTの事前学習ではマスクされた単語を推定するマスク言語モデル (MLM)や文章のつながりを推定する次文予測(NSP)を採用しているのに対し、GPTは自己回帰型(autoregressive)の言語モデルであり、その学習では「これまでの文脈を条件として、次の単語を推定する一方向的の次単語予測タスク」を行います。
以前は、このような事前学習を教師なし学習と呼びましたが、実際にはデータの中にあるトークンをラベルとして予測をするので自己教師あり学習と呼ばれるようになりました。これはBERTでもGPTでも同様です。
一見すると、双方向の文脈から学習しないことは、言語モデルの訓練の仕方として制限があるように見えます。しかし、この「次の単語を推定」する学習によって、GPTはテキストを生成する能力を発揮し、またさまざまなタスクに適応が可能となりました。
自己回帰型の自然言語生成モデル
つまりデコーダをベースとするGPTは、文章生成において「過去のトークン」の情報(埋め込み)のみを利用するモデルです。また、「次に来る単語」を予測し、それを次の予測への入力とする自己回帰型でもあります。
下図は、トランスフォーマーのデコーダが文章を生成するときの様子です。

オリジナルのトランスフォーマーは翻訳モデルで、エンコーダが入力シーケンスを処理することで各位置(トークン)の埋め込みベクトルに文脈からの情報が集積されます。このシーケンス全体が文脈となって、デコーダは文章の生成を始めます。
最初は、文章(シーケンス)の始まりを意味する <SOS>(Start Of Sequence)がデコーダに与えられます。<SOS>を受け取ったデコーダは文脈シーケンスの情報と合わせて次のトークンを予測します。この予測を次の入力に追加して、その次のトークンを予測します。この処理は、最終的に デコーダが<EOS>(End Of Sequence)を出力するまで続きます。
これはグリーディ(貪欲)な手法による文章生成ですが、ビーム・サーチのように複数の候補の文(シーケンス)を同時に考えながら最適な文章の探索を行う手法もあります。いずれにせよ、自己回帰型であることに変わりはありません。
オリジナルのトランスフォーマーとは違って、GPTにはエンコーダ部分がありません。デコーダのみで文章を生成します。これによって、翻訳タスクに特有のモデル構造であるエンコーダ・デコーダ型に縛られることなくなりました。
つまり、GPTに何かの入力シーケンスを与えれば、ラベルなしの莫大なデータで得た知識を利用して次のトークンを予測できます。このスタイルは、さまざまなタスクで応用が可能です。
教師ありファインチューニング
事前学習を終えたGPTは、特定のタスクに合わせてファインチューニングされます。このアプローチもBERTと共通しています。よって、GPTもさまざまなタスクに応用できる基盤モデルとして捉えられました。
同じ基盤モデルとして、BERTではさまざまな用途へのファインチューニングが行われました。同様に、GPT-1では、教師ありファインチューニングは事前学習後にモデルがタスクに適応するための中心的な役割を果たしました。
しかし、その後のGPT-2やGPT-3ではファインチューニングの重要性が小さくなっていきました。その一方で、GPTシリーズは、テキスト生成の分野において劇的な進化を遂げ、その後はChatGPTのベースとなりさらに進化を遂げています。
その躍進を支えたのは、「スケール則」です。
スケール則とは「モデルのパラメータ数、トレーニングデータ量、計算リソース」を大規模化することで、自然言語生成能力が急激に向上することです。
画像処理AIの世界でもニューラルネットワークを大きくすることで性能が上がることはImageNetのコンペティションなどから知られていましたが、自然言語処理の世界でも同様の現象が起きたわけです。
次のセクションでは、GPTシリーズの進化を振り返りながら、なぜ“事前学習”と“スケール則”が、これまで重要とされてきたファインチューニングの役割を凌駕していったのか見ていきましょう。
GPTとスケール則
GPT-1(約1.2億パラメータ、2018年)
GPT-1の論文「Improving Language Understanding by Generative Pre-Training」(生成的事前学習によって言語理解を改善する)は、タイトルにあるように、事前学習によってモデルの言語理解を深め、それを利用した転移学習やファインチューニングを行う手法で高い性能を初めて示しました。
つまり、GPT-1のテーマは「事前学習+ファインチューニング」です。
論文にはっきりとは書かれていないのですが、モデルの詳細から1.17億パラメータを持っていたと言われています。
デコーダ・ブロックの数: 12
埋め込みベクトルの次元(要素数): 768
フィードフォワード層のニューロン数: 3072(768の4倍)
アテンション・ヘッドの数: 12
しかし、GPT-1 はその後の大規模言語モデルと比べると、はるかにモデル規模が小さく、事前学習で得られた知識だけではタスクに対応しきれないため、教師ありファインチューニングでタスクに合わせてモデルを最適化することが必要でした。
もちろん、これは「今にして思えば」です。
それでも例えば、テキスト分類や感情分析などの個別タスクに対して、事前学習済みのGPT-1を微調整(ファインチューニング)することで、当時としては大きな成果を達成しました。
下図に示されているように、入力シーケンスの形式を工夫し、出力層に変更を加えることでさまざまなタスクに対応可能でした。

これは、タスクによってモデル構造を変更し、いちから訓練する必要があった時代と比べると大きな進歩ではあります。
ただし、各タスク特有のデータセットに微調整することは手間がかかるのも事実でした。また、せっかく事前学習で得た言語能力をより小さいタスク専用のデータセットで訓練し過学習を生じる危険性もありました。
また、当時のベンチマーク(GLUEなど)では、BERT (Large) が総合的に高いスコアを叩き出したこともあり、「双方向をうまく活かす BERT」と「一方向生成を重視する GPT」の違いが、GPTを不利にしているようにも見えました。

そして、この翌年にGPT-2が登場します。
GPT-2(約15億パラメータ、2019年)
GPT-2の論文「Language Models are Unsupervised Multitask Learners」(言語モデルは教師なしマルチタスク学習者)では、モデルの「容量を増やすこと」と「ファインチューニングなしによるマルチタスクへの対応」が研究されました。また、ファインチューニングなしのアプローチでは、教師あり学習を行わないのでゼロショット(ひとつも答えの例を見せない)と呼ばれました。
つまり、GPT-2のテーマは「事前学習+ゼロショット」です。
なお、GPT-2では、モデルの容量を増やすことの効果を調べるために、4つのモデル設定による実験が行われました。

Mはメガ()を意味します。よって、117Mは1億1千7百万(117,000,000)で、これはでデコーダ・ブロックの数が12であることなどからGPT-1に相当すると考えられます。
また、一番容量の大きいモデルのパラメータ数は、1542Mで約15億4千万(1,542,000,000)です。これをGPT-2と呼びました。
2023年の統計では、日本の人口は約1億2千万なので、一番小さいモデルでも結構なパラメータ数であるのが分かります。中国の人口が約15億でインドがそれに迫っています。
最小モデルと最大モデルの容量の差は、日本と中国あるいはインドの人口の比だと考えると、各モデルの規模の違いがよく分かります。
つまり、GPT-2はパラメータをGPT-1から10倍以上に増やしました。よって、教師ありファインチューニングを行えば GPT-1 よりも高い性能を得られるようになりました。このように量的な変化による性能の向上はある程度は期待通りだと言えます。
しかし GPT-2では ゼロショット(あるいは、少数ショット学習)が注目されました。ファインチューニングなしでも既存のモデルを上回る結果をいくつかのタスクで達成しました。つまり、必ずしも教師ありファインチューニングが必要でないのが見えてきたのです。
ただし、GPT-2のゼロショットでは、多くのタスクで教師あり学習には勝てないのも事実でした。やはり、タスク特有の情報を何らかの形で学習することは必要不可欠です。
これも、「振り返って考えると」です。
では、巨大なテキスト・コーパスで事前学習することで真の言語理解を得ることは不可能なのでしょうか。人間なら、タスクごとに小さいとはいえ何千もの例を提示するデータセットを必要とはしません。簡単な指示とせいぜい1つ2つの例でほとんどやるべきことを理解できます。
スケール則(2020年)
2020年にOpenAIは論文「Scaling Laws for Neural Language Models」(ニューラル言語モデルのスケーリング則)を発表しました。
この論文の内容は、トランスフォーマーをベースにした言語モデルに対して、モデルサイズ(パラメータ数)、データセットサイズ(学習データ量)、学習に使われる計算量を同時に段階的に増やして性能を測定するというものです。

「言語モデリングの性能は、モデルサイズ、データセットサイズ、および学習に使用される計算量を増加させるにつれて、滑らかに向上します。最適な性能を達成するためには、これら3つの要素をバランスよく同時にスケールアップする必要があります。経験的には、他の2つの要素によってボトルネックが生じていない場合、各要素と性能との間にはべき乗則的な関係が見られます。
Language modeling performance improves smoothly as we increase the model size, datasetset size, and amount of compute 2 used for training. For optimal performance all three factors must be scaled up in tandem. Empirical performance has a power-law relationship with each individual factor when not bottlenecked by the other two.
つまり、以下の数値をバランスよく増加(スケール)させると、損失値が下がるという傾向が見られました。
N:モデルのパラメータ数(モデルの容量)
D:データセットのサイズ(学習する知識量)
C:計算量(NとDに依存しより訓練回数が必要となる)
上図を見るとわかるように、N、D、Cの値がべき乗的に増えると損失が下がっていくのが確認できます。また、対数スケールになったおり、例えば、一番右のパラメータ数(横軸)はと増加しているのが図では等間隔になっています。また、テスト損失(縦軸)は対数で(おおよそ)比例して減少しています。
つまり、厳密な理論ではないのですが、このようにスケールを大きくすると性能が非線的的に上昇する傾向が見られることを「スケール則」と呼びました。
よって、N、D、Cのリソースをバランスよく増すほど損失(誤差)は下がり、性能は上がることを示した点で画期的でした。
ただし、大規模モデルの開発では、計算リソースや環境への負荷が現実的な課題となっています。
また、飽和点が見えていたわけではなく、もっと大きくしても性能は上がり続ける可能性はありました。
そこで、GPT-3が登場しました。
GPT-3(約1750億パラメータ、2020年)
GPT-3の論文「Language Models are Few-Shot Learners」(言語モデルは少数ショットの学習者)は、大規模言語モデルによる少数ショットの性能を評価・考察することが目的です。
つまり、GPT-3のテーマは「事前学習+少数ショット」です。
GPT-1からGPT-2では10倍以上のパラメータに、そしてGPT-3はGPT-2よりも100倍以上のパラメータ数を誇る大規模言語モデルとなりました。つまり、モデルサイズを約1,750億パラメータまで拡大することで、その性能を飛躍的に向上させました。
ただし、トランスフォーマーでは長いシーケンスを処理する際に計算負荷とメモリ消費が非常に大きくなるという課題がありました。しかし、GPT-3におけるモデルの大容量化とゼロショットを支える長いプロンプトの必要性などは、さらに負荷を増やすことになります。
そこで、大容量化による計算量をできるだけ減らすための工夫としてOpenAIが2019年に開発したスパース・トランスフォーマー(Sparse Transformer)に似たアプローチを部分的に採用しました。
これはアテンションの計算の際に、すべてのトークンの関係を計算せずに、ある程度近隣のトークン同士のアテンション計算を「選択的」に行うアプローチで計算量とメモリ消費を大幅に削減することができました。
GPT-3では、少数ショット(few-shot)やゼロショット(zero-shot)の性能が飛躍的に向上し、特定タスクのファインチューニングなしでも多様なタスクに対応できるモデルが実現しました。
これまで見てきた通り、スケール則がGPTシリーズの性能を押し上げてきました。これによって、ファインチューニングに依存しない言語を理解し、言語を通して指示を実行できるモデルになってきました。
つまり、プロンプト(指示や例文)を工夫するだけで高い性能を発揮できるようになってきたわけです。これは、事前学習の中で習得された「言語表現の利用能力」のおかげであり、プロントからダイナミックに学習する文脈内学習(In-Context Learning)によるものと考えられています。
とは言っても完全に解明されたわけではなく、現在のところ、文脈内学習は経験的に観測された現象であり、その背後にある理論的な枠組み(たとえば、トランスフォーマーの重みがどのようにプロンプトを処理しているか)についての理解は不完全です。
また、文脈内学習が成功するためには、プロンプトが適切に設計されている必要がるなど、タスクがモデルの事前学習範囲内にある場合に限定されたりします。より複雑なタスクや未学習の領域では、文脈内学習がうまく機能しないこともあります。
それでも、GPT-3には多くの知識と言語理解能力が備わっており、それをうまく引き出すようのプロンプトを与えると、文脈内学習によって、ファインチューニングなしでもタスク特有の情報を得ることができるため、事前学習のみで多様なタスクに対応できるということです。
詳細は、現在進行中の「GPT-3を読む」シリーズも参照してください。
次回予告
GPTシリーズは次のような変遷とたどりながら、大容量化を進めてきました。
GPT-1: 事前学習 + 教師ありファインチューニング
GPT-2: 事前学習 + ゼロショット/少数ショットの可能性を模索
GPT-3: 事前学習 + 少数ショット学習をより実用化
この後もGPTシリーズの大容量化が進み、GPT-3.5などが登場します。しかし、その具体的な内容は公開されていません。さらに、チャットを得意とするChatGPTが2022年に登場します。これが旋風を巻き起こしました。
次回は、ChatGPTが会話上手になった理由を探ります。
お楽しみに!