
GPT-3を読む⑩モデル評価
前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3)の訓練プロセスについての解説を読みました。
今回は、評価(2.4 Evaluation)のセクションを読みます。
少数ショット学習の例文
通常のデータセットの区別
訓練データセットのセクションで「データ汚染の懸念について」の解説がありました。その時に3つのデータセットの種類について解説しました。ここでもう一度この概念を、伝統的な「教師あり学習」における意味としておさらいしておきます。
訓練セット(train set):モデルのパラメータ更新(学習)のために使う
開発セット(development set):モデルのハイパーパラメータの調節に使う
テストセット(test set):モデルの汎化性能を評価するために使う
よくあるのは、訓練セットとテストセットがあり、さらに訓練セットの一部を開発セットとして使うパターンです。まず、あるハイパーパラメータの設定(学習率、正則化、オプティマイザやモデルの構造など)をします。それに基づいて訓練セットで学習を行い、モデルのパラメータ(重み)を更新します。そして、訓練されたモデルの性能は開発セットを使って評価します。
異なるハイパーパラメータの設定を試したい場合は、新しいハイパーパラメータの設定をして、初めから訓練セットで学習をやり直します。そして、開発セットで評価し直します。こうして得られた複数のハイパーパラメータ設定による結果を比較することで最適な訓練設定やモデルの構造を決めます。開発セットという呼び方が使われるのは単なる性能の評価というよりも、どのようなハイパーパラメータの設定が一番良かったのかを見極めたり、モデルを開発(選択)するための評価という意味が込められています。
よって、開発セットはモデルの学習(重みの調整)には使わないようにして、ハイパーパラメータの調整やモデルの選択のために使うのが目的です。ただし、実際にはハイパーパラメータ調整のために開発セットによる評価が何度も繰り返し行われると、間接的に開発セットの情報が学習に影響を与えることになります。すると、開発セットで良い性能が発揮できたとしても、実は一種のデータ汚染が生じているのが原因である可能性もあります。
そのため、最終的にはテストセットを使ってモデルの汎化性能を評価することがよく行われます。このため、テストセットは学習や調整の目的では使いません。
それでも有名なベンチマークのテストセットを繰り返し使うことで、テストセットの情報が学習へと漏れてしまうことは避けられません。よって、ベンチマークによってはテストセットの正解データを非公開にしたりします。
なお、ここでは評価という言葉が「開発セット」と「テストセット」との両方で使われています。そのため「評価セット」という言葉が使われる場合は、文脈によっては「開発セット」だったり「テストセット」を意味することがありややこしくなっています。
さらに、事前学習と少数ショット学習の文脈で考えると少し意味が変わってきます。事前学習では、膨大なテキスト・コーパスを使った言語モデリング(次のトークンの予測)による学習が行われます。これがいわゆる訓練セットに相当します。その後に行う少数ショット学習ではプロンプトに含まれた例文からタスクの意図を読み取るという意味で「学習」が生じますが、ここではモデルのパラメータを調節するわけではありません。これは文脈内学習とも呼ばれ、研究されています。そのための例文をタスク固有のデータセットから持ってくるのですが、それについて論文は説明をしています。
例文のためのデータセット
さて、評価(2.4 Evaluation)は次のように始まります。
少数ショット学習(few-shot learning)では、評価セットによって評価する際に、タスク固有の訓練セットからランダムに 個のサンプルを選び、それを条件付け(プロンプトの例文)として使用します。この条件付けのサンプルは、タスクによって 1 つまたは 2 つの改行で区切られます。
For few-shot learning, we evaluate each example in the evaluation set by randomly drawing K examples from that task’s training set as conditioning, delimited by 1 or 2 newlines depending on the task.
少数ショット学習では、莫大なデータで事前学習されたモデルをタスク特有のデータセットで評価します。この手法ではモデルは与えられた個の例文(問題と答えのペア)から意図を読み取ってタスクを理解します。これを「学習」と読んでおりますが、実際にモデルのパラメータが更新されるわけではないので「評価」の手法とも捉えられます。
ここでの話は「プロントに含める例文をどこから持ってくるか」ということに集約されます。通常は、訓練セットからランダムに選んだ例文(問題と答えのペア)をプロンプトに含めて、最後の問題だけ評価セットからの問題を使うというわけです。これは、訓練セットの例文からタスクの意図やパターンを「学習」し、評価セットからの問題で「評価」するといった形式になっています。
ただし、タスク固有のデータセットによっては、工夫が必要になってきます。
LAMBADA や Storycloze には「教師あり学習」用の訓練セットが存在しないため、開発セットから条件付けのための例を選び、テストセットで評価を行います。
For LAMBADA and Storycloze there is no supervised training set available so we draw conditioning examples from the development set and evaluate on the test set.
LAMBADAは、文脈を理解して最後の単語を予測するタスクです。本来の目的は、文脈の長距離依存関係を正しく処理できるかどうかを評価することにあります。「言語モデリングタスク」の一種であり、通常の「教師あり学習」のような訓練セットが提供されていません。
そのため開発セットとテストセットだけが提供されています。両方とも評価のためのデータセットですが、開発セットは事前学習されたモデルになんらかの調整を行う目的のために用意されています。また、テストセットは純粋な汎化性能の評価のために存在します。
よって、少数ショット学習においてLAMBADAを使う場合は、開発セットから条件付けのための例を選び、テストセットで評価を行うという形式になっています。
Storyclozeは、ストーリーの続きを選択するタスクで、主に常識推論(Commonsense Reasoning)の能力を評価します。通常の「教師あり学習」向けの訓練セットは提供されておらず、少数ショット設定では開発セットを使って条件付けを行い、テストセットで評価します。
また、開発セットとテストセットに別れていないデータセットもあります。
Winograd(SuperGLUE バージョンではない元のバージョン)には 1 つのデータセットしかないため、条件付けの例も同じデータセットから直接選びます。
For Winograd (the original, not SuperGLUE version) there is only one dataset, so we draw conditioning examples directly from it.
Winograd(オリジナル版)は、代名詞が意味することを予測するタスク です。
英語のデータセットですが、以下に日本語での例を上げます。
「そのトロフィーはスーツケースに納まらなかった。なぜなら、それは小さすぎたからだ」
このような文章を与えて、言語モデルが「それ」が何を意味するかを答えるというものです。
Winogradは、1つのデータセット(問題のセット)が存在するのみなので、訓練セット・開発セット・テストセットという明確な分割がありません。よって、少数ショット学習では同じデータセット内から条件付けの例を選んで使用しています。
例文の数の設定について
プロンプトに含める例文の数について、論文は次のように語っています。
は 0 からモデルのコンテキスト・ウィンドウ(プロンプトのトークン数)に収まる最大の値までの任意の値を取ることができます。すべてのモデルにおいて、このコンテキスト・ウィンドウの最大値は であり、通常 10 から 100 個の例を収めることができます。
can be any value from 0 to the maximum amount allowed by the model’s context window, which is for all models and typically fits to examples.
コンテキスト・ウインドウによって上限が決まっているので、そこに収まるならばいくらでも例文を入れることができるということです。なお、そのコンテキスト・ウインドウの最大値は、2048トークンまでとなっています。
では、例文は多いほど良いのでしょうか。
の値が大きいほど一般的には良い結果が得られますが、必ずしもそうとは限りません。そのため、開発セットとテストセットが分かれている場合は、開発セットでいくつかの異なる の値を試し、最も良い値を選んでテストセットで評価を行います。
Larger values of are usually but not always better, so when a separate development and test set are available, we experiment with a few values of on the development set and then run the best value on the test set.
つまり、ここでのの値は、入力形式を決めるためのハイパーパラメータのようなものです。異なるの値を使って開発セットにおけるモデルの性能を評価することで、最も良い値を選びます。そして、テストセットで評価を行う際には、個の例文を訓練セットから選ぶというわけです。
ここでは明記されていませんが、訓練セットがない場合は、異なる対応が必要となるでしょう。例えば、開発セットをさらに分割して、を調節するセットと例文を選ぶセットに分けるなど。
これまで評価に関していろいろと述べられていますが、要点は「モデルの一般化性能をより正確に評価する」ことに最善の注意を払っているということです。
このの選び方に関しても、「開発セットでの選択を行い、テストセットで評価する」ことを何度も繰り返してを最適化するようなことをすれば、テストセットの情報によってハイパーパラメータを更新することになり「ある種のデータ汚染・リーク」が起きる可能性があるため、避けるのが最善です。
もちろん、開発セットの例文がテストセットと重複している場合は、そもそものデータ自体に汚染があるので話は別です。
指示文の有無について
また、論文は例文のほかに、指示文についても言及しています。
また、一部のタスクでは、例示に加えて、自然言語のプロンプト(指示)を使用することもあります。または の場合は自然言語のプロンプトだけを使用します。詳細は付録Gを参照してください。
For some tasks (see Appendix G) we also use a natural language prompt in addition to (or for , instead of) demonstrations.
つまり、例文に加えて指示文を追加することもあります。その場合は、言語モデルは指示文からもタスクの意図を学習することになります。さらに、指示文だけで例文がない場合()もあるということです。その場合は、言語モデルは指示文だけからタスクの意図を学習することになります。
例えば、こんな例が付録Gにあります。
文脈:Please unscramble the letters into a word, and write that word: asinoc =
答え:casinoこのプロンプトでは、指示文だけで ($K = 0$)、例文を示さずにタスクの意図を伝えています。
指示文:
"Please unscramble the letters into a word, and write that word:"
→ これは、モデルに対して「文字を並べ替えて単語を作る」というタスクを明示する役割を果たしています。タスクの入力:
"asinoc ="
→ これは、並べ替えるべき文字列。期待される出力:
"casino"
→ asinoc を並べ替えて得られる正しい単語。
といった具合です。
なお、付録Gには他にも10ページ以上の例があるので興味がある方は論文を参照してください。
多肢選択問題の評価方法
複数の選択肢があるタスク
ここまで少数ショット学習のためにどのように例文を準備するのかが語られていましたが、論文は次に多肢選択問題の評価の仕方について解説しています。
複数の選択肢の中から正しい解答を選ぶタスクでは、まず例として「文脈(問題)と正解の組み合わせ」を 個 提示し、その後に「文脈(問題)のみ」を提示します。そして、各選択肢がその文脈の後に続く確率をモデルが計算し、それらを比較します。
On tasks that involve choosing one correct completion from several options (multiple choice), we provide examples of context plus correct completion, followed by one example of context only, and compare the LM likelihood of each completion.
つまり、選択問題のタスクでは、まず 個の「文脈(問題)+正解」のペアを提示し、言語モデルにタスクのパターンを示します。その後、評価対象となる「文脈(問題)のみ」を提示します。さらに続けて、各選択肢を文脈に続く形で個別に与えて確率を計算します。
原文では「LM likelihood」と書かれていますが、ここでは「尤度」とは訳しませんでした。これは「言語モデルが与えられた文脈においてその選択肢をもっともらしいと考える確率」を指しています。「例+問題」をまとめて「文脈」とすると、条件確率のことです。
複数選択肢タスクの具体例
たとえば、選択肢が A, B, C の 3 つある場合、それぞれ選択肢を含めた文章に対してモデルが確率を計算します。そして、最も確率の高い選択肢を正解として判断します。
「例+問題+A」
「例+問題+B」
「例+問題+C」
イメージを掴むために、より具体的な例をとしてこんな問題を考えてみます。
「フランスの首都は」
これに対する選択肢は次の3つとします。
「パリ」
「ロンドン」
「ベルリン」
これを次のように3つのシーケンスとして、モデルによる出現確率を計算します。
「フランスの首都はパリ」
「フランスの首都はロンドン」
「フランスの首都はベルリン」
つまり、言語モデルを使って各シーケンスに対して以下の条件確率を計算します。
この結果から、最も高い確率を与える選択肢を答えとします。
この例では、選択肢に一つのトークンしか含まれていませんが、より一般的に選択肢が複数のトークンを含む場合は、それぞれのトークンの確率をその前にある文章を条件として計算し、掛け算して全体の確率を求めることになります。
ただし、詳細の説明がないので、これは基本的な考え方であり、実際の処理は異なるかもしれません。
なお、多肢選択問題における選択肢が複数トークンを含む場合、選択肢によってシーケンスの長さが異なります。これが確率の計算にも影響を与えます。
素朴に考えると、ある選択肢の確率を計算するには、選択肢全体のトークン条件確率を掛け合わせることなります。 しかし、選択肢によって異なるトークン数を持つ場合、単純に掛け合わせた確率を比較すると長い選択肢が不利になってしまいます。そこで長さの影響に足してなんらかの補正が必要となります。
選択肢の長さの影響を補正
論文では選択肢の長さに関して補正をすると述べています。
ほとんどのタスクでは、長さの影響を補正するために、トークンごとの確率を比較します。
For most tasks we compare the per-token likelihood (to normalize for length)…
ただし、ここではどのように補正するのかは述べられていません。少し考察してみましょう。
まず、単純に確率を掛け合わせてスコアを計算することを考えてみます。
はからまでの項の積を意味します
は選択肢に含まれるトークン数
は選択肢の番目のトークン
は1番目から番目までのトークン
単純な例として、を考えると次のように展開でします。
仮に、、、だとすると、結果はです。一つ一つのトークンには高い確率が与えられていても全体としては小さくなってしまいます。この傾向はが大きいほど顕著になります。
ならば、幾何平均を取ってはどうでしょうか。つまり、上記の値は3つの数値の席なので、その乗を取るということです。
これだと長さの影響が補正できています。数式で表現すると以下になります。
ただし、機械学習では確率の対数を扱うのが通常です。これによって途中の計算が極端に小さくなることを防ぎ数値計算的にも安定します。
つまり、条件確率の対数の平均を計算していることになります。しかし、GPT-3の具体的な実装詳細は公開されていません。よって、このような方法を用いていることが考えられるということだけしか言えません。
なお、言語モデルの評価では、パープレキシティ(perplexity)という指標がよく使われます。これは「困惑の度合い」「不確実性」「自信のなさ」を表現しています。上記の「条件確率の対数の平均」は、本質的にパープレキシティの逆数に相当するので「自信の度合い」を示しているとも理解できます。
無条件確率を使った正規化
しかし、さらなる補正が必要な場合もあり、論文はこう述べています。
しかし、一部のデータセット(ARC, OpenBookQA, RACE)では、無条件確率で正規化することで、開発セットでの評価にさらなる精度の向上が得られることが分かっています。
…, however on a small number of datasets (ARC, OpenBookQA, and RACE) we gain additional benefit as measured on the development set by normalizing by the unconditional probability of each completion, …
ここで登場する「無条件確率」(unconditional probability)を考慮するのは、問題の文脈のテキストに含まれてはいるが、問題の本質とは関係のない要素からの影響を軽減することにあります。
例えば、プロンプトの最後に、"答え: "と書かれていたとしても、これは答えを示す・促すための指示であって問題の本質とは関係がありません。つまり、「答えのための文脈」からの影響は、条件確率の比較においてノイズとはなっても役には立ちません。そこで、次のような条件確率を「無条件確率」と呼びます。
例えば、です。
ARC、OpenBookQA、RACEのデータセットでは、この無条件確率で正規化することで追加の利点が得られるとされています。
この正規化は、以下の式で計算されます:
ここで「答えのための文脈」は、 "Answer: " や "A: " のような文字列であり、モデルに「ここに答えが来る」と認識させるために機能しますが、それ以外の意味は持たないものです。
… by computing , where answer_context is the string "Answer: " or "A: " and is used to prompt that the completion should be an answer but is otherwise generic.
要するに、無条件確率でもとの条件確率を割るだけです。これでARC、OpenBookQA、RACEなどでは成績が良くなったということです。
ちなみに、ARC、OpenBookQA、RACEは以下のようなテストです。
ARC (AI2 Reasoning Challenge):科学的な質問。選択肢は4つ。
OpenBookQA :一般常識・知識などに関する質問。選択肢は4つ。
RACE (ReAding Comprehension dataset from Examinations):中国の中学生・高校生向けの英語試験。選択肢は4つ。
AIも試験を受ける時代ですね。
その他の問題の評価について
2択問題のタスク
2択問題は、次のようにして多肢選択問題として扱います。
2項分類(バイナリ分類)を伴うタスクでは、オプションに「0」や「1」ではなく、「True」や「False」など、より意味的に分かりやすい名前を付けて、タスクを選択式問題のように扱います。また、場合によっては、[RSR+19] による方法に似た形でタスクを定式化することもあります(詳細は付録Gを参照)。
On tasks that involve binary classification, we give the options more semantically meaningful names (e.g. “True” or “False” rather than 0 or 1) and then treat the task like multiple choice; we also sometimes frame the task similar to what is done by [RSR+19] (see Appendix G) for details.
自然言語的に理解しやすくするのも、この頃から言語モデルを人間的に扱い始めているようなイメージを与えます。
なお、参照されている[RSR+19]は、Googleによる2019年の論文「Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer」です。この中で登場するT5(Text-to-Text Transfer Transformer)という言語モデルでは、すべてのタスク(翻訳、質問応答、分類など)を、テキストを入力としてモデルに与え、タスクの回答としてテキストを生成するように学習させる形式に統一しています。

よって、T5ではあらゆるタスクに対して、同じモデル、損失関数、ハイパーパラメータなどを一貫して使用することが可能になりました。
GPT-3でも、このT5による方法に似た形でタスクを定式化することもあるということです。
自由出力のタスク
また、自由出力のタスクでもT5からの手法を採用しています。
自由形式の出力を伴うタスクでは、[RSR+19] と同じパラメータを使用したビームサーチを採用します。具体的には、ビーム幅を 4、長さペナルティを α = 0.6 に設定しています。モデルの評価には、対象のデータセットにおける標準的な指標に基づき、F1 類似度スコア、BLEU、または完全一致 (Exact Match) を使用します。
On tasks with free-form completion, we use beam search with the same parameters as [RSR + 19]: a beam width of 4 and a length penalty of α = 0.6. We score the model using F1 similarity score, BLEU, or exact match, depending on what is standard for the dataset at hand.
ビームサーチについてはこちらで解説しました。ビームサーチは、同時に複数の出力シーケンスを考慮する手法です。ビーム幅を4にしたということは、4つのシーケンスを同時に探索します。長さペナルティとは長すぎる出力シーケンスに罰則を与えるための係数で、ここでは α = 0.6に設定したとのことです。
ビームサーチと比較して、グリーディな手法では常にその時点で最も良いと思われる選択肢を1つだけ選びます。これは必ずしも最終的に最適なシーケンスとならないので、ビームサーチのような複数の選択肢を同時に探索する手法が使われます。
F1 類似度スコアはF1スコアの考えに基づいて「モデルの出力と正解がどれくらい一致しているかを評価する指標」で、特に部分的な一致も考慮できるのが特徴です。精度と再現率を組み合わせます。
精度:モデルの出力した単語のうち、どれだけが正解に含まれていたか
再現率:正解の単語のうち、どれだけをモデルが正しく出力できたか
例えば、正解が「猫はかわいい」だったときに、
出力 A:「猫は小さい」 → 一部の単語が正しい
出力 B:「かわいい猫」 → 単語はすべて含まれているが順序が違う
完全一致で評価すると両方ともダメですが、F1 スコアは部分一致を考慮してスコアを付けるため柔軟な評価が可能です。
BLEU(Bilingual Evaluation Understudy)はこちらで解説しました。翻訳や生成タスクで、出力文が正解文とどれくらい一致しているかを、n-gram(単語の連なり)の一致率を基に測る指標です。完全一致は文字通りですね。
最終的な評価結果について
最終評価の基本方針
このセクションの最後は、最終的な評価結果について書かれています。
最終的な結果は、公開されている場合はテストセットで報告し、各モデルサイズおよび学習設定(ゼロショット、ワンショット、少数ショット)ごとに評価します。
Final results are reported on the test set when publicly available, for each model size and learning setting (zero-, one-, and few-shot).
これは文字通りですね。つまり、公開されているテストセットがある場合はそれを使って評価します。また、モデルサイズや学習設定(ゼロショット、ワンショット、少数ショット)ごとに評価します。
非公開のテストセット
テストセットを非公開にしているベンチマークもあります。その理由は、モデルの過剰適合を防止し、公平な比較を実現するためです。
テストセットが非公開の場合、モデルが大きすぎてテストサーバーに収まらないことが多いため、開発セットでの結果を報告します。
When the test set is private, our model is often too large to fit on the test server, so we report results on the development set.
テストセットが非公開な場合の多くでは、そのベンチマークの公式評価サーバにモデルをアップロードしてテストする必要があるのですが、GPT-3が大きすぎて収まらないことが多いとのことです。よって、ダウンロードした開発セットでの結果を報告すると述べています。
例外的なケース
ただし、一部のベンチマークテストでは、公開されているテストセットの問題に対する予測結果を提出して評価をしてもらうことが可能だとも述べています。
ただし、SuperGLUE、TriviaQA、PiQaでは、テストサーバーへの提出が可能だったため、2000億(200B)パラメータのモデルによる少数ショット学習の結果のみ提出し、それ以外のすべての結果は開発セットで報告しています。
We do submit to the test server on a small number of datasets (SuperGLUE, TriviaQA, PiQa) where we were able to make submission work, and we submit only the 200B few-shot results, and report development set results for everything else.
TriviaQAとPiQaは、テストセットの問題を公開(あるいは一部公開)しています。正解データは非公開です。モデルが予測した結果を提出することで評価を受けることができます。
SuperGLUEのテストセットは非公開ですが、訓練セットと開発セットは公開されています。まず、これによってモデルを訓練・調整します。テストセットで評価をするには、評価サーバーのAPIを使って評価を受ける必要があります。
この制約のため、SuperGLUEの評価を受けるには時間と手間がかかります。「2000億(200B)パラメータのモデルによる少数ショット学習の結果のみ提出」といっているのは、このためでしょう。「それ以外のすべての結果は開発セットで報告しています」と結んでいます。
ただし、GPT-3の8つのモデルの設定では、最大モデルは確か1750億(175B)パラメータだったはずです。ここでは2000億(200B)と書かれていますが、これは書き間違いなのかもしれません。
よって、SuperGLUEのテストセットでの評価は、少数ショット学習の性能が最も高いモデルだけに限定したのだと考えられます。
次回予告
次回は、実験結果(3 Results)を読み進めます。GPT-3による少数ショット学習の実力を確かめていきましょう。
お楽しみに!