メインコンテンツへスキップ
見出し画像

GPT-3を読む⑬モデルと分析の限界

    前回までに、セクション4「ベンチマーク暗記度の評価と防止」まで読み終えました。残りは、以下のセクションです。

    • 5「限界」(Limitations)

    • 6「広範な影響」(Broader Impacts)

    • 7「関連研究」(Related Work)

    まずは、「限界」のセクションを読みます。残りは、ざっくり内容を把握してこのシリーズの最終回とします。

    ところで、OpenAIの研究者たちの考える「限界」とは何のことでしょうか。

    GPT-3の限界

    限界とは

    セクション5「限界」は次のように始まります。

    GPT-3とその分析にはいくつかの限界があります。以下にそれらの限界を説明し、今後の研究の方向性を提案します。

    GPT-3 and our analysis of it have a number of limitations. Below we describe some of these and suggest directions for future work.

    https://arxiv.org/abs/2005.14165

    つまり、「モデルとしてのGPT-3」と「この論文におけるGPT-3の分析」の両方に関していくつかの限界があるということです。それを踏まえて、今後の研究に役立てるためにも、これらの限界について説明すると述べています。

    生成文などに見られる弱点

    まず、GPT-3の文章生成における弱点についてこう述べています。

    まず、GPT-3は、その前身であるGPT-2と比較して、定量的にも定性的にも大幅な改善が見られたものの、テキスト生成やその他のNLPタスクにおいて、いくつかの顕著な弱点が残っています。テキスト生成においては、全体的な品質は高いものの、GPT-3の生成したサンプルは、文書全体で意味的な繰り返しが見られたり、十分に長い文章になると一貫性が失われたり、自ら矛盾したり、時には論理の飛躍がある文章や段落を含むことがあります。これらのGPT-3の限界と強みをよりよく理解していただくために、500件の未編集の無条件サンプルを公開する予定です。

    First, despite the strong quantitative and qualitative improvements of GPT-3, particularly compared to its direct predecessor GPT-2, it still has notable weaknesses in text synthesis and several NLP tasks. On text synthesis, although the overall quality is high, GPT-3 samples still sometimes repeat themselves semantically at the document level, start to lose coherence over sufficiently long passages, contradict themselves, and occasionally contain non-sequitur sentences or paragraphs. We will release a collection of 500 uncurated unconditional samples to help provide a better sense of GPT-3’s limitations and strengths at text synthesis.

    https://arxiv.org/abs/2005.14165

    GPT-2と比べると性能が大きく向上したものの、生成文章などで欠陥が見られます。これに関して、500件のサンプル生成文章を公開すると書かれています。

    こちらの「Release repository containing unconditional, unfiltered samples」のリンクから閲覧できます。なお、以下の注意書きがあります。

    コンテンツ警告: GPT-3 は Web からの任意のデータで訓練されたため、サンプルには不快なコンテンツや言語が含まれている可能性があります。

    CONTENT WARNING: GPT-3 was trained on arbitrary data from the web, so samples may contain offensive content and language.

    https://github.com/openai/gpt-3/blob/master/model-card.md

    そのファイル形式は、Jsonで読みやすいとは言えません。例えば、こんな文章があります。

    『Dead Space』は、Visceral GamesとElectronic Artsによる人気のSFホラーゲームシリーズです。本編には2つの続編といくつかの携帯機向けスピンオフ作品があり、さらにシリーズにはアニメ映画『Dead Space: Aftermath』も存在します。この映画は2011年に公開され、『Dead Space』と『Dead Space 2』の間の出来事を描いています。

    Dead Space is a popular sci-fi horror game franchise from Visceral Games and Electronic Arts. In addition to two sequels and several handheld spin-offs, the series also has an animated movie called Dead Space: Aftermath which was released in 2011. The movie is set between the events of Dead Space and Dead Space 2.

    https://raw.githubusercontent.com/openai/gpt-3/refs/heads/master/175b_samples.jsonl

    これに関しては、文章の自然さと事実関係に問題はなさそうです。たくさん文章があるので、興味のある方はどうぞ。

    もし冷蔵庫にチーズを入れたら溶けるか

    GPT-3には、常識的な物理の感覚が欠けているようです。論文は次のように述べています。

    (文章生成などではなく)正解が明確な言語タスクの中では、GPT-3は「常識的な物理」が特に苦手だと感じられました。PIQA [BZB + 19]のようなデータセットで良い成績を収めてはいますが、「もし冷蔵庫にチーズを入れたら溶けるか」というような問いは苦手です。GPT-3の文脈内学習(プロンプトからの学習)の性能は、セクション3で述べたベンチマークにおいて、いくつか目立つ性能差があります。例えば、文中で二つの単語が同じ意味で使われているか(WIC)、あるいは一つの文が別の文を含意しているか(ANLI)、そして一部の読解タスクに含まれる「比較」問題で、ワンショットあるいは少数ショットの成績がほぼランダムな正解率になっています。GPT-3がその他の多くのタスクにおいて、少数ショット学習で優れたパフォーマンスを示しているため、この問題は特に目立っています。

    Within the domain of discrete language tasks, we have noticed informally that GPT-3 seems to have special difficulty with “common sense physics”, despite doing well on some datasets (such as PIQA [BZB + 19]) that test this domain. Specifically GPT-3 has difficulty with questions of the type “If I put cheese into the fridge, will it melt?”. Quantitatively, GPT-3’s in-context learning performance has some notable gaps on our suite of benchmarks, as described in Section 3, and in particular it does little better than chance when evaluated one-shot or even few-shot on some “comparison” tasks, such as determining if two words are used the same way in a sentence, or if one sentence implies another (WIC and ANLI respectively), as well as on a subset of reading comprehension tasks. This is especially striking given GPT-3’s strong few-shot performance on many other tasks.

    https://arxiv.org/abs/2005.14165

    なお、WICとANLIは次の略です。

    WIC(Word-in-Context):ある単語が異なる文脈で同じ意味で使われているかを判定することを目的としたタスクです。

    例えば、以下の2つの文を見て、「bank」という単語が同じ意味で使われているかどうかを判断します。

    1. He deposited money in the bank. (彼は銀行にお金を預けた)
    2. She sat on the bank of the river. (彼女は川の土手に座った)

    答えは、NOです。

    ANLI(Adversarial Natural Language Inference):二つの文の間に含意関係があるかどうかを判定することを目的としたベンチマークです。

    例えば、次のような前提文があるとします。

    前提文: John bought a red car yesterday.
    (ジョンは昨日、赤い車を買った。)

    これに対して、仮説文が以下だとします。

    仮説文: John owns a red car now. (ジョンは今、赤い車を持っている)
    これは、含意(Entailment)となります。

    仮説文: John doesn’t own a car. (ジョンは車を持っていない)
    これは、矛盾(Contradiction)となります。

    これらについて、さらに議論が続きます。

    構造的およびアルゴリズム的な限界

    GPT-3はトランスフォーマーのデコーダをベースにしており、与えられた文脈に続くトークンを予測し、継続して次のトークンを予測することで文章を生成するという自己回帰型の言語モデルです。このためプロンプトに含まれた例文などから文脈内学習をして予測に利用することが得意です。

    こういった構造およびアルゴリズムによる問題に関して、論文は述べています。

    GPT-3には構造的およびアルゴリズム的な限界があり、これが上述の問題の一部を引き起こしている可能性があります。私たちは自己回帰型の言語モデルにおける文脈内学習の振る舞いを利用することにフォーカスしました。なぜなら、この種のモデルではサンプリングと確率計算が容易だからです。その結果、私たちの実験には双方向アーキテクチャやノイズ除去といった他の学習目的を取り入れていません。

    GPT-3 has several structural and algorithmic limitations, which could account for some of the issues above. We focused on exploring in-context learning behavior in autoregressive language models because it is straightforward to both sample and compute likelihoods with this model class. As a result our experiments do not include any bidirectional architectures or other training objectives such as denoising.

    https://arxiv.org/abs/2005.14165

    GPT-3が「サンプリングと確率計算」を得意とする理由は、自己回帰型という言語モデルの構造と学習方法に由来します。

    自己回帰型の言語モデルは、テキストを逐次的に(例えば、左から右へ順番に)生成します。これが可能なのは、単純にいうと、各トークンがそれまでの文脈から生成される確率を学習しているからです。つまり、文脈に従って、次のトークンに対する確率分布を計算できます。よって、サンプリングや確率計算が容易です。

    例えば、最も確率の高い次のトークンを貪欲に選び続けるとしたら、同じプロンプトに対して毎回同じ出力文章が生成されるでしょう。あるいは、次のトークンの確率分布に基づいてランダムにサンプリングしたら、同じプロンプトに対して異なる文章が生成されやすくなります。

    一方で、BERTのような双方向モデルでは、前後の文脈を考慮するため上述のように逐次的な生成に必要な「サンプリングと確率計算」には向いていません。しかし、穴埋め問題のような前後の関係の理解を必要とするタスクが得意です。

    BERTは、マスク付き言語モデル(Masked Language Model, MLM)や次文予測(Next Sentence Prediction, NSP)で学習しています。

    この論文がノイズ除去と言っているのはおそらくMLMのことで、これは入力文に対して一部の単語をマスクして、そのトークンを予測するタスクです。また、NSPでは、2つの文が連続しているかどうかを予測するタスクです。まさに、GPT-3が苦手とするタイプのタスクであり、そういった学習方法が取り入れられていないことを問題視しているようです。

    このように、GPT-3が自己回帰型モデルにフォーカスしており、双方向モデルやノイズ除去などの手法を取り入れていないことに関して論文は次のように続けます。

    これ(GPT-3のフォーカス)は最近の研究の流れと異なっており、これらのアプローチ(双方向モデルやノイズ除去など)を取り入れることで、言語モデルのファインチューニングにおける精度が向上することが報告されています[RSR+19]。したがって、我々の(自己回帰型)デザイン選択は、双方向性が有利だと経験的にわかっているタスクにおいて、性能が悪くなるリスクを伴います。

    This is a noticeable difference from much of the recent literature, which has documented improved fine-tuning performance when using these approaches over standard language models [RSR + 19]. Thus our design decision comes at the cost of potentially worse performance on tasks which empirically benefit from bidirectionality.

    https://arxiv.org/abs/2005.14165

    さらに論文は、このGPT-3のアプローチによって性能が悪化するタスクの例をあげています。

    例えば、以下のようなタスクではこの影響が考えられます。
    • 穴埋めタスク
    • 二つのコンテンツを比較するタスク
    • 長い文章を読みなおしたり、慎重に考えた上で短い回答を生成するタスク

    このことが、GPT-3の少数ショット学習の性能が、以下のようなタスクにおいて比較的に悪くなっている理由を説明できる可能性があります。
    • WIC(単語の使用法を二つの文で比較するタスク)
    • ANLI(文同士の含意関係を判断するタスク)
    • いくつかの読解タスク(例: QuACやRACE)

    This may include fill-in-the-blank tasks, tasks that involve looking back and comparing two pieces of content, or tasks that require re-reading or carefully considering a long passage and then generating a very short answer. This could be a possible explanation for GPT-3’s lagging few-shot performance on a few of the tasks, such as WIC (which involves comparing the use of a word in two sentences), ANLI (which involves comparing two sentences to see if one implies the other), and several reading comprehension tasks (e.g. QuAC and RACE).

    よって、双方向モデルの利点を活かすことが、将来性のある一つの研究方向だと考えているようです。

    また、過去の研究に基づき推測されるのは、大規模な双方向モデルは、GPT-3よりもファインチューニングにおいて優れている可能性が高いということです。したがって「GPT-3と同じ規模の双方向モデルを構築すること」あるいは「双方向モデルを少数ショット学習やゼロショット学習に適用すること」は、将来的に有望な研究分野であり、「両方の長所を活かす」ことが可能になるかもしれません。

    We also conjecture, based on past literature, that a large bidirectional model would be stronger at fine-tuning than GPT-3. Making a bidirectional model at the scale of GPT-3, and/or trying to make bidirectional models work with few- or zero-shot learning, is a promising direction for future research, and could help achieve the “best of both worlds”.

    しかし、GPT-3以降のモデル(GPT-3.5やGPT-4など)が双方向性を取り入れたかどうかについては、公にされていないのでわかりません。

    推測にはなりますが、GPT-3以降のモデルにおいて、双方向性のような大きな構造的変更は行われていない可能性が高いです。なぜなら、上述されているように自己回帰型は、サンプリングや確率計算が容易であり、文章生成などで有利です。双方向型の構造を取り入れと同じことを実現するのは難しいでしょう。おそらく、自己回帰型のまま、(何らかの方法で)文脈理解をより強化する方向に進んだと思われます。

    もちろん、個人の感想です

    論文は続けて、より根本的な限界があると主張します。

    事前学習の限界に達する可能性

    それは、スケーリング則のために行われる事前学習そのものに限界がある(かもしれない)ということです。

    自己回帰型と双方向型の両方に言えることですが、より根本的な限界として、言語モデルをスケールアップするというアプローチが、いつかは事前学習の目的の限界に到達する(あるいは、すでに直面している)可能性があります。

    A more fundamental limitation of the general approach described in this paper – scaling up any LM-like model, whether autoregressive or bidirectional – is that it may eventually run into (or could already be running into) the limits of the pretraining objective.

    https://arxiv.org/abs/2005.14165

    ここで「事前学習の目的」といっているのは、言語モデルが事前学習の際に最適化する目的(タスク)のことを指します。つまり、事前学習のタスクが単純すぎるということです。単純なタスクでは、スケーリング則に頼るだけではモデルの性能をさらに改善することが難しくなるのではということです。

    例えば、「アインシュタインは、相対性理論を提唱した。……などなど……彼は、また多くの科学的業績を残した」のような文章があったとして、この文章を理解するのに重要なのは、「アインシュタイン」 や 「相対性理論」 という単語です。「彼は」 や 「また」はそれほど重要ではないです。

    しかし、事前学習をする際には、どの言葉を重要視して学ぶのかといった優先度をつけることはできません。重要でない言葉を何度も学習することは効率よくありません。

    現在の学習目標では、すべてのトークンを同じように扱い、何を優先的に予測すべきか、何が重要でないかといった概念を持ちません。[RRS20] の研究では、文脈にある「関心の対象」に基づいて予測を調整することの利点が示されています。

    Our current objective weights every token equally and lacks a notion of what is most important to predict and what is less important. [RRS20] demonstrate benefits of customizing prediction to entities of interest.

    https://arxiv.org/abs/2005.14165

    GPT-3は、事前学習の後は主に少数ショット学習でタスクをこなします。しかし、事前学習では、あくまで次の単語を予測することだけを目的としているため、より高度なタスクには適していない可能性があります。

    例えば、何らかの意図に沿った対話をするといったことには向いていません。よって、事前学習やそれをスケールするだけでは、より深い自然言語の理解や生成には至らず、何らか別の手法を取り入れる必要があること示唆しています。

    さらに、目標志向(目標に基づく行動)を学習するのに、自己教師あり学習は十分でないとも述べています。

    また、自己教師あり学習では、タスクは必ず「予測問題」として定義されます。しかし、有用な言語システム(例えば、仮想アシスタントなど)は、単に予測を行うだけでなく、目標に基づいた行動を取るようなシステムの方が適しているでしょう。

    Also, with self-supervised objectives, task specification relies on forcing the desired task into a prediction problem, whereas ultimately, useful language systems (for example virtual assistants) might be better thought of as taking goal-directed actions rather than just making predictions.

    https://arxiv.org/abs/2005.14165

    たしかに、最も予測される行動と、自分の意図に沿った行動とは異なる可能性があります。AIエージェントが、自分の意図を無視して一般論的な結論ばかりで返答してきたら、誰も使わなくなるでしょう。人工知能と呼ばれるからには、相手の意図を理解することは重要です。

    2025年は「AIエージェントの年」と言われたりして、OpenAIだけでなくさまざまな会社がエージェントとして自律的に機能するシステムの開発を行っていますが、2020年の段階ですでに、このようなことを述べていることに関心します。

    その上、事前学習には「言語以外」の経験や文脈が欠けています。

    さらに、大規模な事前学習済み言語モデルは、動画や現実世界での物理的なインタラクションといった、他の経験領域に基づいた知識を持っていない。そのため、世界に関する多くの文脈情報を欠いている[BHT+20]。これらの理由から、純粋な自己教師あり予測をスケールアップするだけでは限界に達する可能性が高く、異なるアプローチとの組み合わせが必要になると考えられる。

    Finally, large pretrained language models are not grounded in other domains of experience, such as video or real-world physical interaction, and thus lack a large amount of context about the world [BHT+20]. For all these reasons, scaling pure self-supervised prediction is likely to hit limits, and augmentation with a different approach is likely to be necessary.

    https://arxiv.org/abs/2005.14165

    これも現在ではほぼ解決されています。AIが、写真や動画を理解して解説してくれるのは一般的になっています。しかし、当時は事前学習のスケーリングだけでは解決できない限界として認識されていたのがわかります。

    この方向性における有望な今後の研究としては、以下のようなものが挙げられる。
    • 人間から学習目標を学ぶ [ZSW+19a]
    • 強化学習を用いたファインチューニング
    • 画像などの追加モダリティを統合し、世界の知識をより豊かにする [CLY+19]

    これらのアプローチを取り入れることで、言語モデルは単なる予測システムから、より目標志向型の知能システムへと進化する可能性があります。

    Promising future directions in this vein might include learning the objective function from humans [ZSW + 19a], fine-tuning with reinforcement learning, or adding additional modalities such as images to provide grounding and a better model of the world [CLY + 19].

    https://arxiv.org/abs/2005.14165

    強化学習に関しては、RLHF(Reinforcement Learning from Human Feedback)が、GPT-3の後発であるInstructGPT(2022年)で採用され、ChatGPTのもとになりました。また、画像などを統合する仕組みとしては、CLIP(2021年)などがあります。これらはすべてOpenAIによる研究です。

    先見の明があり、「目標志向型の知能システム」を目指していろんな研究をしていたのが、よくわかります。

    事前学習によるサンプル効率の低さ

    事前学習では、言語モデルは、人間が一生のうちに読む量をはるかに超える膨大なテキストを処理しています。それでも人間と同等の知能を達成したとは言えません。このため、事前学習は効率が悪い手法だと考えられます。

    もう一つの言語モデル全般に共通する限界として、事前学習におけるサンプル効率の低さが挙げられます。GPT-3は、テスト時のサンプル効率(ワンショットやゼロショットでの学習能力)において、人間に近づく一歩を踏み出しましたが、それでも事前学習時には、人間が一生のうちに読む量をはるかに超える膨大なテキストを処理しています [Lin20]。

    Another limitation broadly shared by language models is poor sample efficiency during pre-training. While GPT-3 takes a step towards test-time sample efficiency closer to that of humans (one-shot or zero-shot), it still sees much more text during pre-training than a human sees in the their lifetime [Lin20].

    https://arxiv.org/abs/2005.14165

    確かに、人間が読書する時間はかなり限られています。テスト勉強などを含めても言語モデルが莫大なテキストコーパスから学ぶ際に利用するデータ量とは比べものにならないほど少量です。

    それでも人間は、指示だけで理解したり、あるいは例が必要でも一つで十分理解できる場合が多いのに対し、言語モデルは複数の例文がないとタスクを理解できないことも多いです。

    人間がゼロショットやワンショットで十分言語を理解したり、人の意図に沿った行動を取ったりできるのと比べると言語モデルはAIとしてはまだまだ発展途上だと(少なくともこの当時は)考えたのでしょう。よって、事前学習の効率を上げることが重要な課題となります。

    事前学習のサンプル効率を改善することは、今後の重要な研究課題であり、物理的な世界との結びつきによる追加情報やアルゴリズムの改善によって向上する可能性があります。

    Improving pre-training sample efficiency is an important direction for future work, and might come from grounding in the physical world to provide additional information, or from algorithmic improvements.

    ここでは、学習のサンプル効率(より少ないデータから多くを学ぶ)を向上させるために次の2つを述べています。

    • 物理世界との結びつき:AIが現実世界の知識を直接取得できるようにすることで、より少ないデータで効率的に学習できる可能性があります。人間にはある5感のような感覚が必要かもしれません。
    • アルゴリズムの改善:より効率的な学習手法を開発することで、必要なデータ量を減らしながら性能を向上させることができるかもしれません。

    この時点では、いずれにせよ「かもしれません」の領域ですが、AIロボットなどで言語モデルが応用されたり、公開されていませんがさまざまなアルゴリズムの改善がなされているので、この2つは実現されてきていると言えるでしょう。

    推論時の学習は本当なのか

    GPT-3は文脈内学習をするため、プロンプトや例文から新しいタスクを学ぶことができると言うのは、これまでの前提でした。これに関して、論文は疑問を投げかけています。

    GPT-3の少数ショット学習に関連する「限界、あるいは少なくとも不確実性」として、「本当に推論時に新しいタスクをゼロから学習しているのか、それとも事前学習中に学習したタスクを単に認識・特定しているだけなのか」という曖昧さが挙げられます。

    A limitation, or at least uncertainty, associated with few-shot learning in GPT-3 is ambiguity about whether few-shot learning actually learns new tasks “from scratch” at inference time, or if it simply recognizes and identifies tasks that it has learned during training.

    https://arxiv.org/abs/2005.14165

    これは判断が難しい疑問です。前回に読んだセクション4では重複の調査から、全体的に暗記による性能の過大評価はないという結論にはなっています。

    しかし、以下の2つの可能性は、完全に切り離されたものでもありません。

    • 本当に推論時に新しいタスクをゼロから学習している

    • 事前学習中に学習したタスクを単に認識・特定しているだけ

    論文では、2つの可能性を4つの段階(ケース)に区別しています。

    この2つの可能性は明確に分かれているわけではなく段階の中にあります。
    • 訓練セット内のデータと全く同じ分布からサンプルが提供されているケース
    • 事前学習中に学習したタスクを異なるフォーマットで認識するケース
    • 質問応答(QA)など、一般的なタスクの特定のスタイルに適応するケース
    • 完全に新しいスキルをゼロから学習するケース

    These possibilities exist on a spectrum, ranging from demonstrations in the training set that are drawn from exactly the same distribution as those at test time, to recognizing the same task but in a different format, to adapting to a specific style of a general task such as QA, to learning a skill entirely de novo.

    https://arxiv.org/abs/2005.14165

    また、どのケースに当てはまるかはタスクによって異なります。

    GPT-3がこの段階のどこに位置するのかは、タスクごとに異なるでしょう。
    • 単語の並べ替えや架空の単語の定義のような人工的なタスクは、GPT-3が完全にゼロから学習する可能性が高い。
    • 翻訳のようなタスクは、事前学習中に何らかの形で学習しているはずだが、事前学習とテスト時のデータとは文章の構成やスタイルが大きく異なる可能性がある。

    Where GPT-3 is on this spectrum may also vary from task to task. Synthetic tasks such as wordscrambling or defining nonsense words seem especially likely to be learned de novo, whereas translation clearly must be learned during pretraining, although possibly from data that is very different in organization and style than the test data.

    https://arxiv.org/abs/2005.14165

    人間でさえ、完全に新しい概念を学ぶのは時間がかかります。よって、ほとんどの場合は、すでに知っていること(パターン)を認識しているだけです。

    ただし、GPT-3の少数ショット学習は、事前学習時のパターンマッチングに依存しているのかもしれません。いずれにせよ、さらなる研究が必要です。

    突き詰めると人間だって、何を「ゼロから学ぶ」のか、何を「過去の経験から応用する」のは明確ではありません。したがって、多様な例文などを事前学習時に整理し、それをテスト時に適切に認識できるだけでも、言語モデルの進歩として重要な意義を持ちます。とはいえ、少数ショット学習がどのように機能しているのかを正確に理解することは、今後の重要な研究課題である。

    Ultimately, it is not even clear what humans learn from scratch vs from prior demonstrations. Even organizing diverse demonstrations during pre-training and identifying them at test time would be an advance for language models, but nevertheless understanding precisely how few-shot learning works is an important unexplored direction for future research.

    https://arxiv.org/abs/2005.14165

    推論コストの問題と蒸留

    訓練だけでなく、推論でも大きな計算量を必要とし高額な電力消費が発生します。

    GPT-3のような大規模モデルには、目的関数やアルゴリズムに関係なく、「推論に高いコストがかかり、扱いが不便である」という課題があります。これは、現在の形のままでは、この規模のモデルを実用化する上で大きな障壁となる可能性があります。この問題に対する一つの解決策として、「蒸留」 [HVD15] が考えられます。これは、大規模モデルをより小さなサイズに圧縮し、特定のタスクに最適化する手法です。

    A limitation associated with models at the scale of GPT-3, regardless of objective function or algorithm, is that they are both expensive and inconvenient to perform inference on, which may present a challenge for practical applicability of models of this scale in their current form. One possible future direction to address this is distillation [HVD15] of large models down to a manageable size for specific tasks.

    https://arxiv.org/abs/2005.14165

    GPT-3は1750億パラメータを持つため、膨大な行列演算(マトリクス計算)には高性能なGPUやTPUが必要です。また、メモリ使用量も非常に大きく、大量のハードウェアを必要とします。よって、電力消費が高額になりがちです。

    また、一般的なタスク(例:AIアシスタントやチャットボット)では、短時間で応答を生成する必要があるのですが、大規模モデルでは計算が遅く、リアルタイム処理が難しくなります。よって、時間もコストとして考慮する必要があります。

    そこで、蒸留(Distillation)という「大規模モデルから軽量なモデルを作る手法」が行われます。特定のタスクに特化した小規模モデルを作る手法でもあります。

    例えば、「翻訳用の小型モデル」や「要約用の小型モデル」を蒸留によって作ることで、計算コストを削減したりできます。

    GPT-3のような大規模モデルには、非常に幅広いスキルが含まれていますが、特定のタスクにおいてはその大部分が不要である可能性が高いため、理論的には大幅な圧縮(蒸留)が可能であると考えられます。モデルの蒸留は、一般的に広く研究されている技術 [LHCG19a] ですが、1000億以上のパラメータを持つような超大規模モデルに適用されたことはありません。そのため、この規模のモデルに蒸留を適用することで、新たな課題や技術的な機会が生まれる可能性があります。

    Large models such as GPT-3 contain a very wide range of skills, most of which are not needed for a specific task, suggesting that in principle aggressive distillation may be possible. Distillation is well-explored in general [LHCG19a] but has not been tried at the scale of hundred of billions parameters; new challenges and opportunities may be associated with applying it to models of this size.

    https://arxiv.org/abs/2005.14165

    なお、蒸留では、事前学習済みの大規模モデルが予測する確率分布をラベルとして、小規模モデルに学習させます。つまり、通常の教師あり学習では、正解ラベル(ハードターゲット) を学習するところ、蒸留では教師モデル(大規模モデル)が出力する確率分布(ソフトターゲット)をラベルとして活用します。

    この理由は、確率分布には、最終的なラベルだけからは得られない多くの情報が含まれているからです。例えば、次のトークンがどのくらいの確率で「猫」なのか「犬」なのか「豚」なのかといった分布には、単に正解が「犬」と言われるよりも多くの情報が含まれています。

    よって、生徒モデルは、教師モデルの持つ深い知識を効率よく学習できます。必要なパラメータ数も少なくて済みます。これは教師モデルは、大量のデータから複雑な特徴量を抽出するためにたくさんのパラメータを使いますが、学習が終了した後の推論の計算はより少ないパラメータ数で実現できるからです。直感的にたとえると、やり方がわかれば、やるのは簡単と言うわけです。

    よって、生徒モデルは、教師モデルの持つ深い知識を効率よく学習できます。必要なパラメータ数も少なくて済みます。これは、教師モデルが大量のデータから複雑な特徴量を抽出するために多くのパラメータを使いますが、学習が終了した後は、エッセンスを抽出することで、より少ないパラメータで推論を行うことが可能になるからです。直感的にたとえると、やり方がわかれば、やるのは簡単、というわけです。

    ただし、蒸留がうまく成功したらの話です。複雑な言語理解や長文生成などでは、大規模な教師モデルのパラメータが不可欠な場合もあるでしょう。よって、蒸留によって「何を省略しても問題ないか」を慎重に選ぶ必要があります。

    深層学習というブラックボックス

    論文は、最後の限界として「深層学習システムに共通する」いくつかの限界について触れています。

    最後に、GPT-3は深層学習システムに共通するいくつかの限界を持っています。
    • 判断の理由を容易に解釈できない
    • 未知の入力に対する予測が必ずしも適切に調整されていない(標準的なベンチマークにおいて、人間と比較してパフォーマンスのばらつきが非常に大きいことが確認されている)
    • 学習したデータのバイアスをそのまま引き継いでしまう

    Finally, GPT-3 shares some limitations common to most deep learning systems – its decisions are not easily interpretable, it is not necessarily well-calibrated in its predictions on novel inputs as observed by the much higher variance in performance than humans on standard benchmarks, and it retains the biases of the data it has been trained on.

    https://arxiv.org/abs/2005.14165

    この3つの問題はGPT-3に限ったことではなく、深層学習の一般的な問題点です。

    • 「判断の理由を容易に解釈できない」のは、いわゆるブラックボックス問題です。膨大なパラメータ(重み)と非線形な変換を用いて予測を行うため、人間が「なぜこの出力になったのか?」を直感的に理解しにくい。

    これに対しては、AIの判断を解釈するための研究が必要でしょう。XAI(Explainable AI)といった分野があります。

    • 「未知の入力に対する予測が必ずしも適切に調整されていない」のは、深層学習モデルは、学習データと異なる分布の入力に対して、適切な予測ができない場合が多いです。よって、大量のデータから学習する必要があります。

    人間は、少量の情報から推論・類推する能力、世界の因果関係を理解する能力、常識や直感を活用する能力などが優れています。

    • 「学習したデータのバイアスをそのまま引き継いでしまう」のは、これは人間が作り出したテキストにさまざまな文化的、人種的、ジェンダーに関する偏見が含まれており、それを学習してしまうからです。良い悪いの判断はできません。

    最後の点について、論文はこう続けます。

    特に最後の点、「データに含まれるバイアスによって、ステレオタイプ的または差別的なコンテンツを生成してしまう可能性がある」 という問題は、社会的な観点から深刻な懸念事項となります。この問題については、「より広範な影響」(Broader Impacts)を扱う次のセクション6で、他の課題とともに詳しく議論されます。

    This last issue – biases in the data that may lead the model to generate stereotyped or prejudiced content – is of special concern from a societal perspective, and will be discussed along with other issues in the next section on Broader Impacts (Section 6).

    https://arxiv.org/abs/2005.14165

    広範な影響

    言語モデルが与える広範な影響について、論文はこう述べています。

    言語モデルは、社会において幅広い有益な応用が可能です。例えば、コードや文章の自動補完、文法補助、ゲームの物語生成、検索エンジンの応答改善、質問応答などが挙げられます。しかし、同時に潜在的に有害な用途も存在します。GPT-3は、小規模なモデルと比較してテキスト生成の品質や適応性が向上しており、生成テキストと人間が書いた文章を区別することがより困難になっています。そのため、GPT-3は、言語モデルの有益な応用を進化させると同時に、悪用の可能性も高めてしまうという側面を持っています。

    Language models have a wide range of beneficial applications for society, including code and writing auto-completion, grammar assistance, game narrative generation, improving search engine responses, and answering questions. But they also have potentially harmful applications. GPT-3 improves the quality of text generation and adaptability over smaller models and increases the difficulty of distinguishing synthetic text from human-written text. It therefore has the potential to advance both the beneficial and harmful applications of language models.

    https://arxiv.org/abs/2005.14165

    よって、どのような危害を与えるのかを認識しておくことが重要となります。

    ここでは、高度な言語モデルがもたらす潜在的なリスクにフォーカスします。これはリスクが必ずしも利点を上回ると考えているからではなく、それらを研究し、対策を講じる努力を促進するためです。言語モデルの社会的影響は多岐にわたりますが、本論文では主に以下の2つの重要な問題に焦点を当てます。
    • セクション6.1:GPT-3のような言語モデルが意図的に悪用される可能性
    • セクション6.2:GPT-3のモデル内におけるバイアス、公平性、表現の問題
    また、セクション6.3では、エネルギー効率に関する問題を簡単に触れます

    Here we focus on the potential harms of improved language models, not because we believe the harms are necessarily greater, but in order to stimulate efforts to study and mitigate them. The broader impacts of language models like this are numerous. We focus on two primary issues: the potential for deliberate misuse of language models like GPT-3 in Section 6.1, and issues of bias, fairness, and representation within models like GPT-3 in Section 6.2. We also briefly discuss issues of energy efficiency (Section 6.3).

    https://arxiv.org/abs/2005.14165

    というわけで、言語モデルが実社会に与える影響として重要な話題ですが、言語モデルを理解するという点からはちょっと一線を画します。ここで項目だけ挙げておきます。

    • 言語モデルの悪用(Misuse of Language Models)

      • 悪用の可能性のある応用(Potential Misuse Applications)

      • 脅威アクターの分析(Threat Actor Analysis)

      • 外部のインセンティブ構造(External Incentive Structures)

    • 公正性、バイアス、表現(Fairness, Bias, and Representation)

      • ジェンダー(Gender)

      • 人種(Race)

      • 宗教(Religion)

      • 将来のバイアスと公正性の課題(Future Bias and Fairness Challenges)

    • エネルギー消費(Energy Usage)

    詳細に、興味ある方は読んでみてください。

    関連研究

    関連研究もたくさんあるので、ここに重要な研究分野だけをリストにしました。

    • スケーリング則:パラメータ数・計算量・データ量と性能の関係

    • 自己回帰型言語モデル:双方向型言語モデルのアプローチを組み合わせる

    • 少数ショット学習:入力テキストの中に例から文脈内学習

    • モデル圧縮と蒸留:大規模モデルから小型モデルへ知識を転移

    • マルチタスク学習:1つのモデルで複数のタスクを同時に学習する手法

    これらの多くは、論文の中でも議論されていたので、個別の研究に興味がある方は、論文内のリンクがあります。

    まとめ

    これで「GPT-3を読む」シリーズは完結します。

    さて次は、何を読みましょうか。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ