
Llama 1 を読む⑥主な実験結果
前回は、Llama 1の効率的な訓練のための工夫について読みました。
今回は、この成果を確認するために、セクション3「主な実験結果」(Main results)を読み進めます。
GPT-3の論文のように、ゼロショットや少数ショットを含む20のベンチマークで評価した結果が報告されています。
ゼロショット(Zero-shot)
タスクの指示文だけを与える。少数ショット(Few-shot)
1~64個のタスクの例の後に、指示文を与える。
どちらの場合も、モデルは自由形式の生成によって回答するか、最も良い選択肢を選びます。
どの選択肢が正解かは、モデルの出力する尤度に基づいて決定されますが、これについての詳細は後述します。
多くのタスクでは、以下のモデルが主な比較対象となっています。
OpenAI GPT-3(1750億パラメータ)
Google DeepMind Gopher(2800億パラメータ)
Google DeepMind Chinchilla(700億パラメータ)
Google Research PaLM(80億、620億、5400億パラメータ)
そのほかにも、OPT(300億パラメータ)、GPT-J(60億パラメータ)、GPT-Neo(200億パラメータ)などとも比較されています。
これに対してLlama 1のモデルサイズは、70億、130億、330億、650億パラメータとなっています。さて、結果はどうなったでしょうか。
また、これらの比較を通してどのような知見が得られたのでしょうか。
「最も良い選択肢を選ぶ」とは
実験結果を読み進める前に「モデルがどのようにして最も良い選択肢を選ぶのか」について解説します。
正確には、モデルが直接選ぶというよりも、モデルの出力(確率)に基づいて我々が最も尤もらしい選択肢を選ぶことになります。
まずは、その判断基準となる「尤度」について説明します。
選択肢の尤度を評価する
LlamaやGPTなどの言語モデルは、ある入力(文脈)に続く単語や文章を予測します。モデルは、与えられた文脈を条件として「次にこのトークンが出現する確率」をすべてのトークン(語彙)について計算します。
たとえば、次のような質問(文脈)があるとします。
「日本で一番高い山は?」
そして、以下の選択肢が与えられているとします。
鋸山
富士山
高野山
富山
このとき、モデルは文脈「日本で一番高い山は?」に続くそれぞれの選択肢の条件付き確率(尤度)を計算します。
たとえば、「富士山」の尤度は以下のように求められます。なお、説明を簡単にするためにトークン単位ではなく文字単位で表記しています。
P("富士山" | 文脈:"日本で一番高い山は")
= P("富" | 文脈) ×
P("士" | 文脈 + "富") ×
P("山" | 文脈 + "富士")このようにして、すべての選択肢の尤度を計算し、最も尤度が高いものを「回答」として選びます。
LLaMAなど実際のモデルは、BPE(Byte-Pair Encoding)の手法により文字列のトークン化を行います。よって、「富士山」を1トークン、または「富士」「山」の2トークンとして処理する可能性があります。
無条件確率で正規化する
トークン数が増えると、確率の積によって尤度がどんどん小さくなる(0に近づく)傾向があります。これでは、長い選択肢が不利になってしまいます。
そこで、選択肢の長さ(文字数やトークン数)で正規化を行い、公平に比較できるようにします。
論文では次のように書かれています。
私たちは Gao ら(2021)に従い、テキスト(completion)の文字数で正規化した尤度を用いています。ただし、OpenBookQA や BoolQ といった一部のデータセットに関しては、Brown ら(2020)に従い、以下のように選択肢を選びます。
P(選択肢 | 文脈) / P(選択肢 | “Answer:”)
つまり、文脈を与えたときの選択肢の尤度を、「Answer:」という語を文脈としたときの選択肢の尤度で割った比率で正規化された尤度に基づいて選択肢を決定します。
We follow Gao et al. (2021) and use the likelihood normalized by the number of characters in the completion, except for certain datasets (OpenBookQA, BoolQ), for which we follow Brown et al. (2020), and select a completion based on the likelihood normalized by the likelihood of the completion given “Answer:” as context: P(completion | context)/P(completion | “Answer:”).
このBrown ら(2020)は、GPT-3の論文のことです。つまり、OpenBookQAやBoolQにおける尤度の計算には、GPT-3で採用された手法が使われています。
例えば、プロンプトの最後に、"答え: "と書かれていたとしても、これは答えを促すための書式上の指示にすぎず、問題の意味内容とは直接関係がありません。
「答え:」は、あくまでモデルに「ここから答えを生成せよ」と伝えるためのフォーマット(形式的な文脈)であり、各選択肢の妥当性には関与していません。
このような「答えのための文脈」(答えを促すためだけの形式的な文脈)が与える影響は、条件付き確率の比較においては役に立たないノイズでしかありません。
この形式的な文脈の条件付き確率は、以下のように表されます。
例えば、です。
これは、問題文を与えずに「答え:」だけを条件としたときの、ある選択肢の尤度を表します。つまり、その選択肢の尤度がどれほどフォーマットに依存しているかを示しています。
これは「実際の文脈に依存しない出力傾向」(バイアス)を表す可能性があり、意味的な妥当性とは無関係な確率です。
このような形式的文脈に基づく確率を「無条件確率」(unconditioned probability)と呼びます。つまり、形式上は条件になっているが、意味としては無条件として扱われるべき確率ということです。
このバイアスの影響を除外するために、次のような正規化を行います。
これによって、各選択肢に対する形式的な構文の影響を軽減します。
つまり、無条件確率が高い選択肢は、形式的な構文によって過大評価されている可能性があるためこのような正規化が行われています。
主要な実験結果
ここでは論文にある実験結果をまとめています。
常識推論
LLaMA 1 は、8つの標準的な「常識推論ベンチマーク」において、ゼロショット設定で評価されました。

PaLM-cont は、PaLM (continued training)の意味で、PaLM を追加で訓練(継続学習)させたモデルです。
いくつかのタスクに登場する「PaLM-cont」という名前ですが、用途に応じて継続学習の内容は変わります。
例えば、コーディングのタスクではコード生成データでファインチューニングしたものです。つまり、元のPaLMに特化学習を加えた拡張版です。
LLaMA-65Bは、ほとんどのモデルに優れる性能を出しました。9倍以上のパラメータ数を持つPaLM-540BにBoolQとWinoGrandeで劣っているだけです。
LLaMA-13Bは、10倍以上のパラメータ数を持つGPT-3 を多くのベンチマークで上回るか、近い性能を示しています。
クローズドブック型の質問応答
Llama 1は、NaturalQuestions と TriviaQA という2つのクローズドブック質問応答のベンチマークで、ゼロショット/少数ショットの設定で評価されました。
クローズドブック(Closed Book)質問応答とは、外部の知識ソース(例:Wikipediaや検索エンジンなど)にアクセスせず、モデル自身が持つ知識だけを使って質問に答える形式の評価タスクです。言語モデルの知識力を測る指標です。
Natural Questionsは、実際のGoogle検索に基づいた自然な質問を集めたベンチマークです。モデルは自由形式の回答を生成しますが、評価には「厳密一致」(Exact Match)スコアが用いられています。つまり、モデルの出力が正解とどの程度完全に一致するかを基準として性能を測定します。

LLaMA-65Bは、「ゼロショット」と、全ての「少数ショット」設定で、GPT-3やPaLMを含め他のモデルの性能を上回っています。
興味深いことにより小さいLLaMA-33BがゼロショットでLLaMA-65Bの性能を上回っています。
さらに小さいLLaMA-13Bも他の多くのモデルを上回っています。
この結果は、GPT-3やPaLMのようなモデルでは、パラメータ数が大きくても「知識の吸収」が十分でない可能性を示唆しています。一方で、Llama 1ではモデルサイズよりも学習データの質と訓練方法を重視したアプローチが功を奏し、より効率的に知識を獲得できていると考えられます。
TriviaQAは、クラウドソーシングやWebから収集された質問を集めたベンチマークです。モデルがどれだけ事前学習で獲得した知識を活用して質問に正しく答えられるかを評価します。

ここでもLLaMA-65BやLLaMA-33Bが他のモデルの性能を上回っています。また、LLaMA-13BがGopherやChinchillaとほぼ同等の性能を出しています。
読解力
RACE(Reading Comprehension from Examinations)は、中国の中高生向け英語読解試験から作成されたもので、自然な読解力が求められる複数選択式の問題で構成されています。

LLaMA-65B は PaLM-540B と同等の性能を達成
LLaMA-13B は GPT-3 を数ポイント上回る性能を示しました
ここまでの結果を見ると、GPT-3の性能は Llama 1 に対して一歩劣ることは事実です。ただし、GPT-3は2020年に開発されたモデルであり、その後の研究成果や訓練手法の改善を取り入れて設計された Llama 1(2023年)には、時間的な優位性があることも確かです。
数学的推論
Llama 1 は、数学推論タスクのベンチマークである MATH(中高生向けの12,000問の数学問題)と GSM8k(中学生レベルの文章題)において評価されました。

表の列にある +maj@k の「maj」は、majority(マジョリティ、多数)の意味です。例えば、MATHの横にある +maj@k は、MATHの各問題の回答として個の回答を生成して、最も多く出現した解答を採用するという多数決による手法です。
なお、Minerva は、ArXiv や数学系Webページから抽出した38.5Bトークンの数学データでファインチューニングされた PaLMモデルです。
Minervaは、最も優れた性能を示しています。
LLaMA-33Bは、PaLM-62Bを上回っています
LLaMA-65Bは、MATHでPaLM-540Bより優り、GSM8kで劣っています。
なお、LLaMA-65Bは、多数決投票の場合にGSM8kで、Minervaを上回っており、事前学習だけで高度な推論能力を獲得していることが示唆されます。
Minerva の結果から、大規模言語モデル(LLMs)は、一般に数学の問題においてはまだ大きな伸び代があることが推測されます。これは、特定分野に対するファインチューニングが性能向上に大きく貢献することを示唆しています。
コード生成
Llama 1は、自然言語からPythonコードを生成する能力を、以下の2つのベンチマークで評価されています。
HumanEval(Hand-Written Evaluation Set)関数の仕様を自然言語で説明し、テストケースによって実装の正しさを確認する形式の問題です。
MBPP(Mostly Basic Programming Problems)基本プログラミング問題集
これらのタスクでは、モデルは「自然言語による説明文」を受け取り、正しいコードを生成する必要があります。

@1は、モデルが 1 回だけコードを生成しそれが正解する確率です。@80と@100は、それぞれ80回、100 回生成して 1 回でも正解があればカウントされます。
LLaMA-13B 以上のモデルは、LaMDA-137B よりも HumanEval と MBPP の両方で優れた性能を出しています。
LLaMA-65B は、より長く学習された PaLM-62B (PaLM-cont)を上回る性能を出しています。
これらの結果は、Llama 1 がコード特化の学習をしていなくても、強力なコード生成能力を備えていることを示しています。
大規模マルチタスク言語理解
Massive Multitask Language Understanding(MMLU) は、多様な分野にわたる 多肢選択式の質問集からなるベンチマークです。
人文科学
STEM(科学、テクノロジー、エンジニアリング、数学)
社会科学
Llama 1はこのベンチマークで 5ショット設定(例題5つ)にて評価されました。

LLaMA-65Bは、Chinchilla-70BやPaLM-540Bに平均で数ポイント劣る
多くの分野で 全体的にやや下回る傾向
この結果として想定される理由として、論文は「事前学習データに含まれる書籍や論文の量が比較的少ない」と分析しています。
Chinchilla や PaLM は 2TB 規模の書籍データを使用
Llama 1:ArXiv、Gutenberg、Books3 の合計 177GB
Llama 1が使用した書籍や論文の量が大幅に少ないことを考慮すると、GPT-3やGopherと比較するのが妥当かもしれません。
実際、LLaMA-65Bは平均的にGPT-3やGopherを上回る性能を示しており、限られた学習資源でも高い性能を達成できることがわかります。
結果に対する考察
学習中の性能の推移
論文では、学習中のモデルを定期的に各タスクで評価し、その結果を下図にまとめています。

水平の点線は、Chinchillaの性能を示しており、Llama 1モデル(パラメータ数ごとに色が異なる)が、どの時点でそれを越えていった(あるいは越えなかった)のかがわかります。
多くのベンチマークでは、Llama 1の性能は学習の進行とともに着実に向上しているのが明白です。
さらに学習を続ければ、より高い性能が期待できそうです。
また、この向上は学習中のパープレキシティ(図1)とよく相関しています。

つまり、事前学習における損失の低下が、各タスクでの成績の向上につながっていることがわかります。また、パラメータ数の大きさとの関連も見られます。
ただし、論文は例外としてSIQAとWinoGrandeをあげています。事前学習の損失の低下に対して、これらのタスクでは性能に大きなバラつきがあり、安定的な向上傾向が見られません。モデルサイズによる性能も差もはっきりとしていません。
このことから、このベンチマーク自体の信頼性に疑問がある可能性があると述べています。
例外は SIQA と WinoGrande です。特に SIQA においては、性能に大きなばらつきが見られ、このベンチマークが信頼性に欠ける可能性を示唆しています。
The exceptions are SIQA and WinoGrande. Most notably, on SIQA, we observe a lot of variance in performance, that may indicate that this benchmark is not reliable.
インストラクション・ファインチューニング
実験の結果として、LLaMA-65B は「ファインチューニングなし」でも基本的な指示にある程度従うことができることがわかりました。ただし、ごく少量のファインチューニングするだけで、MMLU のスコアが明確に向上することが、下表で確認されました。

これは、インストラクション・ファインチューニング(Instruction Finetuning)と呼ばれるもので、指示文(Instruction)付きの入力に対して、モデルが望ましい出力を返せるように追加学習する手法です。
「○○してください」「次の文を要約せよ」といった指示を理解できるように、事前学習済みのモデルをベースに、少量の指示‐応答ペアで短時間ファインチューニングします。
要するに、大規模モデルの「素の知識」を活かすために、指示への応答品質を短時間で引き上げることを目的としたファインチューニングです。このようにして指示に追従する能力を高めたモデルが、表に示された「LLaMA-I」です。
「I」は「Instruction」の「I」です。
「LLaMA-I」は、素の「LLaMA」と比べて性能が向上し、その他のモデルも上回っています。
バイアス、有害性、誤情報
本論文の後半では、LLaMA 1 に関して以下のような観点も評価されています:
バイアスや有害性、誤情報の生成傾向
性別や人種に対する偏見(WinoGender、CrowS-Pairs)
真実性(TruthfulQA)
環境負荷(CO₂ 排出量)
いずれも重要な論点ではありますが、本記事の目的は LLaMA 1 の構造と学習による効果を理解することにあるため、ここでは詳しい説明は割愛します。
まとめ
今回で「Llama 1を読む」は終了です。
Llama 1は、より少ない計算資源でも、質の高い事前学習によって大規模言語モデルは高い性能を発揮できるという証明となりました。
また、オープンなデータのみを用いた事前学習とモデル重みの公開により、再現性が高く、多くの派生モデルの原点となった、歴史的に重要なオープンモデルです。
次回からは「Llama 2を読む」と題して、後継モデルとなるLlama 2の論文を読み進めます。
Llama 2 は、DeepSeek など多くの「オープンウェイト言語モデル」のベースとなり、その設計思想がさらに広く受け継がれています。
お楽しみに!