
Llama 1 を読む②スケーリング則を疑う
前回は、Llama 1の論文を読む動機と方針について解説しました。
もともとのモデル名は「LLaMA」と表記されていましたが、現在は「Llama 3」と表記されるので、この記事でも「Llama 1」と表記しています。
今回は、セクション1「導入」(Introduction)を読み進めます。
ここでは、これまでのスケーリング則を推し進めるアプローチに疑問が投げかけられます。Llama 1が「効率化」に重点を置いた理由とそれを実践するためにオープンなデータセットのみで訓練が行われたことが強調されています。
その成果についても簡単に触れており、「LLaMA-13Bは、パラメータ数がGPT-3の10分の1であるにもかかわらず、多くのベンチマークにおいてGPT-3を上回る性能を示している」と自信のほどが伺えます。
推論時のコストを抑えることが可能な小さなモデルがどうしてパラメータ数が莫大にモデルと同等の競争力を持つに至ったのでしょうか。
スケーリング則に対する疑問
パラメータ数を増やせば性能が向上する?
Llama 1の「導入」は、次のように始まります。
膨大なテキストコーパスで訓練された大規模言語モデル(LLM)は、テキストによる指示や少数の例から新たなタスクを実行する能力を示しています(Brown ら, 2020)。このような少数ショット学習の特性は、モデルを十分な規模に拡張したときに初めて現れ(Kaplan ら, 2020)、その結果として、モデルのさらなるスケーリングに焦点を当てた研究が進められるようになりました(Chowdhery ら, 2022;Rae ら, 2021)。これらの取り組みは、「パラメータ数を増やせば性能が向上する」という仮定に基づいています。
Large Languages Models (LLMs) trained on massive corpora of texts have shown their ability to perform new tasks from textual instructions or from a few examples (Brown et al., 2020). These few-shot properties first appeared when scaling models to a sufficient size (Kaplan et al., 2020), resulting in a line of work that focuses on further scaling these models (Chowdhery et al., 2022; Rae et al., 2021). These efforts are based on the assumption that more parameters will lead to better performance.
Llama 1の論文がアーカイブに投稿されたのは2023年2月ですが、ここでは過去2020-2022年のスケーリング速に関連した研究を取り上げています。そして、次のようにまとめています。
これらの取り組みは、「パラメータ数を増やせば性能が向上する」という仮定に基づいています。
たしかに、パラメータ数を増やすことは性能が向上する一つの条件として捉えられていました。しかし、なぜわざわざ「導入」の最初にこのことを取り上げたのでしょうか。
ここで参照されている論文は以下のとおりです。
Brown ら, 2020:OpenAIのGPT-3
Kaplan ら, 2020:OpenAIのスケーリング則
Rae ら, 2021:Google DeepMindのGopher
Chowdhery ら, 2022:GoogleのPaLM
つまり、MetaのAI研究者から見て、当時数年の OpenAI や Google の多くは「パラメータ数を増やせば性能が向上する」に基づいて研究を推し進めていると客観的に捉えているわけです。
GPT-3の論文でも、パラメータ数を増やすことでが、少数ショット学習の性能を向上させることが実験的に示されていました。
ただし、本来のスケーリング則は「パラメータ数を増すだけ」とは主張していません。以下の要素が全て関係しています。
モデルサイズ(パラメータ数)
訓練データ量(トークン数)
計算量(FLOPs)
OpenAIやGoogleがこれを無視していたわけではありません。ただし、「パラメータ数を増やす」ことが上述の参照論文で中心に考えられていたのは確かであり、それをMetaのAI研究者たちがLlama 1の論文で述べているわけです。
そして彼らは、次に言及される「少し目の付け所が異なる」研究に注目します。
大きすぎるモデルでは訓練が不十分になる
論文は続けて、Google DeepMindによる研究を取り上げます。
しかし、Hoffmann ら(2022)の最近の研究では、与えられた計算資源の予算内において、最高の性能を発揮するのは最大のモデルではなく、より多くのデータで訓練された小さなモデルであることが示されています。
However, recent work from Hoffmann et al. (2022) shows that, for a given compute budget, the best performances are not achieved by the largest models, but by smaller models trained on more data.
このDeepMindによる論文「Training Compute-Optimal Large Language Models」(計算効率を最適化した大規模言語モデルの訓練)で、Hoffmannらは「大きすぎるモデルは、限られたFLOPsでは訓練が不十分になる」ことを主張しています。
FLOPsは「コンピュータが実行する浮動小数点演算の回数」です。
・ FLOP = Floating Point Operation(浮動小数点演算)
・ FLOPs = その回数(FLOPの複数形)
FLOPsは「モデルサイズ(パラメータ数) × 訓練データ量(トークン数)」に比例します。つまり、訓練に使った合計の計算量を意味します。
よって、次の関係があります。
・ 同じモデルでも、訓練トークン数が増えるほどFLOPsは増える
・ 同じトークン数でも、モデルが大きくなるほどFLOPsは増える
この論文は、FLOPsを増やしてモデルの性能を上げる(損失を減らす)ためには、「パラメータ数と訓練トークン数をほぼ同じ比率でスケーリングするのが最適」であると示しています。
つまり、パラメータ数だけを増やしすぎても期待したような性能の向上には結びつかないことになります。GPT-3のような大規模モデルは訓練トークン数が不足しており、過剰なサイズに対して学習が不十分であるとも結論しています。
だったら、GPT-3にもっと訓練トークンを供給して長く訓練すれば良いのでは、と考えたくなりますが、それほど単純な話でもありません。GPT-3では重複などのチェックをして苦労して大量のコーパスを集めていました。また、巨大なモデルをより長く訓練するためのコスト(お金)も莫大です。
おそらく、GPT-4などのより巨大と考えられる後続モデルでは、なんらかの効率化が図られたとは思われます。
その一方で、小さいモデルをより多くの訓練トークン数で学習させれば、GPT-3などの学習不足モデルと同等またはそれ以上の性能を出せる可能性があります。
実際に、上述のDeepMindの論文では、次の2つのモデルを比較しています。
Chinchilla(700億パラメータ):訓練トークン数 = 約1兆4000億
Gopher (2800億パラメータ):訓練トークン数 = 約3000億
結果として、小さいモデルであるChinchillaは、4倍大きなGopherより良い性能を示しました。また、GPT-3(1750億パラメータ)よりも高性能です。
しかし、これは「訓練のための最適化」であって「推論のための最適化」ではないとメタの研究者たちは考えました。
性能が同じならば推論が最速な方を望む
Llama 1の論文は次のように続けます。
Hoffmann ら(2022)による(計算効率を最適化する)スケーリング則の目的は、訓練で使う計算量(訓練時の計算予算)に対して、データセットとモデルサイズを最適にスケーリングする方法を明らかにすることにあります。しかしこの目的は、大規模な言語モデルを提供する際に重要となる推論で使う計算量(推論時の計算予算)を考慮していません。
The objective of the scaling laws from Hoffmann et al. (2022) is to determine how to best scale the dataset and model sizes for a particular training compute budget. However, this objective disregards the inference budget, which becomes critical when serving a language model at scale.
ここで「計算予算」(compute budge)というのは、お金の予算ではなく、計算量のことです。もちろん、お金にも関係していますが、比較対象としてどのくらいのお金がかかったかではなく、どれほどの計算量(FLOPs)がかかったかで比較しています。
つまり、訓練時にかかる計算量が長くなっても、大規模な言語モデルを扱う実務で使う推論時の計算量が小さくなる方が重要だということです。よって、訓練時の最適なスケーリングではなくて、推論時に最適になるような研究が行われていないと述べているわけです。
では、「大規模な言語モデルを提供する」という文脈では、どのようなモデルが望まれるのでしょうか。
このような文脈では、目標とする性能レベルがある場合、望ましいモデルは「訓練が最速なモデル」ではなく「推論が最速なモデル」です。そして、ある性能レベルに到達するために大規模なモデルを訓練する方が初期コストは安く済むかもしれませんが、より小さなモデルを長時間訓練する方が、最終的には推論時のコストを抑えられます。
In this context, given a target level of performance, the preferred model is not the fastest to train but the fastest at inference, and although it may be cheaper to train a large model to reach a certain level of performance, a smaller one trained longer will ultimately be cheaper at inference.
こうして論文のタイトルにもあるように「効率的な基盤言語モデル」という方針が浮かび上がってきます。
次に、再びHoffmannらの研究を取り上げ、Llama 1のモデルと比較しています。
例えば、Hoffmann ら(2022)は 100 億パラメータのモデルを 2000 億トークンで訓練することを推奨していますが、我々の発見では、70 億パラメータのモデルは 1 兆トークンを超えても性能が向上し続けています。
For instance, although Hoffmann et al. (2022) recommends training a 10B model on 200B tokens, we find that the performance of a 7B model continues to improve even after 1T tokens.
Hoffmannの研究では、訓練における計算量(FLOPs)を基準にした最適化に焦点を当てています。つまり、「計算予算が一定である場合、ある程度のパラメータ数のモデルを、どのくらいの訓練トークン数で学習させるのが最も効果的か」という観点でスケーリング則を導出しています。
一方で、Llama 1は異なる観点から設計されています。彼らは、推論時の計算量を重視し「この程度のモデルサイズであれば、どの程度訓練すれば、必要な性能を満たすか?」という視点で最適化しています。これは、訓練の効率性ではなく、実運用におけるコスト効率(実際に使えるモデル)を意識した設計思想です。
さらに、Hoffmannらの提案はChinchillaという特定のモデルで得られた経験則に基づいています。したがって、アーキテクチャの工夫や訓練手法の改良によって、同じパラメータ数や訓練トークン数でもさらに高い性能を引き出す可能性は十分にあります。
Llama 1は、まさにその可能性を追求する取り組みです。
Llama 1における研究の焦点
推論コストの制約下で最高性能を達成する
論文は、研究の目的を次のように述べています。
本研究の焦点は、通常よりも多くのトークンで訓練を行うことにより、さまざまな推論コストの制約下で可能な限り最高の性能を達成する言語モデル群を構築することです。
The focus of this work is to train a series of language models that achieve the best possible performance at various inference budgets, by training on more tokens than what is typically used.
ここでの「言語モデル群」(a series of language models )とは、パラメータ数によってモデルを区別するという意味です。
その結果得られたモデル群「LLaMA」は、パラメータ数が70億から650億まであり、既存の最高性能の大規模言語モデルと比べても競争力のある性能を示しています。たとえば、LLaMA-13Bは、パラメータ数がGPT-3の10分の1であるにもかかわらず、多くのベンチマークにおいてGPT-3を上回る性能を示しました。
The resulting models, called LLaMA, ranges from 7B to 65B parameters with competitive performance compared to the best existing LLMs. For instance, LLaMA-13B outperforms GPT-3 on most benchmarks, despite being 10× smaller.
Llama 1のモデル群のパラメータ数は「70億、130億、330億、650億」です。130億パラメータのモデルでも、1750億パラメータのGPT-3を多くのベンチマークにおける性能が上でした。
また、1番大きいLlama 1モデル(650億)でも、GPT-3の1750億の半分以下です。その性能がどうだったのかの詳細は、実験結果を見ることで明らかとなるでしょう。
LLMへのアクセスと研究の民主化
論文のタイトル「LLaMA:オープンで効率的な基盤言語モデル」にあるように、Llama 1では、「オープン」という言葉がいくつかの意味です買われています。
我々は、このモデルが1枚のGPUで動作可能であることから、LLMへのアクセスとその研究の民主化に貢献すると信じています。さらに、スケールの上限に位置する650億パラメータのモデルも、ChinchillaやPaLM-540Bといった最先端の大規模言語モデルと競合し得る性能を持っています。
We believe that this model will help democratize the access and study of LLMs, since it can be run on a single GPU. At the higher-end of the scale, our 65B-parameter model is also competitive with the best large language models such as Chinchilla or PaLM-540B.
ここで「研究の民主化」と述べているのは「限られた一部の企業や研究機関だけでなく、誰もが研究できる状態をつくること」です。実際に、登録した外部の研究者たちは、Llama 1の重みをダウンロードして実験することが許されていました。
その後、リークされて本当に誰でも(1枚のGPUは必要ですが)試せるようになりました。
「民主化」は「オープン」の意味の一つですが、もう一つには「オープンなデータソースの使用」があります。
Chinchilla、PaLM、GPT-3とは異なり、私たちは公開されているデータのみを使用しており、このことにより我々の研究はオープンソース化との互換性があります。一方で、既存の多くのモデルは、「Books – 2TB」や「SNSの会話」のように、公開されていなかったり出所が明示されていないデータに依存しています。
Unlike Chinchilla, PaLM, or GPT-3, we only use publicly available data, making our work compatible with open-sourcing, while most existing models rely on data which is either not publicly available or undocumented (e.g. “Books – 2TB” or “Social media conversations”).
「オープンソース化との互換性」と言っているのは、モデルにとってどのようなデータを使って学習したのか(そして、結果としての実行することのできる重みを後悔していること)は、ソースコードを公開(オープン)したソフトウェア開発と共通するものがあります。
これは、誰でもダウンロードして、試してみたり修正を加えたりすることができるということです。また、多くの研究者が参加することでさらに進化や改善が行われるようになる(なってほしい)という思いもあるでしょう。
また、Llama 1は、オープンでありながら、最先端のモデルと競合できるモデルでもあります。
例外としては、OPT(Zhang ら, 2022)、GPT-NeoX(Black ら, 2022)、BLOOM(Scao ら, 2022)、GLM(Zeng ら, 2022)などが存在するが、いずれもPaLM-62BやChinchillaと競合できる性能には達していません。
There exist some exceptions, notably OPT (Zhang et al., 2022), GPT-NeoX (Black et al., 2022), BLOOM (Scao et al., 2022) and GLM (Zeng et al., 2022), but none that are competitive with PaLM-62B or Chinchilla.
論文の残りの部分について
「導入」の最後では、論文の残りの部分で語られることについて述べています。
本論文の残りの部分では、トランスフォーマーアーキテクチャ(Vaswani ら, 2017)に対して行った修正点と、我々の訓練手法の概要を紹介します。続いて、我々のモデルの性能を報告し、標準的なベンチマークセットを用いて他の大規模言語モデル(LLM)との比較を行います。最後に、責任あるAIコミュニティによる最新のベンチマークを用いて、我々のモデルに内在するバイアスや有害性の一部を明らかにします。
In the rest of this paper, we present an overview of the modifications we made to the transformer architecture (Vaswani et al., 2017), as well as our training method. We then report the performance of our models and compare with others LLMs on a set of standard benchmarks. Finally, we expose some of the biases and toxicity encoded in our models, using some of the most recent benchmarks from the responsible AI community.
簡単にまとめると以下になります。
トランスフォーマーの修正点
訓練手法の概要
他の大規模言語モデルとの実験結果の比較
モデルに内在するバイアスや有害性
モデルのサイズに対して、性能が良いことは既にわかっているので、一番興味が惹かれるのは最初の2つでしょう。これらは、GPT-3などクローズドのモデルからはほとんど伝わってこないような内容です。
次回予告
次回は、セクション2「アプローチ」(Approach)を読み進めます。
お楽しみに!