
Llama 1 を読む③「量より質」という挑戦
前回は、Llama 1の論文のセクション1「導入」(Introduction)を読みました。スケーリング則への疑問提起や、なぜ「効率化」に重点が置かれているのかについて理解しました。
今回は、セクション2「アプローチ」の前半を読み進めていきます。
ここでは、モデルの性能を「質の高いデータで支える」というLlama 1の基本戦略のひとつが、各データセットの選定と処理を通して具体的に語られています。
これは、学習の「効率化」に関わる重要なポイントです。
単に大量のデータを詰め込むのではなく、どのようなデータを選び、どのように整え、どれくらい繰り返し使うのか、そのアプローチが語られています。
Llama 1の学習アプローチ
推論時の効率化を目指す
セクション2「アプローチ」は次のように始まります。
私たちの学習アプローチは、これまでの研究(Brownら, 2020; Chowdheryら, 2022)で述べられた手法に類似しており、Chinchillaスケーリング則(Hoffmannら, 2022)から着想を得ています。
Our training approach is similar to the methods described in previous work (Brown et al., 2020; Chowdhery et al., 2022), and is inspired by the Chinchilla scaling laws (Hoffmann et al., 2022).
参照されている3つの論文は、それぞれ以下のモデルに対応しています。
GPT-3「Language Models are Few-Shot Learners」
PaLM「Scaling Language Modeling with Pathways」
Chinchilla「Training Compute-Optimal Large Language Models」
OpenAIのGPT-3(1750億パラメータ)とGoogleのPaLM(5400億パラメータ)は、より大きなパラメータ数を持つ言語モデルの訓練にフォーカスし、その性能を引き上げた例です。
その一方、Google(DeepMind)のChinchillaは「モデルが大きすぎると訓練が不十分になる」という実験結果を踏まえ、モデルサイズと学習トークン数のバランスを取りつつ、訓練における計算効率の最適化を目指しました。
しかし、セクション1「導入」でMetaの研究者たちは、このChinchillaの効率化はあくまで「訓練時の効率」に最適化されているだけで、「推論時の効率」は考慮されていないと指摘しています。
ここで重要なのは、DeepMindの研究が「与えられた計算資源の予算内」で、訓練時の計算効率を最適化することに重点を置いていた点です。つまり、いつまでも訓練に時間をかけていられないという前提があるのです。
ここで言う「計算資源」は、モデルのサイズ(パラメータ数)と訓練データの量(トークン数)によって決まるため、この2つが一定の予算内に収まるように、両者のバランスを調整する必要があるわけです。当然ながら、モデルサイズを大きくすれば、使えるトークン数は減り、学習が不十分になるリスクが高まります。
一方で、こうして訓練されたモデルは、実運用の中で繰り返し使われていきます。推論時には、訓練のような「計算時間の予算」は存在しません。
メタの研究者たちは、計算資源を節約すべきなのは訓練よりもむしろ推論時であり、そのためには、より小さなモデルで済む設計が望ましいという結論にたどり着きました。
つまりLlama 1の学習アプローチは、Chinchillaが提示した「学習時の効率化」という発想をヒントにしつつ、それを「推論時の効率化」へと転換したアプローチだと言えます。
そして論文では、次のように述べています。
私たちは、大量のテキストデータを用いて、大規模なトランスフォーマーを標準的な最適化手法で訓練しました。
We train large transformers on a large quantity of textual data using a standard optimizer.
これは、Chinchilla のように学習時のトークン数に厳密な制限を設けるのではなく、必要に応じて十分なデータを投入して学習させたことを示しています。
また、それ以外の部分では従来の手法と共通しており、ある程度の規模を持つトランスフォーマー(デコーダベース)を用い、標準的な手法で最適化したと述べています。
とはいえ実際には、これまでの従来の学習よりも学習データの「質」にこだわり、さらに実装の効率化にも注意が払われています。
このあたりの工夫について、論文は続きます。
データの「量より質」
事前学習のデータセットについて論文は次のように述べています。
私たちの学習データセットは、さまざまなソースを組み合わせた混合データで構成されており、それらは表1に示されています。これらは多様なドメインをカバーしています。
Our training dataset is a mixture of several sources, reported in Table 1, that cover a diverse set of domains.

この表は、Llama 1の事前学習に使用されたデータの混合内容を示しています。
最も多く使われているのはCommonCrawlで、全体の67%を占めており、次に多いのがC4(15%)です。それ以外のデータセットは、いずれも比較的小さな割合にとどまっています。
表の右側には、「エポック数」(Epochs)と「ディスクサイズ」(Disk size)が記載されています。
表1の説明によると、これは、1.4兆トークンを使って訓練した際に、各データセットが何回繰り返し使われたか(エポック数)、および「そのデータがどれほどの容量を占めていたか」(ディスクサイズ)を表しています。
これによると、CommonCrawl は 約1.1エポック分使用されており、その容量は3.3TB にも及びます。非常に大規模なコーパスであることがわかります。
なお、Github は 0.64エポックと比較的少ない一方、Wikipedia(2.45エポック)やBooks(2.23エポック)などは繰り返し使用された回数が多いことが読み取れます。
繰り返し使われたものは質が良いということが想像できます。
これは大量のデータをCommonCrawlから得ると同時に、比較的小規模だが高品質なコーパスを複数回利用することで、効率的かつバランスのとれた事前学習データセットの構成を目指していることが伺えます。
また、オープンであることにも拘っていることが述べられています。
基本的には、他の大規模言語モデルの訓練にも使われてきた既存のデータソースを再利用していますが、使用するのは「公開されていて、かつオープンソース化に適したデータ」に限定しています。この制約のもとでデータの混合内容と、その訓練セットに占める割合が決められました。
For the most part, we reuse data sources that have been leveraged to train other LLMs, with the restriction of only using data that is publicly available, and compatible with open sourcing. This leads to the following mixture of data and the percentage they represent in the training set:
そもそもLlama 1は、研究の発展を目的としてモデルの重みを公開する方針を前提に設計されていました。そのため、学習に使用するデータについても、公開可能でライセンス的に問題のない「オープンなデータ」に限定して選定されています。その上で、多様なドメインをカバーし、バランスにも配慮した構成となっています。
このあと論文では、各データセットの具体的な特徴や、使用にあたっての前処理・フィルタリングの工夫が述べられていますが、本記事ではその内容のみを簡潔に要約して紹介していきます。
事前学習用データの品質管理
英語 CommonCrawl(67%)
2017年から2020年までの5回分のCommonCrawlデータのうち、英語のページのみを使用しています。
CommonCrawl(コモンクロール) は、インターネット上のウェブページを自動で収集・公開しているオープンデータプロジェクトです。誰でも無料で使える、巨大なウェブデータのアーカイブとして広く使われています。
CommonCrawlはWeb全体を対象にしており、広告、重複、スパム、誤字脱字、機械生成テキストなど、ノイズが多く含まれています。よって、品質の判断が重要となります。
CommonCrawlは非常に大規模なデータセットであるため、CCNetパイプライン(Wenzekら, 2020)を、以下のような前処理を高速に行っています。
英語かどうかの判定(fastText使用)
明らかな重複を取り除く(行ごとの比較)
低品質なテキストを除去(n-gram言語モデル使用)
このような基本的な前処理に加えて、Wikipediaで参照されるほどの品質があるものだけを採用するための独自のモデルを使用しました。
Wikipediaで引用されているページと、無作為に選んだページとを比較し、両者を区別する独自の線形モデルを訓練しました。
よって、「Wikipediaで参照されるほどの信頼性がある」と判断されなかったページは、訓練データから除外されています。
これは、GPT-3が行っていた「重複排除」による品質管理(モデルの暗記リスク低減)だけでなく、情報の信頼性そのものに基づいて、訓練データを積極的にデータを選別するアプローチが取られていることを意味します。
このように、データの質を担保(品質フィルタリング)しつつ、大規模なWebデータを効果的に活用できるよう工夫されています。
C4(15%)
Llama 1の開発初期の実験において、前処理されたCommonCrawlデータを利用することでモデルの性能が向上することが実験からわかったため、C4データセット(Colossal Clean Crawled Corpus)も導入されることになりました。
C4データセット(Raffelら, 2020)は、GoogleがT5(Text-to-Text Transfer Transformer)の学習のために準備したデータセットで、CommonCrawlの英語ページを元に加工したデータセットです。
C4も、CCNetパインプラインのように重複除去や言語判定といった前処理を行われています。ただし、品質フィルタリングの方法が異なります。
高速な処理を実現するために、C4では主に、句読点の有無やページ内の単語数・文章数など、ヒューリスティック(経験則に基づくルール)を用いてテキストの品質を判定しています。そのため、n-gram 言語モデルのような統計的手法を使う CCNet とはアプローチが異なります。
C4は、品質判定がシンプルなヒューリスティックに基づいているため、精度の面ではやや粗さが残る可能性があります。しかし、LLaMAの学習データに占める割合は15%と限定的であり、全体の67%を占めるCommonCrawl(CCNetによって丁寧にフィルタされたもの)と比べても影響は限定的と考えられます。
そのため、C4の追加はデータのバラエティや表現の多様性を補う効果はあっても、全体として品質を大きく下げることにはつながりにくいと考えられます。
GitHub(4.5%)
Google BigQuery 上で公開されている GitHub データセットが利用されました。商用利用や公開に支障のないデータ(Apache、BSD、MITライセンス)のみを対象とし、以下のような品質フィルタリングを適用しています。
ヒューリスティックで、低品質なファイルを除外
正規表現を用いて、ヘッダーや定型文などを除去
さらに、ファイル単位での完全一致(同じソースコード)による重複除去も実施されています。
論文中では、GitHubのデータが 1 エポック以下(0.64 エポック)にとどまっている理由は明示されていません。
コードは構造や表現が似通いやすく、繰り返し使うことで過学習を引き起こす(変数名やコメントなどに注目しすぎる)可能性がありそうです。となると、汎化性能に悪影響を及ぼすため、あえてエポック数を抑えた調整が行われているのかもしれません。
Wikipedia(4.5%)
2022年6月〜8月の期間に取得されたWikipediaのダンプデータを使用しています。対象となっているのは、以下の言語が含まれます。
bg(ブルガリア語)
ca(カタルーニャ語)
cs(チェコ語)
da(デンマーク語)
de(ドイツ語)
en(英語)
es(スペイン語)
fr(フランス語)
hr(クロアチア語)
hu(ハンガリー語)
it(イタリア語)
nl(オランダ語)
pl(ポーランド語)
pt(ポルトガル語)
ro(ルーマニア語)
ru(ロシア語)
sl(スロベニア語)
sr(セルビア語)
sv(スウェーデン語)
uk(ウクライナ語)
このデータに対しては、基本的な前処理(ハイパーリンク、コメント、その他のフォーマット用ボイラープレートの除去)が行われています。
Wikipediaの文章は、一般に品質が高いと考えられています。そのため、前処理としてもシンプルかつ高速な手法が採用されたと推測できます。
また、Wikipediaのデータは2.45エポックと、2回以上繰り返し使用されていることからも、その品質の高さが重視され、他のコーパスよりも多くサンプリングされていると考えられます。
Llama 1の学習データの中心は英語ですが、上記のようなラテン文字やキリル文字を使う言語を対象とすることで、ある程度の多言語対応を考慮しています。
ただし、非アルファベット系言語(アラビア語、中国語、日本語など)は含まれていません。
GutenbergとBooks3(4.5%)
学習データの一部として2つの書籍データセットを使用しています。
Project Gutenberg:著作権が切れた書籍を集めたの電子図書館
Books3:The Pile(Gao ら, 2020)の一部として含まれる書籍データセット
これらのデータは、重複を避けるために書籍単位での処理が行われており、90%以上の内容が重複する本は、同一と見なして除外されています。
書籍データセットも、文法や語彙、構成の面で良質なテキストデータと考えられます。そのため、LLaMAではこのデータを2.23エポック分繰り返し使用しており、高品質なコーパスとして重点的に活用されたと見てよいでしょう。
ArXiv(全体の 2.5%)
科学的な知識や専門的な文体を学習させるために、ArXiv のLaTeXファイルを加工したデータを学習コーパスに含めています。
主に科学論文を公開するオンラインプラットフォームであるArXiVでは、投稿される論文は多くがLaTeX(レイテック、ラテフ、ラテックなどと呼ばれる)という文書記述フォーマット(マークアップ言語の一種)で書かれています。
LaTeXでは「マクロ」と呼ばれる仕組みがあり、よく使われる表現や記法を関数のように定義し、簡潔に再利用することが可能です。
処理の手順は、Lewkowycz ら(2022)に従っており、論文の冒頭にあるTeXのヘッダーの部分、コメント、参考文献などは削除されます。さらに、ユーザーが定義したマクロ表現による省略表現は、具体的な内容に展開され、文章として自然になるように整形されています。
Stack Exchange(2%)
高品質なQ&A形式の知識を取り入れるために、Stack Exchangeのデータダンプを使用しています。
Stack Exchange は、分野ごとに多数のサブサイトに分かれているユーザー参加型のQ&Aプラットフォームです。ユーザーによる回答には、それを読んだユーザーによる評価がされることで良い回答を見つけやすい仕組みになっています。
中でも最もよく知られているのが、プログラマー向けの Stack Overflow で、かつては「困ったときはまずここ」という存在でした。
ただ近年では、大規模言語モデルの登場により、プログラミングの質問に対してもAIが即座に答えてくれるようになったため、Stack Overflow の使用頻度は徐々に下がっているようです。
Stack Exchangeには多数のサブサイトがあるため、規模の大きい28のサブサイト(例:Stack Overflow、Math.SEなど)に限定して使用しています。
前処理としては、HTMLタグを取り除いてテキストのみを抽出し、さらに回答は評価スコア順に並べ替え(高評価のものを先に配置)するなどの整形が行われています。
事前学習用データの品質管理に関しては、以上です。
トークン化について
テキストデータのトークン化について論文は次のように述べています。
トークナイザー。 私たちは、テキストデータのトークン化にBPE(バイトペアエンコーディング、Sennrich ら、2015)を用いています。その実装としては、SentencePiece(Kudo および Richardson、2018)を使用しています。特筆すべき点として、すべての数字は1桁ずつに分割されており、また、未知のUTF-8文字についてはバイト単位で分解されるようになっています。
Tokenizer. We tokenize the data with the bytepair encoding (BPE) algorithm (Sennrich et al., 2015), using the implementation from SentencePiece (Kudo and Richardson, 2018). Notably, we split all numbers into individual digits, and fallback to bytes to decompose unknown UTF-8 characters.
BPE(バイトペアエンコーディング、バイト対符号化)は、もともとは1994年に Phillip Gage によって提案されたデータ圧縮のアルゴリズムです。
大規模言語モデルにおけるトークン化手法として BPEが広く知られるようになったのは、GPT-2での採用がきっかけでした。
ただし、それ以前からSennrich ら、2015などによって、BPEは機械翻訳の分野でトークン化の手法として活用されています。未知語の処理や、単語をサブワード(部分単位)に分解して扱う技術として使われてきました。
BPEによるトークン化については、こちらの記事でも解説しています。
ただし、同じBPEアルゴリズムをもとにしていても、実装方法にはいくつかのバリエーションがあります。Llama 1では、SentencePiece による実装を用いていることが論文中に明記されており、これは、研究者が再現実験や応用にあたって、どのトークナイザーを使用すればよいかを明確にするための配慮と考えられます。
事前学習用データセットに関するまとめとして、論文は次のように述べています。
全体として、トークン化後の学習データセットは約1.4兆トークンで構成されています。このうち大部分のデータについては、各トークンは学習中に一度しか使用されていません。ただし、Wikipedia と書籍(Books)に関しては約2エポック分、繰り返し使用されています。
Overall, our entire training dataset contains roughly 1.4T tokens after tokenization. For most of our training data, each token is used only once during training, with the exception of the Wikipedia and Books domains, over which we perform approximately two epochs.
次回予告
次回は、このままセクション2「アプローチ」の後半を読み進めます。
LLaMA 1 は、他の多くの大規模言語モデルと同様にトランスフォーマーのデコーダ構造をベースにしていますが、元のアーキテクチャに対して いくつかの改良点が加えられており、論文ではその内容が解説されています。
お楽しみに!