
Llama 1 を読む①読む方針
前回までに読んだGPT-3(2020年)は、1750億のパラメータ数までスケーリング則を推し進めることで少数ショット学習の効果を大幅に更新することに成功したモデルでした。
一方、2023年2月にMeta(旧Facebook)から発表されたオープンソースの言語モデル「Llama 1」は、パラメータ数が最大650億という比較的に小さいサイズでありながら、GPT-3に匹敵(または凌駕)する性能を実現しました。
もともとのモデル名は「LLaMA」と表記されていましたが、現在は「Llama 3」と表記されるので、この記事でも「Llama 1」と表記しています。
今回から、Llama 1の論文「LLaMA: Open and Efficient Foundation Language Models」(LLaMA:オープンで効率的な基盤言語モデル)を読んでいきます。タイトルからも「効率化」に重点を置いたのがわかります。
また、タイトルに「オープン」と書かれているのは、学習データとして公開されているものを使用したり、研究目的で登録するとモデルの重みの利用が可能となっているためです。ただし、商用利用は不可であり、モデルの重みは一般には公開されていませんでした。
ところが論文発表の数週間後に、Llamaのモデルの重みデータがリークされました。これによって、誰でもアクセスできるようになり、大きな話題となりました。
なお、Llamaのモデルの重みのリークについてはこちらで紹介しています。2023年2月24から4月3日までの展開を簡単にまとめました。
その後、2023年7月に公開されたLlama 2では商業利用も可能となりました。
また、Llamaをベースとした派生モデルが多数登場しました。
当時を振り返ると、2022年11月にOpenAIが公開したChatGPTが、世界中で爆発的な注目を集めフィーバーが続いており、2023年2月に発表されたLlama 1は一般にはそれほどの注目は集めてはいませんでした。
しかし、クローズドなChatGPTとは異なり、オープンなLlamaの影響は、研究者やホビイストの間で広がっていきました。
最近では、DeepSeekがLlama 2の影響を受けています。
よって、Llamaを理解することは重要たど言えます。そのために、このシリーズでは Llama 1の論文を取り上げました。特に、モデルの構造や効率化などにフォーカスしてなるべく効率よく読み進める予定です。
いつものように「論文の読み方」に従って読んでいきます。まずは「要約」と「結論」を読み、最後に残りのセクションを読む方針を決めます。
要約と結論
小規模でもGPT-3より高性能
論文の要約(Abstract)は次のように始まります。
70億から650億個のパラメータ数を持つ基盤言語モデル群「LLaMA」を紹介します。我々のモデルは数兆トークンのテキストから学習しており、公開されているデータセットのみで最先端モデルを訓練することが可能であることをしましました。独自の非公開なデータに頼っていません。
We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets.
まあ、これだけ読むと「公開されているデータセットのみ」で訓練したのだから、性能はそれほどではと思ってしまいます。ところが、論文はこう続けます。
特に、LLaMA-13B(130億パラメータ)はほとんどのベンチマークにおいてGPT-3(1750億パラメータ)を上回り、LLaMA-65Bは、Chinchilla-70BやPaLM-540Bといった最高水準のモデルと競合する性能を示しています。私たちはすべてのモデルを研究者のコミュニティに公開しています。
In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.
まず、130億パラメータで1750億パラメータのGPT-3を上回る性能を示したというのが注目に値します。まあ、GPT-3から数年が経って入るとはいえ、これは大きな成果です。
論文タイトルにもあるように「オープンで効率的な基盤言語モデル」からも効率化に関しての進展があったことが予想されます。
まずは、この「効率化の仕組みの理解」がこの論文を読む目的となります。
また、「すべてのモデルを研究者のコミュニティに公開しています」と書かれているのは、商用利用は不可でしたが研究用途に限定してモデルの重みを広くアクセス可能にする方針でした。
そこで、研究目的で申請すれば誰でもモデルの重みを利用できるようにするなど、開かれた姿勢を取っていました。こうした方針の背景には、オープンなAI研究を推進するMeta AIの主任研究者ヤン・ルカン(Yann LeCun)の存在があると言えるでしょう。
「要約」はこれだけです。短い文章ですが、インパクトはあります。次に「結論」を読んで、最終的に述べられていることが「要約」の主張とマッチしているか確認します。
オープンな研究と今後の方向
結論(Conclusion)は次のように始まります。
この論文では、オープンに公開され、最先端の基盤モデルに匹敵する性能を持つ一連の言語モデルを紹介しました。特に、LLaMA-13BはGPT-3を上回る性能を示しつつ、サイズは10分の1以下であり、LLaMA-65BはChinchilla-70BやPaLM-540Bと競合できる性能を示しています。
In this paper, we presented a series of language models that are released openly, and competitive with state-of-the-art foundation models. Most notably, LLaMA-13B outperforms GPT-3 while being more than 10× smaller, and LLaMA-65B is competitive with Chinchilla-70B and PaLM-540B.
繰り返しますが、「オープンに公開され」というのは研究者たちに対してであり、登録申請すればということでした。GPT-3が非公開だったのと態度の違いが明白でした。
また、後に本当にオープンになってしまうのですが、それを逆手にとって本当にオープンになるところが潔いですね。当時のChatGPTの人気が凄すぎたのも一因かもしれませんが。
「LLaMA-13BはGPT-3を上回る性能」などの主張は、要約と同じことを繰り返しており自信があるのでしょう。
さらに研究方針についても述べています。
従来の研究とは異なり、独自のデータセットに頼ることなく、公開されているデータのみを用いて最先端の性能を達成できることを示しました。これらのモデルを研究者のコミュニティに公開することで、大規模言語モデルの開発が加速し、毒性(toxicity)や偏見といった既知の問題に対処する取り組みに貢献することを期待しています。
Unlike previous studies, we show that it is possible to achieve state-of-the-art performance by training exclusively on publicly available data, without resorting to proprietary datasets. We hope that releasing these models to the research community will accelerate the development of large language models, and help efforts to improve their robustness and mitigate known issues such as toxicity and bias.
Googleなどが独自のデータセットによる優位性の確保を狙ったのと違って、Metaの態度は「公開されているデータのみを用いて最先端の性能を達成」することでした。
毒性というのは「toxicity」の直訳ですが、暴力的な内容や差別用語など不適切・有害な言語表現などを意味します。モデルの重みを研究者に公開したのは、言語モデルから毒性や偏見の問題の研究を加速させる狙いもあったというわけです。
続けて、今後の研究の方向について述べています。
さらに、Chungら(2022)の研究と同様に、これらのモデルを指示文を使ってファインチューニングすることで有望な結果が得られることも確認しており、今後の研究でさらに詳しく調査する予定です。
Additionally, we observed like Chung et al. (2022) that finetuning these models on instructions lead to promising results, and we plan to further investigate this in future work.
「モデルを指示文を使ってファインチューニングする」というのは、事前学習済みの言語モデルに対し「自然言語による指示文」を入力として与え、それに従ってタスクを実行するように追加学習させることです。
ここで参照されているChungらの研究(Google)は、大規模言語モデル(PaLM、T5など)を指示文でファインチューニングすることで、未知のタスクでも性能の向上があることを示しました。
このように言語モデルの汎化性能を改善する方法において今後の研究の余地があるということです。
ちなみに、Llama 2の論文のタイトルは「Llama 2: Open Foundation and Fine-Tuned Chat Models」(オープンな基盤とファインチューニングされたチャットモデル)となっています。
最後にこう結んでいます。
最後になりますが、今後は、より大規模な事前学習コーパスで訓練したより大きなモデルを公開する予定です。これは、スケーリングによって、すでに一貫した性能向上が見られたためです。
Finally, we plan to release larger models trained on larger pretraining corpora in the future, since we have seen a constant improvement in performance as we were scaling.
つまり、GPT-3(175B)よりもはるかに小さい規模(13B、65Bなど)で同等以上の性能を実現した「効率的な」Llama 1をさらにスケーリング(モデルサイズやデータ量の拡大)によって、性能を一層高めようということです。
読む方針
この論文は、すでに読んだ「要約」と「結論」を除くと、次のような構成になっています。
導入(Introduction)1ページ
アプローチ(Approach)2ページ
実験結果(Main results)3ページ
指示によるファインチューニング(Instruction Finetuning)半ページ
偏見、毒性、誤情報(Bias, Toxicity and Misinformation)3ページ
二酸化炭素排出量(Carbon footprint)半ページ
関連研究(Related work)1ページ
ページ数はおおよそです。文献や付録は除外しています。
目的は、「Llama 1のモデルの構造や効率化」の理解なので、「導入」と「アプローチ」にフォーカスします。
これまで、GPT-1、GPT-2、GPT-3を読んできて似たような実験タスクが何度も登場しているので、「実験結果」に関しては結果を確認する程度にします。
残りは、モデルの構造や効率化の理解には直接貢献しないので、ざっくりと読むことにします。
次回予告
次回は、「導入」(Introduction)から読み進めます。
お楽しみに!