
Llama 2を読む①読む方針
Llama 1を読み終えたので、続いてMetaが2023年7月にArxivに投稿した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)を読み始めます。
興味深いことに、Llama 2の論文には著者リストに大量の名前が載っています。

これを「Llama 2の開発がもはや少人数の研究者によるR&Dではなく、研究・エンジニアリング・プロダクトの全社的プロジェクトとして進められている」と受け取ることもできます。
一方で、この論文が発表される数ヶ月前の2023年4月に、MetaやGoogleの元メンバーによるMistral AIが、フランスで創設されています。そのたった4週間後に、すでに1億500万ユーロ(現在のレートだと170億円以上)の投資を受けました。
元Google CEOのEric Schmidt氏もMistralに投資していますが、フランスはAI研究開発に積極的に後押しており、フランス政府系の投資銀行であるBpifranceもMistral AIの株主になっています。
よく見ると、2023年2月に公表されたLlama 1を発表した論文の著者のうちの多くの名前はLlama 2の著者リストに含まれていません。
想像でしかないですが、「研究者は減ったけど、こんなにも多くの人たちが関わっているんだ」と言いたかったのかもしれません。いずれにせよ、著者リストの大きな変化は、大規模言語AI分野における人材獲得競争の激化を反映しています。
Llama 1の論文に載っていた14人のうち、現在(2025年5月)でMetaに残っているのはわずか3人と言われています。残りの11人、つまり約78%の研究者がMetaを離れ、競合他社に参加したり、自身のベンチャーを立ち上げたりしています。
さて、話を論文に戻しましょう。
Llama 1からたったの5ヶ月しか経っていません。Llama 1より性能は良くなったとして、それ以外には何が変わったのでしょうか。
Llama 2のタイトルには、まず「オープンな基盤」とあります。これは前回のバージョンと同じでモデルの重みが公開されているオープンウェイトの戦略です。これによって、Mistralも恩恵を受けているでしょうし、DeepSeekなどの様々なモデルに影響を与えています。
さらに、「ファインチューニングされたチャットモデル」とあります。
OpenAIのChatGPTが一般に公開されたのが2022年末なので、半年以上あとになりましたが、Llama 2では「チャットモデル」が含まれています。これを実現するための「ファインチューニング」の詳細が特に興味深い点です。
目次をざっくり見ただけでも「教師ありファインチューニング」(SFT)や「人間のフィードバックによる強化学習」(RLHF)などが見受けられます。
いつものように「論文の読み方について」をガイドに読み進めます。
今回はまず、要約(Abstract)、結論(Conclusion)を読み、それから全体をざっくり見渡してこれからどう読んでいくかを決めます。
要約(Abstract)
論文の要約は次のように始まります。
この研究では、Llama 2という、70億から700億パラメータのスケールにわたる事前学習およびファインチューニング済みの大規模言語モデル(LLM)のコレクションを開発・公開します。
In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters.
Llama 1のモデルのパラメータ数は、70億、130億、330億、650億だったので、一番大きなモデルをさらに(しかし、それほど大幅ではなく)大きくしたようです。これらの重みを公開しており、これが論文のタイトルの「オープンな基盤」に当たる部分ですね。
続いて論文は「Llama 2-Chat」に触れています。
「Llama 2-Chat」と呼ばれるファインチューニング済みのLLMは、対話用途向けに最適化されています。私たちのモデルは、評価したほとんどのベンチマークにおいてオープンソースのチャットモデルを上回っており、人間による有用性(helpfulness)と安全性(safety)の評価に基づけば、クローズドソースのモデルの代替となり得ます。
Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closedsource models.
やはり、性能は良くなっていると書かれています。ただし、「オープンソースのチャットモデルを上回っており」となっているため、クローズドソースのモデルとの比較はどうなっているのかと疑問が残ります。
それでも、論文は「クローズドソースのモデルの代替となり得ます」と主張しています。しかし、「人間による評価(有用性と安全性)に基づけば」という修飾がかかっています。この辺りもちょっと微妙な感じがするので、実験結果を見て確かめる必要があります。
要約の最後は次のように結ばれています。
私たちはLlama 2-Chatのファインチューニングと安全性向上の手法について詳細に説明しており、これによりコミュニティが本研究を基にさらに発展させ、大規模言語モデルの責任ある開発に貢献できるようにしています。
We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.
特に興味があるのは「Llama 2-Chatのファインチューニング」の詳細と述べているところです。どのようにして対話用に調節したのか、その詳細を重点的に読みましょう。
結論(Conclusion)
では、次に結論を呼んで、本論文の主張に対する自信の程を確認します。
結論は次のように始まります。
本研究では、Llama 2という新しいファミリーの事前学習およびファインチューニング済みモデルを紹介しました。これらのモデルは、70億から700億パラメータの規模を持ち、既存のオープンソースのチャットモデルに対して競争力を示すとともに、一部の評価セットにおいては商用のクローズドモデルと同等の性能も示しました(ただし、GPT-4のような他のモデルには依然として及ばない点もあります)。
In this study, we have introduced Llama 2, a new family of pretrained and fine-tuned models with scales of 7 billion to 70 billion parameters. These models have demonstrated their competitiveness with existing open-source chat models, as well as competency that is equivalent to some proprietary models on evaluation sets we examined, although they still lag behind other models like GPT-4.
多くの論文がそうであるように、ほとんどは要約(Abstract)の主張の繰り返しになっていますが、ここではクローズドモデルとの性能比較についても述べられています。
まず、「一部の評価セットにおいては商用のクローズドモデルと同等の性能も示しました」とあるので、全部ではないがクローズドより優っているケースもあるということです。つまり、圧勝したわけではなく、「同等かそれ以下」ということになります。Llama 1から5ヶ月で、そこまで性能が更新したわけでもないということでしょう。これは、ある意味期待通りではあります。
そして、「GPT-4のような他のモデルには依然として及ばない点もあります」となっており、オープンなデータセットだけで事前学習をすることに限界があるのか、それともパラメータ数の問題なのか疑問が湧きます。この辺りは本文で解説があると良いですが。
そして、結論は次のように結ばれています。
私たちは、Llama 2の開発において用いた手法や技術について詳細に説明しており、特に、有用性(helpfulness)と安全性(safety)の原則に基づく調整に力を入れています。社会への貢献と研究の加速を目的として、Llama 2およびLlama 2-Chatを責任ある形で公開しました。今後も透明性と安全性への取り組みを継続し、Llama 2-Chatのさらなる改善を進めていく予定です。
We meticulously elaborated on the methods and techniques applied in achieving our models, with a heavy emphasis on their alignment with the principles of helpfulness and safety. To contribute more significantly to society and foster the pace of research, we have responsibly opened access to Llama 2 and Llama 2-Chat. As part of our ongoing commitment to transparency and safety, we plan to make further improvements to Llama 2-Chat in future work.
ここも要約からの主張が繰り返されています。キーワードは「有用性、安全性、オープン」といったところでしょうか。
全体像と読む方針
この論文は35ページ以上になるので、細かく呼んでいたら時間がかかり過ぎてしまいます。興味のある部分にフォーカスして、残りはできるだけ飛ばすのが読む方針となります。
なぜなら、他にも読みたい言語モデルの論文が多数あるためです。これまでGPT-1、GPT-2、GPT-3、Llama 1と言語モデルの論文を読み進めてきたおかげで、後続のモデルを理解するのがだいぶ楽になりました。また、オリジナルのトランスフォーマーに加えられた改良点なども明確になってきました。
Llama 2を読むことで当時の背景や文脈を理解し、それがLlama 3やDeepSeekなどの後続のモデルを理解するための参考になるでしょう。
なお、要約からいくつかの疑問も湧きましたが、一番興味を引くのは「Llama 2-Chat」です。よって、「どのようなファインチューニングを行ったのか」についての詳細にフォーカスして、実験結果はざっと確認する程度にとどめたいです。
では、論文の構造を見渡しましょう。
要約(Abstract)
1. 導入(Introduction)
2. 事前学習(Pretraining)
事前学習データ(Pretraining Data)
訓練の詳細(Training Details)
事前モデルの評価(Llama 2 Pretrained Model Evaluation)
3. ファインチューニング(Fine-tuning)
教師ありファインチューニング(SFT)
人間のフィードバックによる強化学習(HFT)
対話の一貫性のためのシステムメッセージ(System Message for Multi-Turn Consistency)
RLHFの結果(RLHF Results)
4. 安全性(Safety)
事前学習での安全性(Safety in Pretraining)
ファインチューニングでの安全性(Safety in Fine-Tuning)
積極的なリスク特定の手法(Red Teaming)
5. 議論(Discussion)
学びと観察(Learnings and Observations)
限界と倫理的考察(Limitations and Ethical Considerations)
責任ある公開戦略(Responsible Release Strategy)
6. 関連研究(Related Work)
7. 結論(Conclusion)
付録(Appendix)
もし、数時間しかないとしたらセクション3だけを読むでしょう。
まず、セクション1と2は、おそらくLlama 1から大きな変化はないと予測されます。よって、特に気になるところがなければ、素早く読み進めます。
セクション3は、この論文のポイントであり、一番興味を引くところです。ここは、じっくり読みます。
セクション4の安全性はもちろん重要なテーマではありますが、ポイントだけを抑えるだけで、十分な気がします。
もちろん、実際に言語モデルを訓練するような立場の研究者や技術者はこの辺は詳しく読むべきでしょう。しかし、仕組みの理解に重点を置く場合は、優先度としてはセクション3よりも低くなります。
ただし、Red Teamingの詳細などは気になります。
セクション5と6も同様です。この辺からは、出来るだけ考察や知見がありそうなところを集中的に読み進めます。
この論文を読む方針をまとめると、ファインチューニングの詳細にフォーカスし、それ以外は文脈を補うのに十分な情報を得ることだけに努める、となります。
次回予告
次回は、導入(Introduction)から読み進めます。
お楽しみに!