メインコンテンツへスキップ
見出し画像

Llama 2を読む②Llama 2-Chatの挑戦

    前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)を読むための方針を決めました。

    その方針に従って今回は、セクション1「導入」から読み進めます。

    ただし、この論文は35ページ以上になるので、細かく読んでいたら時間がかかり過ぎてしまいます。また、セクション3「ファインチューニング」にフォーカスしたいので、そこに辿り着くまでは、セクション3を読むのに必要そうな情報を得るくらいの気持ちで取り組みます。

    今回のセクション1「導入」では、Llama 2-Chatに関して、ファインチューニング手法を含む詳細な情報をなぜ公開したのか、その背景とMetaの意図を読み解いていきます。

    次章以降で示される技術的な内容に対する理解の土台を築くことが目的です。

    公開モデルと商用モデルの競争

    仕組みとしては単純なLLM

    まず、セクション1「導入」は次のように始まります。

    大規模言語モデル(LLM)は、プログラミングや創作などの専門的な分野を含む、幅広い領域にわたる専門知識を必要とする複雑な推論タスクに優れた、高性能なAIアシスタントとして大きな期待が寄せられています。これらのモデルは直感的なチャットインターフェースを通じて人間と対話できるため、一般の人々の間で急速かつ広範に普及しています。

    Large Language Models (LLMs) have shown great promise as highly capable AI assistants that excel in complex reasoning tasks requiring expert knowledge across a wide range of fields, including in specialized domains such as programming and creative writing. They enable interaction with humans through intuitive chat interfaces, which has led to rapid and widespread adoption among the general public.

    https://arxiv.org/abs/2307.09288

    これは、おそらく「OpenAIとChatGPTの台頭」を念頭においた発言であり、会話やチャット機能の重要性を示唆しています。

    次に、大規模言語モデル(LLM)の仕組みのシンプルさに触れています。

    LLMの能力は、その一見シンプルな訓練手法を考えると驚くべきものです。自己回帰的な(Auto-regressive)Transformerモデルは、大規模な「自己教師ありデータコーパス」で事前学習され、その後、人間の好みに合わせた調整が、RLHF(人間のフィードバックによる強化学習)などの手法を通じて行われます。

    The capabilities of LLMs are remarkable considering the seemingly straightforward nature of the training methodology. Auto-regressive transformers are pretrained on an extensive corpus of self-supervised data, followed by alignment with human preferences via techniques such as Reinforcement Learning with Human Feedback (RLHF).

    https://arxiv.org/abs/2307.09288

    「自己回帰的な(Auto-regressive)Transformerモデル」と呼んでいるのは、OpenAIのGPTシリーズを代表とする多くのLLMが採用しているスタイルで、モデルが予測した次の単語(トークン)が、さらにその次のトークンを予測するために入力に追加される構造を指しています。

    画像
    出力が入力に追加される自己回帰的な構造

    オリジナルのTransformerは機械翻訳モデルであり、その中に入力文章の意味や文脈を抽出するエンコーダと翻訳文を生成するデコーダがあります。デコーダは、自分の出力した文章を条件として次の言葉(トークン)を予測することを繰り返すため自己回帰的であると表現されます。

    また「自己教師ありデータコーパス」とは、人手でラベル付けされていない大量の文章データのことです。モデルはその中の一部を入力として続く文章を予測しますが、その答え(ラベル)もデータセットの中にあるため「自己教師あり」で学習を進められるように設計されています。

    Yann LeCunと自己教師あり学習

    Yann LeCunは2019年にはすでにこのアプローチについて述べています。

    画像
    https://x.com/ylecun/status/1123235709802905600

    その一方で、彼は現状のLLMに対しては、懐疑的な発言を繰り返してもいます。

    Metaが提唱するJEPA(Joint Embedding Predictive Architecture)は、文章(テキスト)だけでなく、画像・動画・音声といった多様なメディア(モダリティ)を対象に自己教師あり学習を行うことで、物理世界の構造や因果関係を理解する「世界モデル」(World Model)の獲得を目指しています。

    どちらかというと視覚的モダリティ(画像や動画)を中心としてアーキテクチャであり、CNNを成功させた非常にYann LeCunらしい感じがします。特に最新版のV-JEPA 2は、動画データに特化して拡張されたモデルで、100万時間以上の映像から物体の関係や動きの変化を学習・予測するものです。

    ただし、近年のLLM(例:GPT-4o、Geminiなど)も画像や音声に対応し、マルチモーダル性を強化しているため、最終的にどちらに軍配が上がるのか、あるいは両者が棲み分けながら共存していくのか。その行方は、もうしばらく見守る必要がありそうです。

    参考:INTRODUCING V-JEPA 2 A self-supervised foundation world model

    こうして事前学習されたモデルが生成する文章が人間の好みに合うように調節するのがRLHF(人間のフィードバックをによる強化学習)などの手法を通じて行われます。つまり、LLMの訓練は理屈としては単純明快なものです。

    商用レベルを目指す際の障壁

    しかし、それが必要とする計算量は莫大です。論文はこう続けます。

    訓練手法自体はシンプルであるものの、極めて高い計算資源を必要とするため、LLM(大規模言語モデル)の開発はごく限られたプレイヤーに制限されてきました。

    Although the training methodology is simple, high computational requirements have limited the development of LLMs to a few players.

    https://arxiv.org/abs/2307.09288

    このためオープンなモデル(公開モデル)とクローズドなモデルとの間で「ある差」があることを論文は指摘しています。

    これまでに公開された事前学習済みモデル:BLOOM(Scaoら, 2022)、LLaMA-1(Touvronら, 2023)、Falcon(Penedoら, 2023)などは、クローズドな事前学習モデル:GPT-3(Brownら, 2020)やChinchilla(Hoffmannら, 2022)などに匹敵する性能を持ちます。

    しかし、これらの公開モデルは、ChatGPT、BARD、Claudeといった商用LLM(プロダクトモデル)の代替としては不十分です。

    There have been public releases of pretrained LLMs (such as BLOOM (Scao et al., 2022), LLaMa-1 (Touvron et al., 2023), and Falcon (Penedo et al., 2023)) that match the performance of closed pretrained competitors like GPT-3 (Brown et al., 2020) and Chinchilla (Hoffmann et al., 2022), but none of these models are suitable substitutes for closed “product” LLMs, such as ChatGPT, BARD, and Claude.

    https://arxiv.org/abs/2307.09288

    言語モデルようのベンチマークで似たような性能をはっきしたとしても、それだけで製品(プロダクト)として受け入れられるとは限りません。

    というのも、商用モデルは人間の好みに合わせてきわめて高度にファインチューニングされており、そのことで使いやすさや安全性が大きく向上しているからです。

    このファインチューニングの工程は、膨大な計算コストと人手によるアノテーション作業を必要とします。手法が公開されていないことも多く、再現も困難です。そのため、AIアライメント(人間の価値観との整合性)研究の進展にとって大きな障壁となっています。

    These closed product LLMs are heavily fine-tuned to align with human preferences, which greatly enhances their usability and safety. This step can require significant costs in compute and human annotation, and is often not transparent or easily reproducible, limiting progress within the community to advance AI alignment research.

    https://arxiv.org/abs/2307.09288

    自己教師あり学習だけだと、会話モデルとしてのクオリティには限界があります。そのため、モデルを人間の期待に沿うように調整するには、「この応答は良い」「これは不適切」といった人間による評価・ラベル付け(アノテーション)が不可欠です。

    つまり、LLMの実用化には膨大な計算コストに加え、大規模かつ専門的な人手作業という、もうひとつの大きなコストがかかります。しかも、そのファインチューニング手法は一般には確立されておらず、多くは非公開です。

    Llama 2とLlama 2-Chatの挑戦

    ファインチューニングは企業秘密

    このように、「ファインチューニングは企業秘密」です。よって、科学を推し進めるという動機がなければ公開することで得るものはあまりありません。

    したがって、大学や研究機関による公開モデルでは、商用レベルのLLMに匹敵する品質を目指すのは非常に困難だと言わざるを得ません。

    2025年6月に、Metaは約149〜143億ドル(約1.4兆~1.5兆円)を投じ、Scale AIの株式49%を取得しています。ScaleAIはまさに商用LLMを支えるアノテーション作業に特化した企業です。特にAIモデルの学習・ファインチューニングに必要な教師データの整備が中心に世界中からリモート人材をオンラインで雇って大規模に学習データを準備し提供しています。

    また、ScaleAIのCEOのAlexandr Wangは、ScaleAIからMetaに移籍し新しい「Superintelligence」チームを率いることになると報じられています。

    ちなみに、これを「acquihire(人材とサービスへの投資)」と呼ぶそうです。「acquire」(買収する) + 「hire」(採用する)の造語で、会社を買収することで、そこに所属する優秀な人材を獲得することを目的とした取引を意味します。ただし、今回は完全な買収ではなく株式49%の取得なので大型出資ではありますが。

    いずれにせよ、これは「MetaによるLLM路線の立て直しを図る明確なメッセージ」として受け取れる動きです。MetaのCEOザッカーバーグは、Llama 4の出来の悪さに失望したと言われており、それがきっかけなのかもしれません。

    一方で、Yann LeCunがLLMに対して懐疑的な姿勢を取っている中で、Meta内での意見の相違や戦略の調整が注目されます。科学研究と商業主義の対立というありがちなシナリオに陥らないとよいですが。

    論文を読んでいると「公開モデルは理想的で純粋」と感じがちですが、最近のMetaの動きやLlamaの性能ような事例を見ると、実際には商業主義と競争の現実の中で、理想と成果を追い求めて懸命に戦っている印象を受けます。

    会話モデルの有用性と安全性

    この論文では、Llama 2とLlama 2-Chatを公開しています。性能も当時としては一定のレベルに達しています。

    本研究では、Llama 2およびLlama 2-Chatという事前学習済み・ファインチューニング済みの大規模言語モデル(LLM)ファミリーを開発・公開しました。パラメータ数は最大で70B(700億)に達します。

    我々が評価した有用性(helpfulness)や安全性(safety)に関する一連のベンチマークにおいて、Llama 2-Chatモデルは既存のオープンソースモデルよりも概ね優れた性能を示しました。さらに、少なくとも我々が実施した人間による評価では、いくつかのクローズドソースモデルと同程度の性能を持っているように見えます(図1および図3を参照)。

    In this work, we develop and release Llama 2, a family of pretrained and fine-tuned LLMs, Llama 2 and Llama 2-Chat, at scales up to 70B parameters. On the series of helpfulness and safety benchmarks we tested, Llama 2-Chat models generally perform better than existing open-source models. They also appear to be on par with some of the closed-source models, at least on the human evaluations we performed (see Figures 1 and 3).

    https://arxiv.org/abs/2307.09288

    下図は、Llama 2-Chatの有用性(helpfulness)に関する人間評価の結果を、他のオープンソースおよびクローズドソースのモデルと比較したものです。

    画像
    論文:図1

    これは、評価は約4,000件のプロンプトに対するモデルの出力を、人間の評価者が比較し、どちらが勝ち(Win)、引き分け(Tie)、負け(Loss)かを決めるというものです。

    よって、評価者ごとの主観の違いなどによる不確実性(ノイズ)がありますが、ざっくりとした印象としては、他のモデルと比較して平均的に同等以上と評価されているのがわかります。つまり、これは人間の目から見ても、Llama 2-Chatが商用LLM(当時の実用レベル)に達していると評価されていることを示しています。

    また、安全性にも配慮しています。

    我々は、モデルの安全性を高めるための措置も講じています。これには、安全性に特化したデータアノテーションとチューニング、レッドチーミングの実施、および反復的な評価手法が含まれます。

    We have taken measures to increase the safety of these models, using safety-specific data annotation and tuning, as well as conducting red-teaming and employing iterative evaluations.

    https://arxiv.org/abs/2307.09288

    下図は、Llama 2-Chatの安全性(safety)に関する人間評価の結果を、他のオープンソースおよびクローズドソースのモデルと比較したものです。

    画像
    論文:図3

    評価者は、約2,000件の悪意ある(adversarial)プロンプトに対する各モデルの出力を確認し、安全性の違反があるかどうかを判断したものです。

    たとえば、「爆弾の作り方を詳しく教えてください」といった質問にどう答えるのかを人間が評価しています。これによって、倫理的・法的に問題のある出力を引き出し、システムの安全設計の堅牢さを確認するものです。

    よって、縦軸の違反率(violation %)が低いほど安全性が高くなります。ChatGPTなどの商用LLMと比較しても優れた安全性を示しています。

    ファインチューニングを公開

    このように優れた有用性と安全性を誇るLlama 2-Chatです。それにもかかわらず、この論文は、重要なファインチューニングの手法の詳細を公開すると述べています。

    本論文では、我々のファインチューニング手法と、LLMの安全性向上に対するアプローチを詳細に記述しています。このような情報公開が、コミュニティにおけるファインチューニング済みLLMの再現や、安全性のさらなる改善を可能にし、より責任あるLLMの開発への道を拓くことを願っています。

    Additionally, this paper contributes a thorough description of our fine-tuning methodology and approach to improving LLM safety. We hope that this openness will enable the community to reproduce fine-tuned LLMs and continue to improve the safety of those models, paving the way for more responsible development of LLMs.

    https://arxiv.org/abs/2307.09288

    安全で責任のある言語モデルの研究を推し進めるために情報を公開するという方針について、論文は続けています。

    また、Llama 2およびLlama 2-Chatの開発を通じて得られた新たな観察結果(たとえば、ツール使用の兆候や知識の時間的構造化など)についても共有しています。

    We also share novel observations we made during the development of Llama 2 and Llama 2-Chat, such as the emergence of tool usage and temporal organization of knowledge.

    https://arxiv.org/abs/2307.09288

    研究と商用利用への一般公開

    Llama 1からの大まかな変更点

    その上、商用利用も可能となっています。

    私たちは、研究および商用利用のために、以下のモデルを一般公開します:

    1. Llama 2:Llama 1の改良バージョンであり、新たに構成された公開データセットに基づいて再学習されています。

    - 事前学習に使ったコーパスのサイズを40%増加させ、
    - モデルのコンテキスト長を2倍に拡張し、
    - Grouped-Query Attention(Ainslieら, 2023)を導入しました。

    パラメータ数が70億、130億、700億の3種類のバージョンを公開します。また、340億パラメータのバージョンも訓練済みですが、本論文では報告のみで、公開は行いません。

    2. Llama 2-Chat:Llama 2をベースに、対話用途向けに最適化されたファインチューニング済みモデルです。7B、13B、70Bのバージョンを公開します。

    We are releasing the following models to the general public for research and commercial use:

    1. Llama 2, an updated version of Llama 1, trained on a new mix of publicly available data. We also increased the size of the pretraining corpus by 40%, doubled the context length of the model, and adopted grouped-query attention (Ainslie et al., 2023). We are releasing variants of Llama 2 with 7B, 13B, and 70B parameters. We have also trained 34B variants, which we report on in this paper but are not releasing.

    2. Llama 2-Chat, a fine-tuned version of Llama 2 that is optimized for dialogue use cases. We release variants of this model with 7B, 13B, and 70B parameters as well.

    https://arxiv.org/abs/2307.09288

    モデルのコンテキスト長(context length)とは、LLMが一度に処理・参照できるトークンの最大数を指します。それをLlama 1の2倍にしたことにより、より長い入力文・対話文脈に対応できるようになったというわけです。

    コンテキスト長には「入力+出力のトークン数の合計」が含まれます。

    よって、「入力が長くなれば出力は短くなる」「出力を長くしたければ入力を短くする」というトレードオフがありますが、そこまで長くない会話であれば問題はありません。

    Grouped-Query Attention

    グループ・クエリ・アテンション(Grouped-Query Attention, GQA)は、Transformerモデルにおける計算効率とメモリ効率を改善するためのアテンションの設計手法です。特にLlama 2で採用されたことで注目されました。

    通常のアテンションでは、各トークンに対して以下の3種類のベクトルをそれぞれのトークンに生成し「どのトークンにどれだけ注目するか」(アテンション)を計算します。

    この3つのベクトルは、各トークンの埋め込みベクトルx\boldsymbol{x}に対してそれぞれ異なる線形変換(行列QQ、KK、VV)を適用することで得られます。

    qi=Q⋅xikj=K⋅xjvj=V⋅xj\begin{aligned} \boldsymbol{q}_i &= Q \cdot \boldsymbol{x}_i \\ \boldsymbol{k}_j &= K \cdot \boldsymbol{x}_j \\ \boldsymbol{v}_j &= V \cdot \boldsymbol{x}_j \\ \end{aligned}

    QQ、KK、VVの文字は、それぞれQuery、Key、Valueから来ています。Query(クエリ)は質問をする側で、Key(キー)とValue(バリュー)は質問される側の情報を抽出しています。

    そのため上式では、iiとjjでどちら側なのかをわけて表記しています。つまり、iiは注目するトークン、jjは全トークン(比較対象)を意味します。

    以下は、あるトークンAの埋め込みをxi\boldsymbol{x}_iとし、シーケンス内の各のトークンの埋め込みをxj\boldsymbol{x}_jとして、トークンAの視点から説明しています。

    • クエリ qi\boldsymbol{q}_i:トークンAが他のトークンから欲しい情報を表現

    • キー kj\boldsymbol{k}_j:他のトークンが提供できる情報を表現

    • バリュー vj\boldsymbol{v}_j:qi\boldsymbol{q}_iとkj\boldsymbol{k}_jの類似度に応じて実際に得る情報

    これをすべてのトークン間で計算するため、計算コストは入力長に対して2乗で増加します。

    さらに、マルチヘッド・アテンション(Multi-Head Attention)では、各アテンションヘッドそれぞれに異なる行列QQ、KK、VVを使用します。これは、複数の注目方向によってトークン間の関係と得る情報を選別し、表現力は高まるのですが、大きなモデルではさらに計算量・時間が増大します。

    そこで、Grouped-Query Attentionでは、Queryはそれぞれのヘッドで独立した行列QQを使いますが、行列KKとVVはいくつかのグループに分けられ、同じグループ内のヘッド間で共有されます。これによって、複数の注目方向を維持しつつ、アテンション計算を効率化するという手法です。

    安全公開なら社会全体に恩恵

    セクション1「導入」の締めくくりに向かって論文はこう続けます。

    私たちは、LLM(大規模言語モデル)を安全に公開することができれば、それは社会全体に恩恵を与えると信じています。

    We believe that the open release of LLMs, when done safely, will be a net benefit to society.

    https://arxiv.org/abs/2307.09288

    「使用上の注意」的な話が続きます。

    Llama 2も他のすべてのLLMと同様に、新しい技術であり、使用にあたっては一定のリスクを伴うものです(Benderら, 2021b; Weidingerら, 2021; Solaimanら, 2023)。

    Like all LLMs, Llama 2 is a new technology that carries potential risks with use (Bender et al., 2021b; Weidinger et al., 2021; Solaiman et al., 2023).

    https://arxiv.org/abs/2307.09288

    なお、ユーザーの質問に「どれだけ適切・有用に答えているか」(helpfulness)や「危険な・不適切な出力をしないか」(safety)は人間による評価を必要とするため、そもそも英語だけでしか行われていません。

    これまでに行われたテストは英語で実施されており、すべての使用シナリオを網羅することはできていませんし、そもそも不可能です。

    Testing conducted to date has been in English and has not — and could not — cover all scenarios.

    https://arxiv.org/abs/2307.09288

    つまり、「自己責任」であり「社会的責任」も負います。

    したがって、Llama 2-Chatをアプリケーションに組み込む前に、開発者は自らのユースケースに合わせた安全性の検証と調整を行うべきです。

    Therefore, before deploying any applications of Llama 2-Chat, developers should perform safety testing and tuning tailored to their specific applications of the model.

    https://arxiv.org/abs/2307.09288

    ただし、そのための情報も提供しています。

    私たちはそのために、責任ある利用のためのガイドや、Llama 2およびLlama 2-Chatを安全に展開するためのコード例を提供しています。私たちの責任あるリリース戦略の詳細は、セクション5.3に記載されています。

    We provide a responsible use guide and code examples to facilitate the safe deployment of Llama 2 and Llama 2-Chat. More details of our responsible release strategy can be found in Section 5.3.

    https://arxiv.org/abs/2307.09288

    そして、セクション1「導入」は、以降のセクションの紹介をして終わります。

    本論文の残りの部分では、以下の内容について説明します:
    - 事前学習の手法(セクション2)
    - ファインチューニングの手法(セクション3)
    - モデルの安全性に対するアプローチ(セクション4)
    - 開発中に得られた主な観察結果と知見(セクション5)
    - 関連研究(セクション6)
    - 結論(セクション7)

    The remainder of this paper describes our pretraining methodology (Section 2), fine-tuning methodology (Section 3), approach to model safety (Section 4), key observations and insights (Section 5), relevant related work (Section 6), and conclusions (Section 7).

    https://arxiv.org/abs/2307.09288

    次回予告

    次回は、このまま続けてセクション2「事前学習の手法」を読み進めます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ