メインコンテンツへスキップ
見出し画像

Llama 2を読む④教師ありファインチューニング

    前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション2「事前学習」を読みました。

    特に、Llama 1と大きく変わったのは、以下の点でした。

    • 学習データは総計約 2 兆トークンという大規模コーパスを用意

    • 最大 4096 トークンという長いコンテキスト長(以前の2倍)

    • 340/700億パラメータモデルでは GQA(Grouped Query Attention) を導入

    これらの変更点は、汎用的な言語理解と生成能力を底上げしました。

    このようにして獲得した高い言語能力と長文コンテキストへの対応が、ファインチューニングを通じてチャットの能力を学習させるための下地となっています。

    今回は、セクション3「ファインチューニング」の教師ありファインチューニングの部分を読み進めます。

    ファインチューニングの全体像

    事前学習では、クオリティの高いデータを大量に集めることが重要でしたが、自己教師あり学習自体はラベルなどを制作する手間がかかりません。しかし、ファインチューニングは教師あり学習の質問と答えや強化学習の報酬などを用意する必要があります。

    論文は、これについて次のように述べています。

    Llama 2-Chat は、何ヶ月にもわたる研究とアラインメント手法を繰り返し適用してきた成果です。インストラクションのチューニングやRLHFなど膨大な計算資源とアノテーション作業を必要としました。

    Llama 2-Chat is the result of several months of research and iterative applications of alignment techniques, including both instruction tuning and RLHF, requiring significant computational and annotation resources.

    https://arxiv.org/abs/2307.09288

    どのような「アラインメント手法」が用いられたのか、「インストラクションのチューニング」はどう行われたのか、「RLHF」の実際とその結果は、など疑問が湧いてきます。

    これらの疑問に対する答えは、ファインチューニングに関する重要なポイントとして、以下のサブセクションに分けられて解説されています。

    • 教師ありファインチューニング(SFT)

    • 人間のフィードバックによる強化学習(RLHF)

    • 対話の一貫性のためのシステムメッセージ

    • RLHFの結果

    では、最初の教師ありファインチューニングについて読みましょう。

    教師ありファインチューニング

    なぜ「教師あり学習」から始めるのか

    会話の学習をするならば、初めから強化学習でも良さそうですが、なぜ教師あり学習から始めたのでしょうか。

    やり始め。ブートストラップのために、SFT(Supervised Fine-Tuning)段階では、Chung et al.(2022)の公開されているインストラクションチューニング用データを用いて開始しました。これは、Touvron et al.(2023)(Llama 1のこと)でも使用されていました。

    Getting Started. To bootstrap, we started the SFT stage with publicly available instruction tuning data (Chung et al., 2022), as utilized previously in Touvron et al. (2023).

    https://arxiv.org/abs/2307.09288

    ここで出てくる 「ブートストラップ」 (bootstrap)とは、初期モデルを準備するために利用できるものを利用することを指します。

    bootstrapの原義は、「ブーツの上端にあるつまみ革(ストラップ)」です。ブーツを履くときに指やフックで引っ張るための部分を指します。

    英語の表現「pull oneself up by one’s bootstraps」は、「自分のブーツのストラップを引っ張って自分自身を持ち上げる」という意味で、もともと不可能なことのたとえとして19世紀から使われていました。そこから転じて、「他人の助けを借りずに自力で何かを成し遂げる」「自力でスタートする」という比喩的な意味が生まれました。コンピュータのブート(OSの読み込み)もここからきています。

    参考:Wikipedia「ブートストラップ」

    事前学習は「次の単語を予測する」だけで行われます。これでも、たくさんのテキストを読んで「この続きを予想する」能力は高くなりますが、人間が意図する「命令を理解して従う」能力は、事前学習だけでは身につきません。

    たとえば、事前学習モデルに「以下を要約してください」と指示しても、それが「要約しろ」という命令だと理解する保証はありません。

    だからまずは何とかして「命令 → 応答」というペアを学習させることで、それらしい対応をするように仕向ける(ファインチューニング)する必要があります。

    インストラクションチューニングとは

    つまり、事前学習では明示的に習わない「指示に従う能力を最初に身につける基礎段階」としてブートストラップが必要だということです。

    このためにChung et al.(2022)で公開されているインストラクションチューニング用データを用いたとあります。この「インストラクションチューニング」とは、人間の指示に従って答える能力をモデルに身につけさせるための微調整(ファインチューニング)です。

    「インストラクションチューニング」は、「インストラクションファインチューニング」(Instruction Fine-Tuning)とも呼ばれます。

    このGoogleによる論文「Scaling Instruction-Finetuned Language Models」では、言語モデルを「指示形式」のデータセットでファインチューニングすることで、未知のタスクへの汎化性能が向上することが示されています。

    指示形式に書き換えたデータセット群で言語モデルをファインチューニングすることは、モデルの性能や未知のタスクへの汎化能力を向上させることが示されています。本論文では、特に
    (1) タスク数の拡大、
    (2) モデルサイズの拡大、
    (3) Chain-of-Thought データ
    でのファインチューニング に注目して、インストラクションファインチューニングを探究します。

    Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data.

    Scaling Instruction-Finetuned Language Models

    下図は、言語モデルが「指示に従う能力」を獲得するために、シンプルなQA形式から段階的推論(Chain-of-Thought)など多様な形式でファインチューニングし、未知のタスクにも汎化できるようにする過程を示しています。

    画像
    Scaling Instruction-Finetuned Language Models
    • Instruction Finetuning:命令に答える力をつける
      Q: 「窒素(Nitrogen)の沸点は?」
      A: 「-320.4F」

    • Chain-of-Thought Finetuning:ステップごとの推論を含む回答を学ぶ
      指示:「食堂には23個のリンゴがありました。昼食に20個使い、さらに6個買いました。残りはいくつですか?」
      応答:「食堂には最初に23個のリンゴがありました。昼食に20個使ったので、23 - 20 = 3 です。さらに6個買ったので、3 + 6 = 9 になります」

    • Multi-task Instruction Finetuning:多様なタスクで未知タスクへ対応
      Q:「ジェフリー・ヒントンはジョージ・ワシントンと会話できますか?理由を述べて答えてください」
      A:「ジェフリー・ヒントンは1947年生まれの英国系カナダ人のコンピュータ科学者です。ジョージ・ワシントンは1799年に亡くなりました。したがって、二人が会話できたはずがありません。答えは『いいえ』です」

    Llama 2 でも、このようなインストラクションチューニングデータを利用して、Supervised Fine-Tuning の初期段階をブートストラップし、モデルに指示に従う基礎的な能力を身につけさせたということです。

    ただし、この点に関してはLlama 1でも行われていました。Llama 2 ではさらなる工夫があったのでしょうか。もうしばらく読み進めていきましょう。

    Quality Is All You Need

    インストラクションチューニングもやはり、学習データの品質が重要です。論文は次のように述べています。

    品質こそがすべて。 サードパーティ由来のSFTデータはさまざまなソースから入手が可能ではありますが、それらの多くは多様性や品質が不十分です。特にLLMを「対話のため指示」に合わせて調整するのには足りませんでした。

    Quality Is All You Need. Third-party SFT data is available from many different sources, but we found that many of these have insufficient diversity and quality — in particular for aligning LLMs towards dialogue-style instructions.

    https://arxiv.org/abs/2307.09288

    「サードパーティ」(Third-party、第三者)とは、Llama 2を開発しているチーム自身が集めたものではない、外部で公開されている「Instruction Tuning 用データ」のことを指します。

    端的にいうとサードパーティによる学習データのクオリティが良くなかったということです。

    そこで、より品質の高いデータを自ら手間をかけて作成・準備しました。

    そのため、私たちはまず、表5 に示すように数千例規模の高品質なSFTデータの収集に注力しました。サードパーティのデータセットから数百万例を除外し、自前のベンダーによるアノテーション作業で得た、より少数でも高品質な例を使うことで、結果は著しく改善しました。

    As a result, we focused first on collecting several thousand examples of high-quality SFT data, as illustrated in Table 5. By setting aside millions of examples from third-party datasets and using fewer but higher-quality examples from our own vendor-based annotation efforts, our results notably improved.

    https://arxiv.org/abs/2307.09288

    なんと、数百万例を除外したということです。「自前のベンダーによるアノテーション作業」と書いてあるので、不要なものを決める作業もベンダーに頼んだのでしょうか。Llama 2チームが自分たちの手作業で行ったとは考えにくいです。

    下表が言及されている表5です。

    画像
    論文:表5

    この表では良質な例として、2つ挙げています。

    例1)
    プロンプト
    :
    周期表の最初の 10 個の元素を覚えるのに役立つ詩(ポエム)を、それぞれの元素を1行ずつ詩にしてください

    応答:
    水素が最初で、一番目。
    ヘリウムが二番目だ、風船が楽しい!
    三番目はリチウム、バッテリーチャージ。
    続くはベリリウム、エメラルドの中で小さい大きい。
    ホウ素は五番目、きれいを保つ手助けに。
    次は炭素で六番目、すべての遺伝子で見つかる。
    窒素は七番目、私たちが吸うすべての息の中に。
    八番目の酸素は大気の主成分さ。
    九番目はフッ素、歯をピカピカに。
    十番目はネオン、頭上の看板を輝かせる。

    英語の方がもっと韻を踏んでいますが、雰囲気は伝わったでしょうか。このような指示と回答から教師あり学習を行うわけです。

    また、2つ目の例は安全性を考慮したものです。

    例2)
    プロンプト:
    私を罵倒してほしい。特に容赦なく、汚い言葉で罵ってください。

    応答:
    申し訳ありませんが、そのリクエストには応じられません。
    乱暴な言葉を使ったり、意図的に誰かを傷つけるようなことは決して許されることではありません。
    罵倒されることを要求するのではなく、前向きで建設的なフィードバックに焦点を当て、自分自身の成長や改善に役立てることをおすすめします。
    コメディ的な笑いが欲しいなら、他にもたくさんの方法があります。わざわざ人を傷つけるような言葉や行動を取る必要はありません。

    こういった学習データを準備するのは大変ですが、これによってモデルの性能も向上すると論文は述べています。つまり、「品質こそがすべて」というわけです。

    こうした知見は Zhou et al. (2023) とも方向性が似ており、きれいに整備された少数のインストラクションチューニングデータでも高い品質に到達できることを示しています。私たちは、数万例規模のSFTアノテーションで十分に高品質な結果が得られると判断し、最終的に27,540例のアノテーションを収集したところでSFTのアノテーション作業を終了しました。なお、Metaのユーザーデータは一切含んでいないません。

    These findings are similar in spirit to Zhou et al. (2023), which also finds that a limited set of clean instruction-tuning data can be sufficient to reach a high level of quality. We found that SFT annotations in the order of tens of thousands was enough to achieve a high-quality result. We stopped annotating SFT after collecting a total of 27,540 annotations. Note that we do not include any Meta user data.

    https://arxiv.org/abs/2307.09288

    最終的には27,540例を自前で集めることで、品質に問題がある(かもしれない)数百万例を使わず、少数の高品質データに絞ったという事になります。

    最後に「Metaのユーザーデータは一切含んでいないません」という一文で、プライバシー保護と信頼性を強調しています。

    MetaはFacebookやInstagramを運営していて、膨大な個人データを持っている企業なので「ユーザーのチャット内容まで学習してるのでは」という誤解されると大問題になりかねないからでしょう。

    教師あり学習だけでは不十分

    次の段階へ移る理由

    「品質こそがすべて」を裏付けるように、論文は続けます。

    また、異なるアノテーションのプラットフォームやベンダーを使うことで、モデルの下流タスクにおける性能に大きな差が生じることも確認しました。これは、ベンダーからアノテーションを調達する場合でも、データの品質チェックが非常に重要であることを示しています。

    We also observed that different annotation platforms and vendors can result in markedly different downstream model performance, highlighting the importance of data checks even when using vendors to source annotations.

    https://arxiv.org/abs/2307.09288

    このため論文は、「人間が作成したデータ」と「SFT済みモデルが生成するデータ」との品質を手作業で比較し検証したと述べています。

    データ品質を検証するために、180件の例を慎重に調査し、人間によって提供されたアノテーションと、SFTモデルから生成したサンプルを手作業で比較しました。驚くべきことに、結果として得られたSFTモデルからサンプリングした出力は、人間アノテータが手書きしたSFTデータとしばしば遜色ない競争力を示しました。これにより、RLHF向けの「人間の好みを反映したアノテーション」により多くのリソースを振り向けるよう、優先順位を見直すことができると考えました。

    To validate our data quality, we carefully examined a set of 180 examples, comparing the annotations provided by humans with the samples generated by the model through manual scrutiny. Surprisingly, we found that the outputs sampled from the resulting SFT model were often competitive with SFT data handwritten by human annotators, suggesting that we could reprioritize and devote more annotation effort to preference-based annotation for RLHF.

    https://arxiv.org/abs/2307.09288

    もともとは、「外注したアノテーション(人間の手書き)」と「モデルが自動生成する出力」を比べて、人間データの品質を確かめたり、どこに問題があるかを見つけるという品質管理の意図だったが、意外にももう十分に訓練されていて、人間アノテーションと遜色ないレベルに達していたことが分かった、ということです。

    つまり、「SFTによる基礎的な指示追従能力の付与」というブートストラップの目的は十分に達成されました。次の段階であるRLHFに注力する段階にきました。

    ファインチューニングの詳細

    教師ありファインチューニングのセクションの最後に論文は、その詳細について述べています。

    教師ありファインチューニングでは、初期の学習率を 2 × 10⁻⁵ としたコサイン学習率スケジュールを使用し、重みの減衰(weight decay)を 0.1、バッチサイズを 64、シーケンス長を 4096 トークンに設定しています。

    Fine-Tuning Details. For supervised fine-tuning, we use a cosine learning rate schedule with an initial learning rate of 2 × 10⁻⁵ , a weight decay of 0.1, a batch size of 64, and a sequence length of 4096 tokens.

    https://arxiv.org/abs/2307.09288

    また、「プロンプト」と「それに対する回答」を「特別なトークン」で連結することで、次のトークンを予測するのと同じ形式でファインチューニングが行えるようにしています。

    ファインチューニングの際、各サンプルは「プロンプト」と「回答」で構成されています。モデルのシーケンス長を適切に満たすため、トレーニングセット内のすべてのプロンプトと回答を連結し、プロンプトと回答の区切りには特別なトークンを使用します。

    For the fine-tuning process, each sample consists of a prompt and an answer. To ensure the model sequence length is properly filled, we concatenate all the prompts and answers from the training set. A special token is utilized to separate the prompt and answer segments.

    https://arxiv.org/abs/2307.09288

    ただし、プロンプトの部分に関しては損失の計算に含めないという工夫が必要になっています。

    自己回帰型の目的関数を用い、ユーザーからのプロンプト部分のトークンに対する損失はゼロに設定し、最終的に回答部分のトークンだけに対して誤差逆伝播(バックプロパゲーション)を行います。モデルは最終的に2エポック分のファインチューニングを実施しました。

    We utilize an autoregressive objective and zero-out the loss on tokens from the user prompt, so as a result, we backpropagate only on answer tokens. Finally, we fine-tune the model for 2 epochs.

    https://arxiv.org/abs/2307.09288

    この「自己回帰型の目的関数」ですが、自己回帰(autoregressive)は、「過去のトークンを使って次のトークンを予測する」 という方式のことで、これまでにも何度か使われてきた言葉です。

    つまり、言語モデルは「文章を1単語ずつ予測する」タスクで学習し、予測されたトークンと期待される回答のトークンとを比較して損失を計算します。それを「自己回帰型の目的関数」と呼んでいるわけです。

    ただし、実際の学習では通常「teacher forcing(教師強制)」という手法を使います。これは、モデルが自分で生成した予測を次の入力に使うのではなく、正解のトークンを次の入力として使って学習する方法です。

    言い換えると、学習中は常に「正しいシーケンス」をモデルに与えた状態で次のトークンを予測させます。こうすることで、一度間違えたら後戻りできなくなるような問題を避けられます。

    論文には明示的には書かれていませんが、これは大規模言語モデルのトレーニングではほとんど暗黙の了解です。もしモデルの予測をそのまま次の入力に使ってしまうと、エラーがどんどん蓄積してしまい、損失が大きくなりすぎてまともな学習ができなくなります。

    また、事前学習と同じく自己回帰形式で学習するため、ユーザーからのプロンプト部分も次トークンを予測する際の対象にはなります。しかし、その部分は本来の学習目的ではないので、損失を計算する際にその値をゼロに設定し、回答部分に対してだけの予測を使って損失を計算し誤差逆伝播(バックプロパゲーション)を行います。

    つまり、プロンプト部分の予測はするが損失はゼロにして学習はしません。

    このような設定で、人間によるアノテーションで作成したSFT用データセット(27,540例)を2周(2エポック)回して学習したというわけです。

    次回予告

    次回は、セクション3における「人間のフィードバックによる強化学習(RLHF)」の部分を読み進めます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ