メインコンテンツへスキップ
見出し画像

Llama 2を読む⑩RLHFの結果

    前回は、Metaが2023年に発表した論文「Llama 2: Open Foundation and Fine-Tuned Chat Models」(Llama 2:オープンな基盤とファインチューニングされたチャットモデル)のセクション3.3「対話の一貫性のためのシステムメッセージ」(System Message for Multi-Turn Consistency)を読み終えました。

    今回は、セクション3.4「RLHFの結果」(RLHF Results)を読み進めます。

    これまでを少し振り返ると、まず、Llama 2の学習は公開されているデータソースだけを用いた事前学習から始まりました。

    画像
    論文:図4(左下)

    これは次にくるトークンを予測する自己教師あり学習(Self-supervised Learning)によって行われました。これがLlama 2です。

    ここから対話型への教師ありファインチューニングが行われました。

    画像
    論文:図4(右)

    ある程度質問の意図を汲み取って応答できるようにパラメータの調節を行うことで、Llama 2-Chatの初期バージョンを作成されました。

    さらに、会話能力を高めるために報酬モデルが教師あり学習によって訓練されます。このモデルは言語モデルとは別で、人間が好む応答を集めたデータから学習し、言語モデルの出力を評価するためのものです。

    画像
    論文:図4(左上)

    その後、「人間によるフィードバックを伴う強化学習」(RLHF)手法が行われます。ただし、この論文でRLHFと呼ぶのは広義の意味であり、報酬モデルを利用した以下の2つを含んでいます。

    このRLHFは反復的に行われ、「報酬モデリングデータの蓄積」と「各段階(RLHFv1-v5)でのモデルの強化」が並行して行われました。

    画像
    論文:図4

    また、対話に与えられた指示の文脈を維持し続けるためのGhost Attentionの訓練も行われました。

    今回はこのRLHFの結果としてモデルがどのような能力を発揮するようになったかを読み進めます。

    モデルベースの評価

    LLMの評価という課題

    論文はまず、大規模言語モデル(LLM)の評価は難しいと語り始めます。

    LLMを評価することは、難しい未解決の研究課題です。人間による評価がゴールドスタンダードであるものの、人間とコンピュータのやりとりによるさまざまな要因によって複雑化するため(Clarkら, 2021; Gehrmannら, 2023)、規模を大きくできるものばかりではありません。

    Evaluating LLMs is a challenging open-research problem. Human evaluation, while a gold standard, can be complicated by various HCI considerations (Clark et al., 2021; Gehrmann et al., 2023), and is not always scalable.

    https://arxiv.org/abs/2307.09288

    英語で「HCI」(Human Computer Interaction)は直訳すると「人間とコンピュータの相互作用」です。ここでは、質問の内容や仕方によってモデルの応答が大きく変わるという点を指しています。

    さらに、人間による評価には主観やバイアスが入りやすく、数多くの質問やタスクに対して一貫した客観的な基準を定めるのは難しいため、スケールしないと述べられています。つまり、最終的には個別に人間が判断するしかないということです。

    このため、RLHF-V1からV5までの各段階において最良のモデルを選ぶのも難しい問題でした。そこで、最初は人間による評価よりも、報酬モデルによって性能の改善を検証したと論文は述べています。

    したがって、RLHF-V1からV5までの各段階においていくつかのアブレーションの中から最も性能の良いモデルを選択するために、まずはコストを節約し反復速度を高めるために、最新の報酬モデルから得られる報酬の改善を観察しました。その後、主要なモデルバージョンを人間による評価で検証しました。

    Thus, to select the best-performing models among several ablations at each iteration from RLHF-V1 to V5, we first observed the improvement of the rewards from the latest reward models, to save costs and increase iteration speed. We later validated major model versions with human evaluations.

    https://arxiv.org/abs/2307.09288

    一般的に、「アブレーション」(Ablation)というのは、「モデルの特定の構成要素や仕組みを意図的に取り除き」、元のモデルと性能を比較して、その要素の寄与度を調べる手法 を指します。

    ただし、ここでの「アブレーション」は、RLHF の各バージョン(V1〜V5)を構築する過程で異なる設定を試し、その性能差を評価するといった意味合いで使われています。

    また、これを最初から人間に評価させるのではなく、人間の選好データから学習した報酬モデルを用いて自動評価することで、ある程度の客観性とスケーラビリティを確保しました。

    これが「モデルベースの評価」というわけです。

    モデルベースの信頼性

    モデルベースの評価を用いるには、まずは報酬モデルの信頼性を確認する必要があります。これには人間による評価が不可欠です。

    論文は次のように述べています。

    モデルベースの評価はどこまで可能か?
    報酬モデルがどれほど柔軟に対応できるかを測るために、有用性と安全性のそれぞれについてテスト用のプロンプトを収集し、3人のアノテーターに対して報酬モデルによる評価の質を7段階リッカート尺度(高いほど良い)で評価してもらいました。

    How Far Can Model-Based Evaluation Go?
    To measure the robustness of our reward model, we collected a test set of prompts for both helpfulness and safety, and asked three annotators to judge the quality of the answers based on a 7-point Likert scale (the higher the better).

    https://arxiv.org/abs/2307.09288

    リッカート尺度(Likert scale)とは、アンケート調査などで個人の意見や態度、感情を測定するために用いられる心理検査的な評価尺度です。ある特定の文(質問)に対して、回答者がどの程度同意するかを多段階の選択肢で答える形式が一般的です。

    ここでは「7段階リッカート尺度」(高いほど良い)となっているので、1から7の数字を選ぶようになっていると考えられます。

    その結果、私たちの報酬モデルは、全体として人間の選好アノテーションとよく整合していることが観察されました(付録の図29参照)。これは、2者選択(バイナリ損失)で学習したのにも関わらず、報酬モデルからのスコア(点数)をそのまま使えることの妥当性を示しています。

    We observe that our reward models overall are well calibrated with our human preference annotations, as illustrated in Figure 29 in the appendix. This confirms the relevance of using our reward as a point-wise metric, despite being trained with a Pairwise Ranking Loss.

    https://arxiv.org/abs/2307.09288
    画像
    論文:図29(報酬スコアと人間の評価の関係)
    左は「有用性」、右は「安全性」
    網掛け部分は±1標準偏差。

    この図は、「報酬モデルの平均スコア」と「3人によるレビューによるモデル応答品質評価」(7段階リッカート尺度)との関係を示しています。これを見る限り、両者は明らかに相関(比例)関係にあるのがわかります。

    また、本来は「どちらの応答がより良いか」という二択の学習で訓練した報酬モデルが出力するスコアを直接評価として扱っても問題ないことを確認できた、とも言っています。

    「報酬ハック」を防ぐ

    ただし、報酬モデルの評価を高めることが目的化してしまい、言語モデルが本来の目的である「人間の選好に沿った出力を生成する」ことではなく、報酬スコアを上げることそのものを追いかけてしまう危険があります。

    これについて論文はこう述べています。

    それでも、「グッドハートの法則」(Goodhart’s Law)が述べているように、「指標が目標になったとたん、それは良い指標ではなくなる」という問題があります。

    そこで、報酬モデルによる評価が人間の選好から逸脱しないようにするために、さらに多様なオープンな報酬モデリング・データセットで学習させた、より一般的な報酬モデルを利用しました。

    これまでのところ、そのような逸脱は観察されておらず、モデルの反復的な更新がそれを防ぐのに役立っているのではないかと考えています。

    Still, as Goodhart’s Law states, when a measure becomes a target, it ceases to be a good measure. To ensure our measure won’t diverge from the human preferences, we additionally used a more general reward, trained on diverse open-source Reward Modeling datasets. We have not yet observed any such divergence, and hypothesize that iterative model updates may be helping to prevent this.

    https://arxiv.org/abs/2307.09288

    「グッドハートの法則」はイギリスの経済学者Charles Goodhartが提唱した表現です。ある指標を「成果を測る道具」として使っているうちは役に立つのですが、それ自体を「達成すべき目標」にしてしまうと、本来測りたかったものを正しく反映しなくなるということです。

    簡単な例は学校のテストです。
    本来の目標は「生徒の理解力を高める」ことであり、そのための指標としてテストは「成果を測る道具」として使われていたのに、やがてテスト自体が「達成すべき目標」になり、生徒も教師も「点取りテクニック」に走り、下手をすると本当の理解からは遠ざかってしまいます。

    Llama 2 の文脈では、報酬モデルのスコアを「人間の選好を測る代理指標」として使っていますが、スコア自体が最適化の目標になると、モデルは「スコアを上げるためのズル」を学習してしまい、本来の人間の好みに合致しなくなる、いわゆる「報酬ハック」の危険があります。

    そこで著者らは、多様でオープンなデータで学習させた汎用的な報酬モデルを併用し、このようなズレ(逸脱)を防ごうとしたと述べています。これは詳細がないのですが、おそらく「有用性」と「安全性」という目的に特化しすぎないようにするためだと思われます。

    結果として、「報酬ハック」のような逸脱は観察されていませんでした。これに対しては、報酬モデルの反復的な更新が役立っているのではないかと述べています。

    なお論文は、最終ステップとしてモデルの性能が後退していないかを検証したと述べています。

    最後の検証ステップとして、新しいモデルと以前のモデルの間で性能が後退していないことを確認するために、次のアノテーションの段階では両方のモデルを用いてサンプリングを行いました。これにより、新しいプロンプトに対して「追加コストなし」でモデル同士の比較ができ、サンプリング時の多様性を高める助けにもなります。

    As a last verification step to ensure no regression between our new model and the previous one, we use both to sample during the next annotation iteration. This enables a model comparison “for free” on new prompts and can help to increase diversity when sampling.

    https://arxiv.org/abs/2307.09288

    つまり、段階的に学習データを集めている仕組みをうまく利用して、新旧モデル比較を「ただ乗り」(for free)で実現しているというわけです。

    ChatGPTとの性能比較

    モデルの進展
    図11では、教師ありファインチューニング(SFT)およびRLHFの各バージョンにおける進展を、安全性と有用性の両軸で示しています。これらは社内で構築した安全性・有用性の報酬モデルによって測定されたものです。この評価セットにおいて、RLHF-V3以降では両軸においてChatGPTを上回りました(無害性と有用性が50%を超える)。

    Progression of Models.
    Figure 11 reports the progress of our different SFT and then RLHF versions for both Safety and Helpfulness axes, measured by our in-house Safety and Helpfulness reward models. On this set of evaluations, we outperform ChatGPT on both axes after RLHF-V3 (harmlessness and helpfulness >50%).

    https://arxiv.org/abs/2307.09288

    この後に続く文書を読まないと意味がとりにくいですが、ここでは「Llama 2-Chat」と「ChatGPT」のどちらがより有用性・安全性が高いと評価されたかを見ています。その結果として、Llama 2-Chat の「勝率」(より好ましいと判定される割合)が示されています。

    画像
    論文:図11
    縦軸は無害性(安全性)で、横軸は有用性
    左は「Metaの報酬モデル」が判断
    右は「GPT-4」が判断

    左図は「Meta の報酬モデル」、右図は「GPT-4」で評価した結果で、評価者による数値の違いはありますが、傾向は一致しています。モデルの進化に伴い、次の順番で有用性・安全性が向上しています。

    • SFT-v1 → SFT-v2 →

    • RLHF-v1 → RLHF-v2 → RLHF-v3 → RLHF-v4 →

    • RLHF-v5(PPO無し) → RLHF-v5(PPO有り)

    ただし、Meta の報酬モデルによる評価の方が一貫して高めに出ています。特に、RLHF-V3以降では安全性と有用性の両方の勝率が50%を超えています。これは Llama 2-Chat が Meta の報酬モデルに最適化されているためだと考えられます。

    論文も次のように述べています。

    Metaの報酬スコアによる評価は正当性がありますが、Llama 2-Chatに有利なバイアスがかかる可能性があります。そこで公正な比較のために、GPT-4も用いて最終結果を算出し、どちらの生成が好ましいかを評価しました。このときChatGPTとLlama 2-Chatの出力がGPT-4のプロンプトに現れる順序は、偏りを避けるためにランダムに入れ替えました。

    Despite the aforementioned relevance of using our reward as a point-wise metric, it can arguably be biased in favor of Llama 2-Chat. Therefore, for a fair comparison, we additionally compute the final results using GPT-4 to assess which generation is preferred. The order in which ChatGPT and Llama 2-Chat outputs appeared in GPT-4 prompt are randomly swapped to avoid any bias.

    https://arxiv.org/abs/2307.09288

    つまり、最終的に公正な比較の基準とすべきなのは GPT-4 による評価だと位置づけているようです。第3者による審判というところでしょうか。

    なお、GPT-4 による評価では RLHF-v5 になってようやく勝率が50%を超えました。 つまり、GPT-4 は Meta の報酬モデルに比べてより厳しい判定を下しているといえます。

    最後に、「このときChatGPTとLlama 2-Chatの出力が GPT-4のプロンプトに現れる順序は、偏りを避けるためにランダムに入れ替えました」と書かれています。これは、GPT-4 に両者の出力を比較させる際に、提示順序によるバイアスを防ぐための工夫です。最初に見た方・最後に見た方を有利に評価してしまう傾向が絶対ないとは限らないからです。

    この「公正な」評価について、論文はこう述べています。

    予想通り、Llama 2-Chatの勝率はやや控えめになりましたが、それでも最新のLlama 2-Chatは 60%以上の勝率 を達成しています。評価に用いたプロンプトは、安全性に関して1,586件、有用性に関して584件の検証セットから構成されています。

    As expected, the win-rate in favor of Llama 2-Chat is less pronounced, although obtaining more than a 60% win-rate for our latest Llama 2-Chat. The prompts correspond to a validation set of 1, 586 and 584 prompts for safety and helpfulness, respectively.

    https://arxiv.org/abs/2307.09288

    この論文が書かれた当時は、Llama 2-ChatがChatGPTに匹敵するか上回るほどの性能を示していたことが伺えます。

    人間による評価

    他のモデルとの比較

    最終的には、人間評価を用いて Llama 2-Chat の完成版を様々なモデルと比較し、どの程度の勝率を示すかを測定しています。

    人間による評価は、対話モデルを含む自然言語生成モデルを判断する際のゴールドスタンダードとしばしば考えられています。主要なモデルバージョンの品質を評価するために、私たちは人間の評価者に、有用性と安全性についてモデルを評価してもらいました。

    Human evaluation is often considered the gold standard for judging models for natural language generation, including dialogue models. To evaluate the quality of major model versions, we asked human evaluators to rate them on helpfulness and safety.

    https://arxiv.org/abs/2307.09288

    その比較対象は以下になっています。

    この評価では、Llama 2-Chat モデルを以下のモデルと比較しました。

    オープンなモデル
    • Falcon
    • MPT〔MosaicML NLP Team et al., 2023〕
    • Vicuna〔Chiang et al., 2023〕

    クローズドなモデル
    • ChatGPT〔OpenAI, 2023〕
    • PaLM〔Anil et al., 2023〕

    評価には、1回および複数やりとりの対話のプロンプトを合わせて 4,000 件以上用いました。

    We compare the Llama 2-Chat models to open-source models (Falcon, MPT MosaicML NLP Team et al. (2023), Vicuna Chiang et al. (2023), as well as closed-source models (ChatGPT (OpenAI, 2023) and PaLM Anil et al. (2023)) on over 4, 000 single and multi-turn prompts.

    https://arxiv.org/abs/2307.09288

    ChatGPTとPaLMのバージョンなどは以下が用いられました。

    ChatGPT については、すべての生成に gpt-3.5-turbo-0301 モデルを使用しました。PaLM については、すべての生成に chat-bison-001 モデルを使用しました。各モデルに対する人間評価の最終的なプロンプト数は表 32 に示されています。方法論の詳細については付録 A.3.7 節を参照してください。次の節では有用性の結果を示し、安全性の結果については 4.4 節で説明します。

    For ChatGPT, we use gpt-3.5-turbo-0301 model in all generations. For PaLM, we use the chat-bison-001 model in all generations. The final prompt count for human evaluations for each model is shown in Table 32. See more methodology details in Appendix, Section A.3.7. The following section shows helpfulness results; safety results are presented in Section 4.4.

    https://arxiv.org/abs/2307.09288

    下表は、1回(single turn)と複数回(multi-turn)のプロンプトの数です。

    画像
    論文:表32

    結果は次のように述べられています。

    結果
    図12に示すように、Llama 2-Chatのモデル群は1回あるいは複数回のやりとりを含むプロンプトにおいて、オープンなモデルを大きく上回っています。特に、Llama 2-Chat 7B モデルは MPT-7B-chat に対して 60% のプロンプトで優位に立ちました。さらに、Llama 2-Chat 34B は、同規模の Vicuna-33B および Falcon-40B モデルに対して、全体の勝率が 75% を超えています。

    Results.
    As shown in Figure 12, Llama 2-Chat models outperform open-source models by a significant margin on both single turn and multi-turn prompts. Particularly, Llama 2-Chat 7B model outperforms MPT-7B-chat on 60% of the prompts. Llama 2-Chat 34B has an overall win rate of more than 75% against equivalently sized Vicuna-33B and Falcon 40B models.

    https://arxiv.org/abs/2307.09288
    画像
    論文:図12

    この図では、パラメータ数が同程度なモデル同士を比較しています。

    • オープンなモデルとの比較

      • Llama-2-7b-chat vs. MPT-7b-chat

      • Llama-2-13b-chat vs. Vicuna-13b-v1.1

      • Llama-2-34b-chat vs. Vicuna-33b-v1.3

      • Llama-2-34b-chat vs. Falcon-40b-instruct

    • クローズドなモデルとの比較

      • Llama-2-70b-chat vs. PaLM-Bison

      • Llama-2-70b-chat vs. ChatGPT-0301

    それぞれの比較において、1回のやりとり(Single Turn)と複数回のやりとり(Multi-Turn)を含むプロンプトでの比較を行なっています。

    棒グラフの色(青のグラデーション)で「勝ち」(Win)、「引き分け」(Tie)、「負け」(Lose)を表現しています。

    オープンなモデルとPaLMに対しては勝率が高い傾向が見て取れます。最強のライバルはChatGPTです。

    最大の Llama 2-Chat モデルは ChatGPT と競合できる性能を示しています。Llama 2-Chat 70B モデルは ChatGPT に対して 勝率 36%・引き分け率 31.5% を記録しました。また、Llama 2-Chat 70B モデルは、PaLM-bison チャットモデルを大きく上回る結果となりました。さらなる結果と分析については付録 A.3.7 節を参照してください。

    The largest Llama 2-Chat model is competitive with ChatGPT. Llama 2-Chat 70B model has a win rate of 36% and a tie rate of 31.5% relative to ChatGPT. Llama 2-Chat 70B model outperforms PaLM-bison chat model by a large percentage on our prompt set. More results and analysis is available in Section A.3.7.

    https://arxiv.org/abs/2307.09288

    評価者間信頼性の分析

    Inter-Rater Reliability(評価者間信頼性, IRR) とは、複数の評価者が同じ対象を評価したときに、その評価がどの程度一致しているかを示す指標 です。

    • 値は 0〜1 の範囲で表され、1 に近いほど評価者間の一致度が高い

    • 逆に 0 に近いと、評価者によって判断がバラバラで一貫性が低い

    LLM の有用性や安全性のように主観が入りやすい評価では IRR は低くなりがちと言われています。論文は次のように述べています。

    評価者間信頼性(IRR)
    私たちの人間評価では、3人の異なるアノテーターが各モデル生成の比較について独立した評価を行いました。IRR スコアが高い(1.0 に近い)ほどデータ品質の観点からは望ましいとされますが、ここでは文脈が重要です。LLM の生成結果に対する全体的な有用性の評価のように 主観性の高いタスク では、より客観的なラベリング作業に比べて IRR スコアは通常低くなります。

    こうした文脈における公開ベンチマークは比較的少ないため、ここで私たちの分析を共有することは研究コミュニティにとって有益だと考えています。

    Inter-Rater Reliability (IRR)
    . In our human evaluations, three different annotators provided independent assessments for each model generation comparison. High IRR scores (closer to 1.0) are typically seen as better from a data quality perspective, however, context is important. Highly subjective tasks like evaluating the overall helpfulness of LLM generations will usually have lower IRR scores than more objective labelling tasks. There are relatively few public benchmarks for these contexts, so we feel sharing our analysis here will benefit the research community.

    https://arxiv.org/abs/2307.09288

    論文では、IRRを測定するためにGwet’s AC1/2を用いています。これは、特にリッカート尺度のような順序付きデータでよく使われます。

    Gwet = Kilem Li Gwet(統計学者)
    AC = agreement coefficient (一致係数)

    論文では、このGwetが発案したIRRの測定を使っています。

    私たちは評価者間信頼性(IRR)を測定するために Gwet’s AC1/2 統計量(Gwet, 2008, 2014)を使用しました。これは、異なる測定状況において最も安定した指標であると考えられるからです。

    今回の分析で用いた 7 段階リッカート尺度による有用性評価タスクでは、Gwet’s AC2 スコアは 0.37〜0.55 の範囲で変動しました。

    Llama 2-Chat-70B-chat vs. ChatGPT のように勝率が互いに近いモデル比較では、この範囲の下限に近い低めの値が得られました。

    Llama 2-Chat-34B-chat vs. Falcon-40B-instruct のように明確に優劣がつくモデル比較では、この範囲の上限に近い高めの値が得られました。

    We used Gwet’s AC1/2 statistic (Gwet, 2008, 2014) to measure inter-rater reliability (IRR), as we found it to be the most stable metric across different measurement scenarios. On the 7-point Likert scale helpfulness task that is used in our analysis, Gwet’s AC2 score varies between 0.37 and 0.55 depending on the specific model comparison. We see scores on the lower end of that range for ratings from model comparisons with similar win rates to each other (like the Llama 2-Chat-70B-chat vs. ChatGPT comparison). We see scores on the higher end of that range for ratings from model comparisons with a more clear winner (like the Llama 2-Chat-34b-chat vs. Falcon-40b-instruct).

    https://arxiv.org/abs/2307.09288

    これも人間による評価の難しさを示しています。特に、勝率が互いに近いモデルでは、人によって意見が分かれます。

    Metaは、このように「評価は主観的で限界がある」ことを研究コミュニティに共有し、方法論的な改善を促しているわけです。

    人間による評価の限界

    人間評価は重要ではあるが万能ではなく、評価者の主観などによって結果が揺らぎます。これについて論文は次のように述べています。

    人間評価の限界
    我々の結果は、Llama 2-Chat が人間評価において ChatGPT と同等であることを示していますが、人間評価にはいくつかの限界があることに留意する必要があります。
    • 学術研究の基準からすれば、我々のプロンプトセットは 4,000 件と大規模ですが、実際の利用場面を網羅しているわけではありません。現実の利用ケースははるかに幅広く多数に及ぶでしょう。
    • プロンプトの多様性も結果に影響する可能性があります。例えば、我々のプロンプト集にはコーディングや推論に関連するものは含まれていません。
    • 我々が評価したのは、複数回のやりとりを含む対話の「最終応答」のみです。より興味深い評価方法としては、モデルに実際のタスクを完了させ、その過程を含めた全体的な体験を評価することが考えられます。
    • 生成モデルに対する人間評価は本質的に主観的かつノイズを含むものです。そのため、別のプロンプト集や異なる指示を与えれば、異なる結果となり得ます。

    Limitations of human evaluations.
    While our results indicate that Llama 2-Chat is on par with ChatGPT on human evaluations, it is important to note that human evaluations have several limitations.
    • By academic and research standards, we have a large prompt set of 4k prompts. However, it does not cover real-world usage of these models, which will likely cover a significantly larger number of use cases.
    • Diversity of the prompts could be another factor in our results. For example, our prompt set does not include any coding- or reasoning-related prompts.
    • We only evaluate the final generation of a multi-turn conversation. A more interesting evaluation could be to ask the models to complete a task and rate the overall experience with the model over multiple turns.
    • Human evaluation for generative models is inherently subjective and noisy. As a result, evaluation on a different set of prompts or with different instructions could result in different results.

    https://arxiv.org/abs/2307.09288

    つまり、人間評価はゴールドスタンダードとされながらも、その限界を意識する必要があるということです。

    • 研究室内では「人間評価=ゴールドスタンダード」とされる。

    • しかし、それはあくまで「限られた条件下での比較」に過ぎない。

    そのため、実際のユーザー利用からのフィードバックなどが重要となることがわかります。

    次回予告

    評価の限界はあるものの、Llama 2-Chat は、ChatGPT に追いついた最初のオープンモデルであることは確かでしょう。そこから派生して、DeepSeekをはじめとする後続モデルが登場したのも事実です。

    これで、当初の読む方針どおり重点的に読むと決めていた セクション 3「ファインチューニング」を読み終えました。

    論文の後半では、安全性に関する長い議論が続きます。

    次回は、Llama 2の仕組みの理解を深めるために「安全性を意識したファインチューニング」や「Red Teaming」などに絞って読んでいきます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ