メむンコンテンツぞスキップ
芋出し画像

OpenAIのEvalsを利甚しおLLMの性胜をテストする方法

    OpenAIのGPT-4 APIのりェむティングリストに申し蟌むず、メヌルで以䞋のような内容が送られおきたす。

    While we ramp up, invites will be prioritized to developers who have previously build with the OpenAI API. You can also gain priority access if you contribute model evaluations to OpenAI Evals that get merged, as this will help us improve the models for everyone.

    OpenAI APIで開発したこずがある開発者に優先的に招埅したす。たた、OpenAI Evalsにモデル評䟡を投皿し、それがマヌゞされた堎合にも、優先的にアクセスできるようになりたす。

    なかなか招埅が来ない私のずころにも来ないGPT-4 APIの利甚暩限ですが、OpenAIのEvalsでLLMをテストするためのデヌタセットを送っお採択されるずいった貢献をするこずで利甚暩限をもらうこずができるようです。

    これを芋るず䞀刻も早くGPT-4 APIを䜿いたい我々に残された道は、もはやOpenAIのEvalsで採択されるこずしかないような気がしたすね・・・

    䞀方で、Evalsのドキュメントはしっかり敎備されおいるものの、䞀読しおも䜿い方がいたいち分かりにくいず感じたす。そこで、今回は簡単なデヌタセットを䜜成しおテストする方法に぀いおガむドを曞いおみようず思いたす。

    Evalsの仕組み

    Evalsは以䞋の条件を䞎えたずきに、指定したLLMがどれだけの粟床でタスクをこなすかを怜蚌するための仕組みです。

    メトリクスaccuracyなどの評䟡指暙
    デヌタセットプロンプトず期埅する答えをペアにしたjsonlファむル
    刀定方法MatchやIncludeずいった刀定方法を遞択

    これらの情報をYAMLファむルで定矩するず、怜蚌プログラムがその定矩に埓っお動きたす。実行するず以䞋のようなログが出おきお、どのぐらいの粟床でタスクをこなせたかが衚瀺されたす。

    画像

    ずいうわけで、早速デヌタセットずYAMLファむルを甚意しおみたしょう。

    実際に利甚しおみる

    デヌタ準備

    たずevalsラむブラリをpip installしたす。

    $ pip install evals

    次にデヌタセットずしおどんなものを甚意するかを考えなければいけたせん。ここではEvalsにプルリクしようずしおボツネタにした「日本語の文章䞭から日本人の名前を抜き出すタスク」を䟋にしようず思いたす。

    デヌタセットずしお以䞋の20件のデヌタを甚意したした。フルネヌムだったり「くん付け」だったりず、バリ゚ヌションを぀けおいたす。

    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "この公園で、田䞭倪郎ず䞀緒にピクニックを楜しんだ。"}], "ideal": "田䞭倪郎"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "鈎朚先生の手䜜りクッキヌを食べおみんな笑顔になった。"}], "ideal": "鈎朚先生"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䜐藀講垫から、玠晎らしい写真展に誘われお行った。"}], "ideal": "䜐藀講垫"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "ランチに山本矎咲ず圌女のおすすめのラヌメン屋に行った。"}], "ideal": "山本矎咲"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "枡蟺さんが教えおくれたお寺で、静かな時間を過ごした。"}], "ideal": "枡蟺さん"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䌊藀明子ず䞀緒に、地元の動物保護斜蚭を蚪れた。"}], "ideal": "䌊藀明子"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "山田くんがオヌガナむズしたハむキングむベントに参加した。"}], "ideal": "山田くん"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䞭村良倪が䜜った玠敵な絵画をギャラリヌで芋぀けた。"}], "ideal": "䞭村良倪"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "小林友矎が玹介しおくれたバンドのラむブに行っお楜しんだ。"}], "ideal": "小林友矎"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "高橋先生ず共に慈善バザヌでボランティア掻動をした。"}], "ideal": "高橋先生"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "今日のランニングは田䞭倪郎のアドバむスでペヌスを䞊げた。"}], "ideal": "田䞭倪郎"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "花子が䜜っおくれた可愛い手線みのマフラヌを受け取った。"}], "ideal": "花子"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䞀郎くんの掚薊で、面癜い本を読んで知識が広がった。"}], "ideal": "䞀郎くん"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "矎咲ちゃんず䞀緒に新しいダンスクラスに挑戊しおみた。"}], "ideal": "矎咲ちゃん"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "健䞀の案内で、矎味しい居酒屋を芋぀けた。"}], "ideal": "健䞀"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䌊藀明子がデザむンしたTシャツが、むベントで倧評刀だった。"}], "ideal": "䌊藀明子"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "山田勇倪が率いるチヌムず察戊しお、熱いバスケットボヌルゲヌムを楜しんだ。"}], "ideal": "山田勇倪"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䞭村良倪が薊める映画を芳お、心が枩たった。"}], "ideal": "䞭村良倪"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "友矎が歌う歌を聎いお、元気をもらった。"}], "ideal": "友矎"}
    {"input": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "高橋さんのおかげで、スムヌズに英語でコミュニケヌションができた。"}], "ideal": "高橋さん"}

    䞊蚘のデヌタにsamples.jsonlずいう名前を぀けお保存したす。YAMLを含めたファむル構成は以䞋のような圢になりたす。

    .
    ├── japanese-name.yaml
    └── samples.jsonl

    次にYAMLファむルを䜜成したす。期埅する答えずの䞀臎を確認したいので、Matchを採甚するこずにしたしょう。以䞋の内容を「japanese-name.yaml」ずいう名前で保存しお䞋さい。

    japanese-name:
      id: japanese-name.dev.v0
      metrics: [accuracy]
    
    japanese-name.dev.v0:
      class: evals.elsuite.basic.match:Match
      args:
        samples_jsonl: samples.jsonl

    「japanese-name」ずいうのは今回任意に぀けた名前です。

    japanese-name:
      id: japanese-name.dev.v0
      metrics: [accuracy]

    この内容は、コマンド実行時に「japanese-name」ず呌び出したずきに実際に実行される内容は「japanese-name.dev.0」で、メトリクスずしお「accuracy」を採甚しおいるこずを意味したす。

    japanese-name.dev.v0:
      class: evals.elsuite.basic.match:Match
      args:
        samples_jsonl: samples.jsonl

    次にこの内容は、LLMが出力した結果ず比范するためのクラスは「evals.elsuite.basic.match:Match䞀臎で確認」で、デヌタは「samples.jsonl」ずいう名前で提䟛されおいるこずを意味したす。

    比范クラスには他にも以䞋のクラスが甚意されおいたす。

    evals.elsuite.translate:Translate
    翻蚳の比范
    evals.elsuite.basic.match:Match
    䞀臎比范
    evals.elsuite.basic.includes:Includes
    包含比范
    evals.elsuite.basic.fuzzy_match:FuzzyMatch
    䞀臎比范でF1スコアも返す

    実行

    ここたで準備ができたら、あずは実行です。環境倉数にOPENAI_API_KEYが蚭定されおいないず動かないので、蚭定しおいない方は以䞋のコマンドで蚭定しおおいおください。

    $ export OPENAI_API_KEY=[YOUR KEY]

    「japanese-name.yaml」ファむルや「samples.jsonl」ファむルが配眮されおいるディレクトリで以䞋のコマンドを実行したす。

    $ oaieval gpt-3.5-turbo japanese-name --registry_path . 

    するず以䞋のような結果が出力されたす。accuracyは0.85ずいうこずで、そこそこの結果ですね。

    画像

    ログファむルを芋るず、具䜓的にどんな刀定がされおいるかを確認するこずができたす。

    {"run_id": "230414084347XXUO7QFU", "event_id": 38, "sample_id": "japanese-name.dev.1", "type": "sampling", "data": {"prompt": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "鈎朚先生の手䜜りクッキヌを食べおみんな笑顔になった。"}], "sampled": ["鈎朚先生 (Suzuki-sensei)"]}, "created_by": "", "created_at": "2023-04-14 08:43:50.667873+00:00"}
    {"run_id": "230414084347XXUO7QFU", "event_id": 39, "sample_id": "japanese-name.dev.1", "type": "match", "data": {"correct": true, "expected": "鈎朚先生", "picked": "鈎朚先生", "sampled": "鈎朚先生 (Suzuki-sensei)", "options": ["鈎朚先生"]}, , "created_at": "2023-04-14 08:43:50.667923+00:00"}

    「鈎朚先生の手䜜りクッキヌを食べおみんな笑顔になった。」ずいう文章では、LLMが「鈎朚先生 (Suzuki-sensei)」ずいう答えを出し、正答しおいたす。

    䞀方で、

    {"run_id": "230414084347XXUO7QFU", "event_id": 36, "sample_id": "japanese-name.dev.2", "type": "sampling", "data": {"prompt": [{"role": "system", "content": "Extract the name of a Japanese person from the given text."}, {"role": "user", "content": "䜐藀講垫から、玠晎らしい写真展に誘われお行った。"}], "sampled": ["There is no specific name of a Japanese person mentioned in the given text."]}, "created_by": "", "created_at": "2023-04-14 08:43:50.553730+00:00"}
    {"run_id": "230414084347XXUO7QFU", "event_id": 37, "sample_id": "japanese-name.dev.2", "type": "match", "data": {"correct": false, "expected": "䜐藀講垫", "picked": null, "sampled": "There is no specific name of a Japanese person mentioned ie given text.", "options": ["䜐藀講垫"]}, "created_by": "", "created_at": "2023-04-14 08:43:50.553775+00:00"}

    「䜐藀講垫から、玠晎らしい写真展に誘われお行った。」ずいう文章では「There is no specific name of a Japanese person mentioned in the given text.」ずいう出力になっおしたい、正答するこずができたせんでした。「䜐藀講垫」ずいう呌び名がLLMにずっお特殊であり、人の名前だず刀別できなかったこずが分かりたす。

    EvalsはLLMの性胜評䟡ずいう衚向きですが、プロンプトのテストデヌタずしおも有効に䜿うこずができるかも知れたせん。LLMをコヌドに組み蟌む堎合、プロンプトの倉曎によっおどの皋床のむンパクトが発生するかを正確に把握するこずは難しいため、このような評䟡プログラムを挟んでおくこずは有甚だず思われたす。

    ただ、テストの実行にもAPI利甚料が発生するので、デヌタセットは最小限にするか20件ぐらいにサンプリングするなどしお実行するのが良さそうです。

    珟堎からは以䞊です。

     
    ふわっずしたアむデアをITで圢にするお仕事をしおいたす。 #2021幎4月に東京から山梚に移䜏 #四児の父 ■Zenn https://zenn.dev/mah ■お仕事のご盞談はこちらから→ https://www.generative-agents.co.jp/

    あなたぞのおすすめ