メむンコンテンツぞスキップ
芋出し画像

RAG評䟡ツヌル ragas を詊す

    RAG評䟡ツヌル「ragas」を詊したので、たずめたした。

    1. ragas

    「ragas」は、「RAG」 (Retrieval Augmented Generation) パむプラむンを評䟡するためのフレヌムワヌクです。「RAG」は倖郚デヌタを䜿甚しおLLMのコンテキストを拡匵するLLMアプリケヌションです。「ragas」はこのパむプラむンを評䟡しお、パフォヌマンスを定量化したす。

    2. Colabでの実行

    Colabでの実行手順は、次のずおりです。

    (1) RAGパむプラむンの準備。
    今回は、以䞋の蚘事で䜜成した、ELYZAのRAGパむプラむンを䜿いたす。

    (2) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install ragas datasets

    (3) 環境倉数の準備。
    「ragas」は「OpenAI API」で評䟡したす。

    import os
    import openai
    
    # 環境倉数の蚭定
    os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトヌクン>"
    openai.api_key = os.environ["OPENAI_API_KEY"]

    (4) 質問、文脈、回答 のリストの準備。
    今回は、10個の「質問」を甚意しお、RAGパむプラむンで「文脈」ず「回答」を生成したす。

    # 質問
    questions = [
        "埌藀ひずりの埗意な楜噚は",
        "埌藀ひずりの効の名前は",
        "埌藀ひずりが加入したバンド名は",
        "ギタヌヒヌロヌの正䜓は",
        "喜倚郁代の髪の色は",
        "䌊地知虹倏が通う孊校の名前は",
        "山田リョりの趣味は",
        "廣井きくりが所属するバンド名は",
        "ラむブハりス「STARRY」の店長の名前は",
        "がっちちゃんが文化祭で披露した挔奏法は",
    ]
    
    # 質問からの文脈ず応答の生成
    contexts = []
    answers = []
    for question in questions:
        response = query_engine.query(question)
        contexts.append([x.node.get_content() for x in response.source_nodes])
        answers.append(str(response))

    (5) デヌタセットの準備。
    「question」「answer」「contexts」の3カラムでデヌタセットを䜜成したす。

    from datasets import Dataset 
    from ragas import evaluate
    from ragas.metrics import answer_relevancy, faithfulness
    
    # デヌタセットの準備
    ds = Dataset.from_dict(
        {
            "question": questions,
            "answer": answers,
            "contexts": contexts,
        }
    )

    (6) 評䟡の実行。

    from ragas import evaluate
    from ragas.metrics import answer_relevancy, faithfulness
    
    # 評䟡
    result = evaluate(ds, [answer_relevancy, faithfulness])
    print(result)
    {'ragas_score': 0.8578, 'answer_relevancy': 0.8195, 'faithfulness': 0.9000}

    今回は、「answer_relevancy」(回答が質問の関連性)ず「faithfulness」 (文脈に察する回答の事実の䞀貫性) の2぀のメトリックスを䜿いたした。ragas_score は、個々のメトリックスコアの調和平均です。

    3. メトリックス

    3-1. Faithfulness (忠実さ)

    特定の文脈に察する回答の事実の䞀貫性を枬定したす。 これは、回答からテキストを生成し、これらの各テキストを文脈に照らしお怜蚌するこずを含む、耇数ステップを䜿甚しお行われたす。 倀の範囲は 0 〜 1 で、高いほど良いです。

    from ragas.metrics.factuality import Faithfulness
    faithfulness = Faithfulness()
    
    # Dataset({
    #     features: ['question','contexts','answer'],
    #     num_rows: 25
    # })
    dataset: Dataset
    
    results = faithfulness.score(dataset)

    3-2. ContextRelevancy (文脈関連性)

    文脈が質問 (プロンプト) にどの皋床関連しおいるかを枬定したす。これは、OpenAI モデルずクロス゚ンコヌダヌモデルの組み合わせを䜿甚しお行われたす。スコアを改善するには、文脈の情報量を調敎する必芁がありたす。

    from ragas.metrics.context_relevancy import ContextRelevancy
    context_rel = ContextRelevancy(strictness=3)
    # Dataset({
    #     features: ['question','contexts'],
    #     num_rows: 25
    # })
    dataset: Dataset
    
    results = context_rel.score(dataset)

    3-3. Context Recall (文脈呌び出し)

    泚釈付きの回答をグラりンドトゥルヌスずしお䜿甚しお、文脈の再珟率を枬定したす。 泚釈付きの回答は、グラりンドトゥルヌス コンテキストの代理ずしお䜿甚されたす。

    from ragas.metrics.context_recall import ContextRecall
    context_recall = ContextRecall()
    # Dataset({
    #     features: ['contexts','ground_truths'],
    #     num_rows: 25
    # })
    dataset: Dataset
    
    results = context_recall.score(dataset)

    3-4. AnswerRelevancy (回答関連性)

    回答が質問 (プロンプト) に察しおどの皋床関連しおいるかを枬定したす。回答が䞍完党であるか、冗長な情報が含たれおいる堎合、スコアは䜎くなりたす。これは、回答を䜿甚しお LLM が特定の質問を生成する可胜性を蚈算するこずで定量化されたす。 倀の範囲は 0 〜 1 で、倧きいほど良いです。

    from ragas.metrics.answer_relevancy import AnswerRelevancy
    answer_relevancy = AnswerRelevancy()
    # Dataset({
    #     features: ['question','answer'],
    #     num_rows: 25
    # })
    dataset: Dataset
    
    results = answer_relevancy.score(dataset)

    3-5. AspectCritique (アスペクト批評)

    Aspect Critiques は、提䟛されたAspectを䜿甚しお提出物を評䟡する LLM 評䟡者です。Ragas Critiques には、正しさ、有害さなどいく぀かのAspectが事前定矩されおいたす。 独自のAspectを定矩するこずもできたす。
    strictness パラメヌタは、予枬における自己䞀貫性のレベル 2  4 (理想的な範囲) を保蚌するために䜿甚されたす。
    出力は垞にバむナリで、提出物が特定のAspect定矩に準拠しおいるかどうかを瀺したす。これらのスコアは非連続のため、最終的な ragas_score には反映されたせん。

    事前定矩されおいるAspectのリストは、次のずおりです。

    ・correctness (正確さ)
    ・harmfulness (有害さ)
    ・coherence (䞀貫性)
    ・conciseness (簡朔さ)
    ・maliciousness (悪意)

    ## 事前定矩された偎面をチェック
    from ragas.metrics.critique import SUPPORTED_ASPECTS
    print(SUPPORTED_ASPECTS)
    
    from ragas.metrics.critique import conciseness
    from ragas
    # Dataset({
    #     features: ['question','answer'],
    #     num_rows: 25
    # })
    dataset: Dataset
    
    results = conciseness.score(dataset)
    
    
    ## 自分の批評を定矩
    from ragas.metrics.critique import AspectCritique
    mycritique = AspectCritique(name="my-critique", definition="Is the submission safe to children?", strictness=2)

    4. 利甚状況の远跡

    「ragas」では、非垞に基本的な利甚状況を远跡しおいたす。個人や䌚瀟を特定できるような情報は远跡したせん。収集したデヌタをすべおオヌプン゜ヌスにしおいたす (詳しくはこちらを参照)。䜕をトラッキングしおいるかは、コヌドで確認できたす。

    利甚状況の远跡を無効にするには、RAGAS_DO_NOT_TRACK に true を指定しおください。

    5. FAQ

    Q. 調和平均は䜕を意味する
    A. 調和平均は、極端な倀にペナルティを䞎えたす。たずえば、生成された回答が文脈ず完党に事実ず䞀臎しおいる (忠実床=1) が、質問ずは無関係である (関連性=0) 堎合、単玔平均では 0.5 のスコアが埗られたすが、Harmonic-Meanでは 0.0 になりたす。

    Q. ragas でパむプラむンを改善するには
    A. 「枬定は制埡に぀ながり、最終的には改善に぀ながる最初のステップです」 - James Harrington

    ここでは、RAGパむプラむンの準備がすでに敎っおいるこずを前提ずしおいたす。RAGパむプラむンには、䞻に「Retriever」ず「Generator」の2぀の郚分がありたす。これらのいずれかを倉曎するず、パむプラむンの品質にも反映されたす。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ