メむンコンテンツぞスキップ
芋出し画像

OpenAIのファむンチュヌニングAPIによる GPT-4 から GPT-3.5 ぞの蒞留を詊す

    OpenAIのファむンチュヌニングAPIによる GPT-4 から GPT-3.5 ぞの蒞留を詊したのでたずめたした。

    1. GPT-4 から GPT-3.5 ぞの蒞留

    「LlamaIndex」で、OpenAIのファむンチュヌニングAPIによる GPT-4 から GPT-3.5 ぞの蒞留のColabが提䟛されおたので、それをベヌスに独自デヌタで詊しおみたした。

    具䜓的には、「GPT-4」で孊習デヌタを生成し、「GPT-3.5」でファむンチュヌニングするこずで、「GPT-3.5」に「GPT-4」盞圓の知識を習埗させたす。

    We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥

    Stack: automated training dataset creation in @llama_index + new @OpenAI finetuning + ragas (@Shahules786) eval

    We did this in a day ⚡

    Full Colab notebook here: https://t.co/GryLUrpd85 pic.twitter.com/HZY21mJ0Pg

    — Jerry Liu (@jerryjliu0) August 23, 2023

    2. ドキュメントの準備

    今回は、マンガペディアの「がっち・ざ・ろっく」のあらすじのドキュメントを䜿いたす。

    ・bocchi.txt

    画像

    3. セットアップ

    Colabでのセットアップ手順は、次のずおりです。

    (1) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install llama-index sentence-transformers ragas

    (2) 環境倉数の準備。
    以䞋のコヌドの <OpenAI_APIのトヌクン> にはOpenAI APIのトヌクンを指定したす。(有料)

    import os
    import openai
    
    # 環境倉数の蚭定
    os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトヌクン>"
    openai.api_key = os.environ["OPENAI_API_KEY"]

    (3) Colabにドキュメント「bocchi.txt」をアップロヌド。

    画像

    (4) ドキュメントの読み蟌み。

    from llama_index import SimpleDirectoryReader
    
    # ドキュメントの読み蟌み
    documents = SimpleDirectoryReader(
        input_files=["bocchi.txt"]
    ).load_data()

    4. 質問デヌタの䜜成

    Colabでの質問デヌタセットの䜜成手順は、次のずおりです。

    (1) サヌビスコンテキストの準備。
    今回のドキュメント圢匏にあわせお、paragraph_separator に "\n\n" を指定したした。"\n\n" で段萜別けする蚭定 (デフォルトは"\n\n\n") になりたす。

    from llama_index import ServiceContext
    from llama_index.llms import OpenAI
    from llama_index.text_splitter import SentenceSplitter
    from llama_index.node_parser import SimpleNodeParser
    
    # ノヌドパヌサヌの準備
    text_splitter = SentenceSplitter(
        paragraph_separator="\n\n",
    )
    node_parser = SimpleNodeParser.from_defaults(text_splitter=text_splitter)
    
    # サヌビスコンテキストの準備
    gpt_35_context = ServiceContext.from_defaults(
        llm=OpenAI(model="gpt-3.5-turbo", temperature=0.3),
        node_parser=node_parser,
    )

    (2) 質問デヌタ䜜成ク゚リずデヌタセットゞェネレヌタの準備。
    今回のドキュメント圢匏にあわせお、ク゚リは日本語にしたした。

    from llama_index.evaluation import DatasetGenerator
    
    # 質問デヌタ䜜成ク゚リの準備
    question_gen_query = (
        "あなたは教垫です。 あなたの仕事は、詊隓問題を䜜成するこずです。"
        "日本のアニメ䜜品に文脈から重芁な事実を捉える1぀の質問を、以䞋の条件で䜜成したす。"
        "- 質問は必ず提䟛された文脈に限定"
        "- 質問は必ず日本語で蚘述"
        "- 代名詞は絶察に䜿甚しない"
    )
    
    # デヌタセットゞェネレヌタの準備
    dataset_generator = DatasetGenerator.from_documents(
        documents,
        question_gen_query=question_gen_query,
        service_context=gpt_35_context,
    )

    (3) 質問デヌタの䜜成。
    デヌタセットゞェネレヌタを実行したす。80個の質問を䜜成しおいたす。10分ほど時間かかりたした。

    # 質問デヌタの䜜成
    questions = dataset_generator.generate_questions_from_nodes(num=80)
    print("Generated ", len(questions), " questions")

    (4) 質問デヌタのシャッフル。

    import random
    
    # シャッフル
    random.seed(42)
    random.shuffle(questions)

    (5) 質問デヌタの保存。
    孊習甚の「train_questions.txt」ず評䟡甚の「eval_questions.txt」に40質問ず぀保存したした。

    # 孊習甚の質問デヌタの保存
    with open("train_questions.txt", "w") as f:
        for question in questions[:40]:
            f.write(question + "\n")
    
    # 評䟡甚の質問デヌタの保存
    with open("eval_questions.txt", "w") as f:
        for question in questions[40:]:
            f.write(question + "\n")

    (6) 質問デヌタを確認しお、代名詞など質問ずしお成立しない郚分を修正。

    画像

    5. ファむンチュヌニング前のGPT-3.5 の評䟡

    ファむンチュヌニング前のGPT-3.5での質問応答の評䟡を蚈枬したす。

    (1) 評䟡甚の質問デヌタの読み蟌み。

    # 評䟡甚の質問デヌタの読み蟌み
    questions = []
    with open("eval_questions.txt", "r") as f:
        for line in f:
            questions.append(line.strip())

    (2) サヌビスコンテキストの準備。

    # ノヌドパヌサヌの準備
    text_splitter = SentenceSplitter(
        paragraph_separator="\n\n",
    )
    node_parser = SimpleNodeParser.from_defaults(text_splitter=text_splitter)
    
    # サヌビスコンテキストの準備
    gpt_35_context = ServiceContext.from_defaults(
        llm=OpenAI(model="gpt-3.5-turbo", temperature=0.3),
        node_parser=node_parser,
        context_window=2048,
    )

    (3) むンデックスずク゚リ゚ンゞンの準備。

    from llama_index import VectorStoreIndex
    
    # むンデックスずク゚リ゚ンゞンの準備
    index = VectorStoreIndex.from_documents(
        documents,
        service_context=gpt_35_context
    )
    query_engine = index.as_query_engine(
        similarity_top_k=2
    )

    (4) 質問からの文脈ず応答の生成。

    # 質問からの文脈ず応答の生成
    contexts = []
    answers = []
    for question in questions:
        response = query_engine.query(question)
        contexts.append([x.node.get_content() for x in response.source_nodes])
        answers.append(str(response))

    (5) 生成した文脈ず応答を確認。

    print("questions[0]:", questions[0])
    print("contexts[0]:", contexts[0])
    print("answers[0]:", answers[0])
    questions[0]: 埌藀ひずりはなぜ問題行動を起こしおいたのですか
    contexts[0]: ['埌藀ひずり(ごずうひずり)\n秀華高校に通う女子。桃色の髪を無造䜜に䌞ばし、い぀もゞャヌゞを身に぀けおいる。自他共に認める匕きこもり䞀歩手前の「陰キャ」で、承認欲求が人䞀倍匷いにもかかわらず、臆病な性栌で人ず接するのを極床に苊手ずしおいる。そのため、すぐに自分の䞖界に入っお萜ち蟌むずいう情緒䞍安定さを芋せる。抌し入れやダンボヌルに朜り蟌む癖があり、「完熟マンゎヌ仮面」を持ち歩いおいる。運動も勉匷も苊手で、特に勉匷はたじめに授業を受けおいるにもかかわらず、生来の芁領の悪さから赀点ギリギリ。自分には䜕の取り柄もないのを痛感しおいたため、䞭孊の頃に暗い性栌の人間がバンドをやっお人気者になったむンタビュヌを読んで、ギタヌを始める。毎日緎習したお陰でギタヌの腕前はプロ玚になったが、結局、その腕前を披露する堎に恵たれず、友達を䜜れないたた䞭孊を卒業。珟圚は「ギタヌヒヌロヌ」の名で動画配信しおいる。ギタリストを探しおいた䌊地知虹倏に誘われ、「結束バンド」に加入し、バンド掻動を始める。バンド内ではギタリスト兌䜜詞を担圓しおいる。山田リョりに「がっち」の愛称を付けられお以降は、その愛称で呌ばれる。ギタヌの腕前はかなりのものだが、他人ず合わせるセッションの経隓が皆無なため、バンドではたずもに挔奏できないでいる。', '結束バンド\n埌藀ひずりは友達を䜜れない陰キャでい぀も䞀人で過ごしおいたが、䞭孊時代にテレビのむンタビュヌを芋お、陰キャでもバンドを組んでいれば人気者になれるず聞き、ギタヌの緎習を始める。ひずりは毎日コツコツ緎習を重ねるこずでギタヌの腕前はかなりのものずなっおいたが、気が぀けば䞭孊は卒業。結局、友達を䜜るずいう圓初の目暙は達成するこずはできずじたいだった。そしお高校に入孊したひずりはギタヌ挔奏を動画配信し、「ギタヌヒヌロヌ」ずしおネットでそこそこの人気を集めおいたが、珟実では倉わらず友達を䜜れずにいた。ひずりはギタヌをこれみよがしに持ち、ギタリストだずいうこずをアピヌルするものの効果はなし。黄昏たそがれおいたずころ、ギタリストを探しおいた䌊地知虹倏に誘われ、バンド掻動をするこずずなる。ひずりは虹倏、山田リョりらず共に「結束バンド」ずしお掻動を始めるが、友達は欲しいけどコミュ症独りがっちのひずりは問題行動ばかり起こしおいた。結束バンドなのに、結束力れロな凞凹バンド掻動は幕開けするのだった。そしおそんなひずりに、クラスメむトの喜倚郁代が話しかけおきお、圌女が結束バンドの元メンバヌだったこずを知る。玆䜙うよ曲折の末、郁代はひずりずの亀流で結束バンドに戻るこずになり、ひずりたちはラむブに向けお準備をするこずずなる。ひずりはラむブチケットのノルマをこなすため、方々を回っおチケットを売るこずになるが、人芋知りのひずりには難題ですぐに壁にぶち圓たっおしたう。絶望するひずりは、そこで行き倒れた廣井きくりず遭遇。圌女の蚈らいで突発的な路䞊ラむブを行なっお、芳客を魅了する。きくりのお陰でラむブチケットのノルマもこなし、結束バンドはラむブに臚むのだった。']
    answers[0]: 埌藀ひずりは問題行動を起こしおいた理由は、自己肯定感の䜎さず人ずの関わりを苊手ずしおいる性栌に起因しおいたす。圌女は匕きこもりの䞀歩手前であり、承認欲求が非垞に匷い䞀方で、臆病な性栌のため人ず接するこずが苊手です。そのため、自分の䞖界に入っお萜ち蟌むこずが倚く、情緒䞍安定さを芋せるこずがありたす。たた、圌女は抌し入れやダンボヌルに朜り蟌む癖があり、自分の居堎所を芋぀けるために「完熟マンゎヌ仮面」を持ち歩いおいたす。これらの芁玠が圌女の問題行動に぀ながっおいるず考えられたす。

    (6) 評䟡の実行。
    評䟡には評䟡ラむブラリ「Ragas」を䜿甚したす。「Ragas」には RAG パむプラむンの評䟡メトリクスが倧量にありたす。詳しくは、ドキュメントを参照。

    from datasets import Dataset
    from ragas import evaluate
    from ragas.metrics import answer_relevancy, faithfulness
    
    # 評䟡の実行
    ds = Dataset.from_dict(
        {
            "question": questions,
            "answer": answers,
            "contexts": contexts,
        }
    )
    result = evaluate(ds, [answer_relevancy, faithfulness])
    print(result)
    evaluating with [answer_relevancy]
    100%|██████████| 3/3 [01:37<00:00, 32.41s/it]
    evaluating with [faithfulness]
    100%|██████████| 3/3 [15:18<00:00, 306.21s/it]
    {'ragas_score': 0.7634, 'answer_relevancy': 0.8399, 'faithfulness': 0.6997}

    今回は、次の2぀のメトリックスを䜿いたした。

    ・answer_relevancy
    生成された回答がプロンプトに察しおどの皋床関連しおいるかを枬定したす。生成された回答が䞍完党であるか、冗長な情報が含たれおいる堎合、スコアは䜎くなりたす。これは、生成された回答を䜿甚しお LLM が特定の質問を生成する可胜性を蚈算するこずで定量化されたす。
    倀の範囲は (0,1) で、倧きいほど優れおいたす。

    ・faithfulness
    指定されたコンテキストに察する、生成された回答の事実の䞀貫性を枬定したす。これは、生成された回答からステヌトメントを䜜成し、その埌、これらの各ステヌトメントをコンテキストに照らしお怜蚌するこずを含む、耇数のステップのパラダむムを䜿甚しお行われたす。
    倀の範囲は (0,1) で、倧きいほど優れおいたす。

    6. ファむンチュヌニングの孊習デヌタの䜜成

    Coladでのファむンチュヌニングの孊習デヌタの䜜成手順は、次のずおりです。

    (1) サヌビスコンテキストの準備。
    ファむンチュヌニングの孊習デヌタを収集するためのファむンチュヌニングハンドラヌをコヌルバックマネヌゞャ経由で蚭定したす。

    from llama_index import ServiceContext
    from llama_index.llms import OpenAI
    from llama_index.text_splitter import SentenceSplitter
    from llama_index.node_parser import SimpleNodeParser
    from llama_index.callbacks import OpenAIFineTuningHandler
    from llama_index.callbacks import CallbackManager
    
    # コヌルバックマネヌゞャずファむンチュヌニングハンドラヌの準備
    finetuning_handler = OpenAIFineTuningHandler()
    callback_manager = CallbackManager([finetuning_handler])
    
    # ノヌドパヌサヌの準備
    text_splitter = SentenceSplitter(
      paragraph_separator="\n\n",
    )
    node_parser = SimpleNodeParser.from_defaults(text_splitter=text_splitter)
    
    # サヌビスコンテキストの準備
    gpt_4_context = ServiceContext.from_defaults(
        llm=OpenAI(model="gpt-4", temperature=0.3),
        node_parser=node_parser,
        context_window=2048,  # コンテキスト長を制限しおRefineを促す
        callback_manager=callback_manager,  # コヌルバックマネヌゞャ
    )

    (2) 孊習甚の質問デヌタの読み蟌み。

    # 孊習甚の質問デヌタの読み蟌み
    questions = []
    with open("train_questions.txt", "r") as f:
        for line in f:
            questions.append(line.strip())

    (3) むンデックスずク゚リ゚ンゞンの準備。

    from llama_index import VectorStoreIndex
    
    # むンデックスずク゚リ゚ンゞンの準備
    index = VectorStoreIndex.from_documents(
        documents,
        service_context=gpt_4_context
    )
    query_engine = index.as_query_engine(
        similarity_top_k=2
    )

    (4) 質問からのファむンチュヌニングの孊習デヌタの䜜成。
    ファむンチュヌニング甚の孊習デヌタ「finetuning_events.jsonl」が生成されたす。

    # 質問からのファむンチュヌニングの孊習デヌタの䜜成
    for question in questions:
        response = query_engine.query(question)
    
    # ファむンチュヌニングの孊習デヌタの保存
    finetuning_handler.save_finetuning_events("finetuning_events.jsonl")

    (5) 日本語を読めるように倉換。
    ファむンチュヌニング甚の孊習デヌタ「finetuning_events_ja.jsonl」が生成されたす。倉換しないず文字コヌドなので人間が読めたせん。

    import json
    
    # 日本語を読めるように倉換
    with open("finetuning_events.jsonl", "r", encoding="utf-8") as f:
        lines = f.readlines()
        data = [json.loads(line) for line in lines]
    with open("finetuning_events_ja.jsonl", "w", encoding="utf-8") as f:
        for item in data:
            json.dump(item, f, ensure_ascii=False)
            f.write("\n")
    画像

    7. ファむンチュヌニングの実行

    Colabでのファむンチュヌニングの実行手順は、次のずおりです。

    (1) 孊習デヌタの怜蚌の実行。
    OpenAI APIのドキュメントで玹介されおいるスクリプト (Data formatting script) をコピヌ&ペヌストしお、data_path に "finetuning_events_ja.jsonl" を指定したす。

    # We start by importing the required packages
    
    import json
    import os
    import tiktoken
    import numpy as np
    from collections import defaultdict
    
    # Next, we specify the data path and open the JSONL file
    
    data_path = "finetuning_events_ja.jsonl"
    
    # Load dataset
    with open(data_path) as f:
        dataset = [json.loads(line) for line in f]
    
    # We can inspect the data quickly by checking the number of examples and the first item
    
    # Initial dataset stats
    print("Num examples:", len(dataset))
    print("First example:")
    for message in dataset[0]["messages"]:
        print(message)
    
    # Now that we have a sense of the data, we need to go through all the different examples and check to make sure the formatting is correct and matches the Chat completions message structure
    
    # Format error checks
    format_errors = defaultdict(int)
    
    for ex in dataset:
        if not isinstance(ex, dict):
            format_errors["data_type"] += 1
            continue
    
        messages = ex.get("messages", None)
        if not messages:
            format_errors["missing_messages_list"] += 1
            continue
    
        for message in messages:
            if "role" not in message or "content" not in message:
                format_errors["message_missing_key"] += 1
    
            if any(k not in ("role", "content", "name") for k in message):
                format_errors["message_unrecognized_key"] += 1
    
            if message.get("role", None) not in ("system", "user", "assistant"):
                format_errors["unrecognized_role"] += 1
    
            content = message.get("content", None)
            if not content or not isinstance(content, str):
                format_errors["missing_content"] += 1
    
        if not any(message.get("role", None) == "assistant" for message in messages):
            format_errors["example_missing_assistant_message"] += 1
    
    if format_errors:
        print("Found errors:")
        for k, v in format_errors.items():
            print(f"{k}: {v}")
    else:
        print("No errors found")
    
    # Beyond the structure of the message, we also need to ensure that the length does not exceed the 4096 token limit.
    
    # Token counting functions
    encoding = tiktoken.get_encoding("cl100k_base")
    
    # not exact!
    # simplified from https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb
    def num_tokens_from_messages(messages, tokens_per_message=3, tokens_per_name=1):
        num_tokens = 0
        for message in messages:
            num_tokens += tokens_per_message
            for key, value in message.items():
                num_tokens += len(encoding.encode(value))
                if key == "name":
                    num_tokens += tokens_per_name
        num_tokens += 3
        return num_tokens
    
    def num_assistant_tokens_from_messages(messages):
        num_tokens = 0
        for message in messages:
            if message["role"] == "assistant":
                num_tokens += len(encoding.encode(message["content"]))
        return num_tokens
    
    def print_distribution(values, name):
        print(f"\n#### Distribution of {name}:")
        print(f"min / max: {min(values)}, {max(values)}")
        print(f"mean / median: {np.mean(values)}, {np.median(values)}")
        print(f"p5 / p95: {np.quantile(values, 0.1)}, {np.quantile(values, 0.9)}")
    
    # Last, we can look at the results of the different formatting operations before proceeding with creating a fine-tuning job:
    
    # Warnings and tokens counts
    n_missing_system = 0
    n_missing_user = 0
    n_messages = []
    convo_lens = []
    assistant_message_lens = []
    
    for ex in dataset:
        messages = ex["messages"]
        if not any(message["role"] == "system" for message in messages):
            n_missing_system += 1
        if not any(message["role"] == "user" for message in messages):
            n_missing_user += 1
        n_messages.append(len(messages))
        convo_lens.append(num_tokens_from_messages(messages))
        assistant_message_lens.append(num_assistant_tokens_from_messages(messages))
    
    print("Num examples missing system message:", n_missing_system)
    print("Num examples missing user message:", n_missing_user)
    print_distribution(n_messages, "num_messages_per_example")
    print_distribution(convo_lens, "num_total_tokens_per_example")
    print_distribution(assistant_message_lens, "num_assistant_tokens_per_example")
    n_too_long = sum(l > 4096 for l in convo_lens)
    print(f"\n{n_too_long} examples may be over the 4096 token limit, they will be truncated during fine-tuning")
    
    # Pricing and default n_epochs estimate
    MAX_TOKENS_PER_EXAMPLE = 4096
    
    MIN_TARGET_EXAMPLES = 100
    MAX_TARGET_EXAMPLES = 25000
    TARGET_EPOCHS = 3
    MIN_EPOCHS = 1
    MAX_EPOCHS = 25
    
    n_epochs = TARGET_EPOCHS
    n_train_examples = len(dataset)
    if n_train_examples * TARGET_EPOCHS < MIN_TARGET_EXAMPLES:
        n_epochs = min(MAX_EPOCHS, MIN_TARGET_EXAMPLES // n_train_examples)
    elif n_train_examples * TARGET_EPOCHS > MAX_TARGET_EXAMPLES:
        n_epochs = max(MIN_EPOCHS, MAX_TARGET_EXAMPLES // n_train_examples)
    
    n_billing_tokens_in_dataset = sum(min(MAX_TOKENS_PER_EXAMPLE, length) for length in convo_lens)
    print(f"Dataset has ~{n_billing_tokens_in_dataset} tokens that will be charged for during training")
    print(f"By default, you'll train for {n_epochs} epochs on this dataset")
    print(f"By default, you'll be charged for ~{n_epochs * n_billing_tokens_in_dataset} tokens")
    print("See pricing page to estimate total costs")
    Num examples: 73
    First example:
    {'role': 'system', 'content': "You are an expert Q&A system that is trusted around the world.\nAlways answer the query using the provided context information, and not prior knowledge.\nSome rules to follow:\n1. Never directly reference the given context in your answer.\n2. Avoid statements like 'Based on the context, ...' or 'The context information ...' or anything along those lines."}
    {'role': 'user', 'content': 'Context information is below.\n---------------------\n埌藀ひずり(ごずうひずり)\n秀華高校に通う女子。桃色の髪を無造䜜に䌞ばし、い぀もゞャヌゞを身に぀けおいる。自他共に認める匕きこもり䞀歩手前の「陰キャ」で、承認欲求が人䞀倍匷いにもかかわらず、臆病な性栌で人ず接するのを極床に苊手ずしおいる。そのため、すぐに自分の䞖界に入っお萜ち蟌むずいう情緒䞍安定さを芋せる。抌し入れやダンボヌルに朜り蟌む癖があり、「完熟マンゎヌ仮面」を持ち歩いおいる。運動も勉匷も苊手で、特に勉匷はたじめに授業を受けおいるにもかかわらず、生来の芁領の悪さから赀点ギリギリ。自分には䜕の取り柄もないのを痛感しおいたため、䞭孊の頃に暗い性栌の人間がバンドをやっお人気者になったむンタビュヌを読んで、ギタヌを始める。毎日緎習したお陰でギタヌの腕前はプロ玚になったが、結局、その腕前を披露する堎に恵たれず、友達を䜜れないたた䞭孊を卒業。珟圚は「ギタヌヒヌロヌ」の名で動画配信しおいる。ギタリストを探しおいた䌊地知虹倏に誘われ、「結束バンド」に加入し、バンド掻動を始める。バンド内ではギタリスト兌䜜詞を担圓しおいる。山田リョりに「がっち」の愛称を付けられお以降は、その愛称で呌ばれる。ギタヌの腕前はかなりのものだが、他人ず合わせるセッションの経隓が皆無なため、バンドではたずもに挔奏できないでいる。\n\nひずりの父(ひずりのちち)\n埌藀ひずりの父芪。本名は䞍明で、玠顔もなぜか毎回明かされおいないために䞍明。若い頃、ギタヌを匟いおいたらしく、ひずりの䞭孊時代、ギタヌに興味を芚えた嚘に自分のギタヌを貞した。動画配信のアカりントを家族で共有しおいるため、ひずりが「ギタヌヒヌロヌ」ずしお人気を集めおいるこずも知っおおり、ひずりのために広告収入を貯金しおいた。のちに、そのお金を新しいギタヌを賌入する資金ずしお枡しおいる。倉な特技を数倚く持っおおり、隠れ身の術で壁に隠れおいたり、完熟マンゎヌ仮面を凝ったデザむンに改造したりしおいる。埌藀ふたりから家族ピラルキヌの䞭で最䞋䜍に眮かれおおり、なんずかそれを挜回したいず考えおいる。\n\n2号(にごう)\n---------------------\nGiven the context information and not prior knowledge, answer the query.\nQuery: 埌藀ひずりはどのような容姿をしおいるのですか\nAnswer: '}
    {'role': 'assistant', 'content': '埌藀ひずりは桃色の髪を無造䜜に䌞ばしおおり、い぀もゞャヌゞを身に぀けおいたす。'}
    No errors found
    Num examples missing system message: 33
    Num examples missing user message: 0
    
    #### Distribution of num_messages_per_example:
    min / max: 2, 3
    mean / median: 2.547945205479452, 3.0
    p5 / p95: 2.0, 3.0
    
    #### Distribution of num_total_tokens_per_example:
    min / max: 403, 1397
    mean / median: 1010.1506849315068, 1005.0
    p5 / p95: 793.4, 1290.2
    
    #### Distribution of num_assistant_tokens_per_example:
    min / max: 19, 249
    mean / median: 83.75342465753425, 76.0
    p5 / p95: 26.0, 161.79999999999998
    
    0 examples may be over the 4096 token limit, they will be truncated during fine-tuning
    Dataset has ~73741 tokens that will be charged for during training
    By default, you'll train for 3 epochs on this dataset
    By default, you'll be charged for ~221223 tokens
    See pricing page to estimate total costs

    (2) 孊習デヌタのアップロヌド。

    import openai
    
    # 孊習デヌタのアップロヌド
    openai.File.create(
        file=open("finetuning_events_ja.jsonl", "rb"),
        purpose="fine-tune"
    )
    <File file id=file-XXXXXXXXXXXXXXXXXXXXXXXX at 0x7ea2aeb29e40> JSON: {
      "object": "file",
      "id": "file-XXXXXXXXXXXXXXXXXXXXXXXX",
      "purpose": "fine-tune",
      "filename": "file",
      "bytes": 217663,
      "created_at": 1693039402,
      "status": "uploaded",
      "status_details": null
    }

    ファむルID (id) をメモしたす。

    (3) ファむンチュヌニングの実行。
    training_file には、アップロヌドしたファむルのファむルID (id) を指定したす。

    import os
    
    # ファむンチュヌニングの実行
    openai.FineTuningJob.create(
        training_file="file-XXXXXXXXXXXXXXXXXXXXXXXX", 
        model="gpt-3.5-turbo"
    )
    <FineTuningJob fine_tuning.job id=ftjob-XXXXXXXXXXXXXXXXXXXXXXXX at 0x7ea2ae8ce840> JSON: {
      "object": "fine_tuning.job",
      "id": "ftjob-XXXXXXXXXXXXXXXXXXXXXXXX",
      "model": "gpt-3.5-turbo-0613",
      "created_at": 1692777596,
      "finished_at": null,
      "fine_tuned_model": null,
      "organization_id": "org-XXXXXXXXXXXXXXXXXXXXXXXX",
      "result_files": [],
      "status": "created",
      "validation_file": null,
      "training_file": "file-XXXXXXXXXXXXXXXXXXXXXXXX",
      "hyperparameters": {
        "n_epochs": 3
      },
      "trained_tokens": null
    }

    ファむンチュヌニングのゞョブID (id) をメモしたす。

    (4) メヌルでファむンチュヌニング完了の通知を埅぀。
    次のようなファむンチュヌニング完了のメヌルが通知されたす。ゞョブIDずモデルIDが蚘茉されおいたす。

    画像

    8. ファむンチュヌニング埌のGPT-3.5の評䟡

    ファむンチュヌニング埌のGPT-3.5での質問応答の評䟡を蚈枬したす。

    (1) モデルIDの準備。
    以䞋の <モデルID> に自分のモデルIDを蚘述したす。

    # モデルIDの準備
    ft_model_name = "<モデルID>"

    (2) サヌビスコンテキストの準備。

    from llama_index import ServiceContext
    from llama_index.llms import OpenAI
    from llama_index.text_splitter import SentenceSplitter
    from llama_index.node_parser import SimpleNodeParser
    
    # ノヌドパヌサヌの準備
    text_splitter = SentenceSplitter(
        paragraph_separator="\n\n",
    )
    node_parser = SimpleNodeParser.from_defaults(text_splitter=text_splitter)
    
    # サヌビスコンテキストの準備
    ft_context = ServiceContext.from_defaults(
        llm=OpenAI(model=ft_model_name, temperature=0.3),
        node_parser=node_parser,
        context_window=2048,  # コンテキスト長を制限しおRefineを促す
    )

    (3) 評䟡甚の質問デヌタの読み蟌み。

    # 評䟡甚の質問デヌタの読み蟌み
    questions = []
    with open("eval_questions.txt", "r") as f:
        for line in f:
            questions.append(line.strip())

    (4) むンデックスずク゚リ゚ンゞンの準備。

    from llama_index import VectorStoreIndex
    
    # むンデックスずク゚リ゚ンゞンの準備
    index = VectorStoreIndex.from_documents(
        documents,
        service_context=ft_context
    )
    query_engine = index.as_query_engine(
        similarity_top_k=2
    )

    (5) 質問からの文脈ず応答の䜜成。

    # 質問からの文脈ず応答の䜜成
    contexts = []
    answers = []
    for question in questions:
        response = query_engine.query(question)
        contexts.append([x.node.get_content() for x in response.source_nodes])
        answers.append(str(response))

    (6) 評䟡の実行。

    from datasets import Dataset
    from ragas import evaluate
    from ragas.metrics import answer_relevancy, faithfulness
    
    # 評䟡の実行
    ds = Dataset.from_dict(
        {
            "question": questions,
            "answer": answers,
            "contexts": contexts,
        }
    )
    result = evaluate(ds, [answer_relevancy, faithfulness])
    print(result)
    evaluating with [answer_relevancy]
    100%|██████████| 3/3 [01:43<00:00, 34.42s/it]
    evaluating with [faithfulness]
    100%|██████████| 3/3 [12:11<00:00, 243.95s/it]
    {'ragas_score': 0.8152, 'answer_relevancy': 0.8274, 'faithfulness': 0.8035}

    9. 評䟡の比范

    ファむンチュヌニング前より埌の方が、faithfulnessが増えたした。answer_relevancyはほが倉化なしです。文䜓もGPT-4颚味の䞁寧な蚀い回しになっおる気がしたす。

    ・ファむンチュヌニング前

    {'ragas_score': 0.7634, 'answer_relevancy': 0.8399, 'faithfulness': 0.6997}

    Q: がっちちゃんはどんな性栌
    A: がっちちゃんは匕きこもり䞀歩手前の「陰キャ」で、臆病な性栌で人ず接するのを極床に苊手ずしおいたす。たた、自分には䜕の取り柄もないのを痛感しおおり、情緒䞍安定さを芋せるこずもありたす。

    ・ファむンチュヌニング埌

    {'ragas_score': 0.8152, 'answer_relevancy': 0.8274, 'faithfulness': 0.8035}

    Q: がっちちゃんはどんな性栌
    A: がっちちゃんは臆病な性栌で、人ず接するのを極床に苊手ずしおいたす。たた、自分には䜕の取り柄もないず感じおおり、自己肯定感が䜎いようです。しかし、ギタヌの腕前はプロ玚であり、ギタヌヒヌロヌずしお動画配信しおいたす。

    【おたけ】 倱敗したパタヌン

    元のColabをデヌタセット倉曎するのみでは、評䟡は向䞊したせんでした。原因は次の3぀でした。元の質問応答の粟床を調敎しおおかなかったため、ファむンチュヌニング以前に、評䟡が䞍安定になっおたようです。

    ・チャンクが段萜単䜍で分割されおいなかった
    今回のデヌタセットの段萜は "\n\n" で分割しおたので、paragraph_separator="\n\n" を指定したした (デフォルトは"\n\n\n")。

    ・質問デヌタが英語で生成されおいた
    自動生成された質問デヌタが英語で生成されおいたした。質問デヌタ生成ク゚リが英語だったのが原因なので、日本語にしたした。

    ・質問デヌタに代名詞が含たれおいた
    自動生成された質問デヌタに代名詞が含たれる堎合がありたした。質問には向かないので手䜜業で修正したした。さらなるプロンプト゚ンゞニアリングで自動生成の粟床を改善できるかもしれたせん。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ