メインコンテンツへスキップ
見出し画像

LlamaIndex の DocumentSummaryIndex を試す

    「LlamaIndex」の「DocumentSummaryIndex」を試したので、まとめました。

    1. DocumentSummaryIndex

    「DocumentSummaryIndex」は、要約の埋め込みで検索し、合成用のチャンクにリンクするためのインデックスです。チャンクを直接取得する場合と比較して、チャンクを取得する前に、関連する文書を高レベルで取得するのに役立ちます。

    画像

    2. セットアップ

    Colabでのセットアップ手順は、次のとおりです。

    (1) パッケージのインストール。

    # パッケージのインストール
    !pip install llama-index

    (2) 環境変数の準備。
    以下のコードの <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料)

    import os
    
    # 環境変数の設定
    openai.api_key = "<OpenAI_APIのトークン>"

    (3) 非同期処理の有効化。
    「tree_summarize」で必要になるため、有効化します。

    import nest_asyncio
    
    # 非同期処理の有効化
    nest_asyncio.apply()

    (4) ログレベルの設定。

    import logging
    import sys
    
    # ログレベルの設定
    logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

    3. ドキュメントの準備

    Colabでのドキュメントの準備手順は、次のとおりです。

    (1) Wikipediaからのデータ読み込み。
    Wikipediaから「魔法少女まどか☆マギカ」「ぼっち・ざ・ろっく!」の情報を取得し、テキストファイルに保存します。

    from pathlib import Path
    import requests
    
    # Wikipediaからのデータ読み込み
    wiki_titles = ["魔法少女まどか☆マギカ", "ぼっち・ざ・ろっく!"]
    for title in wiki_titles:
        response = requests.get(
            "https://ja.wikipedia.org/w/api.php",
            params={
                "action": "query",
                "format": "json",
                "titles": title,
                "prop": "extracts",
                # 'exintro': True,
                "explaintext": True,
            },
        ).json()
        page = next(iter(response["query"]["pages"].values()))
        wiki_text = page["extract"]
    
        data_path = Path("data")
        if not data_path.exists():
            Path.mkdir(data_path)
    
        with open(data_path / f"{title}.txt", "w") as fp:
            fp.write(wiki_text)

    dataフォルダに「魔法少女まどか☆マギカ.txt」「ぼっち・ざ・ろっく!.txt」が出力されます。

    画像
    画像

    (2) ドキュメントの読み込み。

    from llama_index import SimpleDirectoryReader
    
    # ドキュメントの読み込み
    anime_docs = []
    for wiki_title in wiki_titles:
        docs = SimpleDirectoryReader(input_files=[f"data/{wiki_title}.txt"]).load_data()
        docs[0].doc_id = wiki_title
        anime_docs.extend(docs)

    4. DocumentSummaryIndexの準備

    Colabでの「DocumentSummaryIndex」の準備手順は、次のとおりです。

    (1) QAプロンプトの定義。
    LlamaIndexの英語版のQAプロンプトの直訳になります。

    from llama_index.llms.base import ChatMessage, MessageRole
    from llama_index.prompts.base import ChatPromptTemplate
    
    # QAシステムプロンプト
    TEXT_QA_SYSTEM_PROMPT = ChatMessage(
        content=(
            "あなたは世界中で信頼されているQAシステムです。\n"
            "事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。\n"
            "従うべきいくつかのルール:\n"
            "1. 回答内で指定されたコンテキストを直接参照しないでください。\n"
            "2. 「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。"
        ),
        role=MessageRole.SYSTEM,
    )
    
    # QAプロンプトテンプレートメッセージ
    TEXT_QA_PROMPT_TMPL_MSGS = [
        TEXT_QA_SYSTEM_PROMPT,
        ChatMessage(
            content=(
                "コンテキスト情報は以下のとおりです。\n"
                "---------------------\n"
                "{context_str}\n"
                "---------------------\n"
                "事前知識ではなくコンテキスト情報を考慮して、クエリに答えます。\n"
                "Query: {query_str}\n"
                "Answer: "
            ),
            role=MessageRole.USER,
        ),
    ]
    
    # チャットQAプロンプト
    CHAT_TEXT_QA_PROMPT = ChatPromptTemplate(message_templates=TEXT_QA_PROMPT_TMPL_MSGS)

    (2) TreeSummarizeプロンプトの定義。
    LlamaIndexの英語版のTreeSummarizeプロンプトの直訳になります。

    from llama_index.llms.base import ChatMessage, MessageRole
    from llama_index.prompts.base import ChatPromptTemplate
    
    # QAシステムプロンプト
    TEXT_QA_SYSTEM_PROMPT = ChatMessage(
        content=(
            "あなたは世界中で信頼されているQAシステムです。\n"
            "事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。\n"
            "従うべきいくつかのルール:\n"
            "1. 回答内で指定されたコンテキストを直接参照しないでください。\n"
            "2. 「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。"
        ),
        role=MessageRole.SYSTEM,
    )
    
    # ツリー要約プロンプトメッセージ
    TREE_SUMMARIZE_PROMPT_TMPL_MSGS = [
        TEXT_QA_SYSTEM_PROMPT,
        ChatMessage(
            content=(
                "複数のソースからのコンテキスト情報を以下に示します。\n"
                "---------------------\n"
                "{context_str}\n"
                "---------------------\n"
                "予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。\n"
                "疑問がある場合は、「情報無し」と答えてください。\n"
                "Query: {query_str}\n"
                "Answer: "
            ),
            role=MessageRole.USER,
        ),
    ]
    
    # ツリー要約プロンプト
    CHAT_TREE_SUMMARIZE_PROMPT = ChatPromptTemplate(
        message_templates=TREE_SUMMARIZE_PROMPT_TMPL_MSGS
    )

    (3) 要約クエリ。
    LlamaIndexの英語版の要約クエリの直訳になります。

    # Summaryクエリ
    SUMMARY_QUERY = "提供されたテキストの内容を要約してください。"

    (4) DocumentSummaryIndexの準備。
    response_mode ="tree_summarize" と use_async=True を指定します。さらに、日本語プロンプトも設定します。

    文書の絞り込みに使う要約が、自動生成されます。

    from llama_index import (
        ServiceContext,
        get_response_synthesizer
    )
    from llama_index.indices.document_summary import DocumentSummaryIndex
    
    # サービスコンテキストの準備
    service_context = ServiceContext.from_defaults(
        chunk_size=1024
    )
    
    # レスポンスシンセサイザーの準備
    response_synthesizer = get_response_synthesizer(
        response_mode="tree_summarize",
        use_async=True,
        text_qa_template=CHAT_TEXT_QA_PROMPT,  # QAプロンプト
        summary_template=CHAT_TREE_SUMMARIZE_PROMPT,  # TreeSummarizeプロンプト
    )
    
    # DocumentSummaryIndexの準備
    doc_summary_index = DocumentSummaryIndex.from_documents(
        anime_docs,
        service_context=service_context,
        response_synthesizer=response_synthesizer,
        summary_query=SUMMARY_QUERY,  # 要約クエリ
    )

    tree_summarize は、各チャンクセットに対して回答を生成し、単一のルートノードに到達するまで、上方向に階層的に回答を生成します。「Refine」とは異なり、並列化できます。

    画像

    TreeSummarizeプロンプトと要約クエリで、全チャンクセットを要約してから、要約群を要約していくことで、1つの要約にまとめます。

    ・TreeSummarizeプロンプトと要約クエリ - チャンクの要約

     複数のソースからのコンテキスト情報を以下に示します。
    ---------------------
    『魔法少女まどか☆マギカ』(まほうしょうじょまどかマギカ)は、シャフト制作による日本のアニメーション作品。...
    ---------------------
    予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。
    疑問がある場合は、「情報無し」と答えてください。
    Query: 提供されたテキストの内容を要約してください。
    Answer:

    ・TreeSummarizeプロンプトと要約クエリ - 要約の要約

     複数のソースからのコンテキスト情報を以下に示します。
    ---------------------
    『魔法少女まどか☆マギカ』は、シャフト制作による日本のアニメーション作品であり、虚淵玄が脚本を手掛けたオリジナル作品です。...
    
    『魔法少女まどか☆マギカ』は、架空の都市見滝原を舞台に、魔法少女たちが魔女と戦う物語です。...
    
    提供されたテキストは、アニメ「魔法少女まどか☆マギカ」のストーリーと作風に関する情報です。...
    
    ---------------------
    予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。
    疑問がある場合は、「情報無し」と答えてください。
    Query: 提供されたテキストの内容を要約してください。
    Answer:
    

    (5) 「魔法少女まどか☆マギカ」の要約の確認。

    # 要約の取得
    print(doc_summary_index.get_document_summary("魔法少女まどか☆マギカ"))

    「魔法少女まどか☆マギカ」は、新しいアプローチで魔法少女もののジャンルを刷新したダーク・ファンタジー作品です。物語は魔法少女たちの運命や苦悩、絶望を描いており、彼女たちが魔女と戦う姿が中心です。作品は複数の解釈がありますが、明確な情報は提供されていません。また、複数の会社が関与しており、新房昭之監督とシャフト制作のタッグによるオリジナル作品として注目されています。作品は多くのファンを獲得し、様々な賞を受賞しました。劇場版『新編』叛逆の物語も高い評価を受けています。さまざまなイベントやコラボレーションも行われました。

    (6) 「ぼっち・ざ・ろっく!」の要約の確認。

    # 要約の取得
    print(doc_summary_index.get_document_summary("ぼっち・ざ・ろっく!"))

    提供されたテキストには、『ぼっち・ざ・ろっく!』という4コマ漫画の情報が含まれています。物語は主人公の後藤ひとりがバンド活動を通じて成長していく様子を描いています。彼は対人コミュニケーションが苦手であり、自己肯定感の低さやコンプレックスを抱えていますが、バンド活動を通じて成長していきます。彼はギターの演奏技術が高く、作詞も行っていますが、バンドでの実力を存分に発揮することができていません。また、ひとり以外のメンバーには虹夏、郁代、リョウというキャラクターがいます。彼らもバンド活動を通じて成長し、夢を追い求めています。

    5. DocumentSummaryIndexの保存と読み込み

    Colabでの「DocumentSummaryIndex」の保存と読み込み手順は、次のとおりです。

    (1) DocumentSummaryIndexの保存。

    # DocumentSummaryIndexの保存
    doc_summary_index.storage_context.persist("index")

    「index」フォルダに、以下のファイルが保存されています。

    ・index
     ・docstore.json
     ・graph_store.json
     ・index_store.json
     ・vector_store.json

    (2) DocumentSummaryIndexの読み込み。

    from llama_index.indices.loading import load_index_from_storage
    from llama_index import StorageContext
    
    # DocumentSummaryIndexの読み込み
    storage_context = StorageContext.from_defaults(persist_dir="index")
    doc_summary_index = load_index_from_storage(storage_context)

    6. DocumentSummaryIndexへの質問応答

    Colabでの「DocumentSummaryIndex」への質問応答の手順は、次のとおりです。

    (1) ChoiceSelectプロンプトの定義。
    LlamaIndexの英語版のChoiceSelectプロンプトの直訳になります。

    from llama_index.prompts.base import PromptTemplate
    from llama_index.prompts.prompt_type import PromptType
    
    # ChoiceSelectプロンプトテンプレート
    DEFAULT_CHOICE_SELECT_PROMPT_TMPL = (
        "書類の一覧を以下に示します。各文書の横には文書の要約とともに番号が付いています。"
        "質問に答えるために参照する必要がある文書の番号を、関連性の高い順に答えてください。"
        "関連性スコアは、文書が質問に対してどの程度関連していると思われるかに基づいて1~10の数値で表します。\n\n"
        "必ず以下の書式で記述してください。"
        "それ以外の文章は絶対に記述しないでください。\n\n"
        "Document 1:\n<summary of document 1>\n\n"
        "Document 2:\n<summary of document 2>\n\n"
        "...\n\n"
        "Document 10:\n<summary of document 10>\n\n"
        "Question: <question>\n"
        "Answer:\n"
        "Doc: 9, Relevance: 7\n"
        "Doc: 3, Relevance: 4\n"
        "Doc: 7, Relevance: 3\n\n"
        "では、はじめましょう。\n\n"
        "{context_str}\n"
        "Question: {query_str}\n"
        "Answer:\n"
    )
    
    # ChoiceSelectプロンプト
    DEFAULT_CHOICE_SELECT_PROMPT = PromptTemplate(
        DEFAULT_CHOICE_SELECT_PROMPT_TMPL, prompt_type=PromptType.CHOICE_SELECT
    )

    (2) クエリエンジンの準備。
    今回は、クエリエンジンでもレスポンスモードに「tree_summarize」を指定します。

    # レスポンスシンセサイザーの準備
    response_synthesizer = get_response_synthesizer(
        response_mode="tree_summarize",
        use_async=True,
        summary_template=CHAT_TREE_SUMMARIZE_PROMPT,  # TreeSummarizeプロンプト
    )
    
    # クエリエンジンの準備
    query_engine = doc_summary_index.as_query_engine(
        choice_select_prompt=DEFAULT_CHOICE_SELECT_PROMPT,  # ChoiceSelectプロンプト
        response_synthesizer=response_synthesizer,
    )

    (3) 「まどか☆マギカ」の質問応答。

    # 質問応答
    response = query_engine.query("まどか☆マギカの主題歌を歌っている歌手は?")
    print(response)
    まどか☆マギカの主題歌を歌っている歌手はClariSとKalafinaです。


    ログを見ると、最初にドキュメントを選択しています。

    書類の一覧を以下に示します。各文書の横には文書の要約とともに番号が付いています。質問に答えるために参照する必要がある文書の番号を、関連性の高い順に答えてください。関連性スコアは、文書が質問に対してどの程度関連していると思われるかに基づいて1~10の数値で表します。
    
    必ず以下の書式で記述してください。それ以外の文章は絶対に記述しないでください。
    
    Document 1:
    <summary of document 1>
    
    Document 2:
    <summary of document 2>
    
    ...
    
    Document 10:
    <summary of document 10>
    
    Question: <question>
    Answer:
    Doc: 9, Relevance: 7
    Doc: 3, Relevance: 4
    Doc: 7, Relevance: 3
    
    では、はじめましょう。
    
    Document 1:
    「魔法少女まどか☆マギカ」は、新しいアプローチで魔法少女もののジャンルを刷新したダーク・ファンタジー作品です。...
    
    Document 2:
    提供されたテキストには、『ぼっち・ざ・ろっく!』という4コマ漫画の情報が含まれています。...
    Question: まどか☆マギカの主題歌を歌っている歌手は?
    Answer:
    Doc: 1, Relevance: 9

    その後、チャンクセット毎に回答を収集し、最後にファイナルアンサーを決定しています。

     複数のソースからのコンテキスト情報を以下に示します。
    ---------------------
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    「まどか☆マギカ」の主題歌を歌っている歌手はClariSとKalafinaです。
    
    情報無し
    
    まどか☆マギカの主題歌を歌っている歌手は、ClariSです。
    
    まどか☆マギカの主題歌を歌っている歌手は、クラリスです。
    
    情報無し
    
    情報無し
    
    まどか☆マギカの主題歌を歌っている歌手はTrySailです。
    
    情報無し
    ---------------------
    予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。
    疑問がある場合は、「情報無し」と答えてください。
    Query: まどか☆マギカの主題歌を歌っている歌手は?
    Answer:    

    (4) ぼっち・ざ・ろっく!の質問応答。

    # 質問応答
    response = query_engine.query("ぼっち・ざ・ろっく!の作者の名前は?")
    print(response)
    ぼっち・ざ・ろっく!の作者の名前ははまじあきです。


    ログを見ると、最初にドキュメントを選択しています。

    書類の一覧を以下に示します。各文書の横には文書の要約とともに番号が付いています。質問に答えるために参照する必要がある文書の番号を、関連性の高い順に答えてください。関連性スコアは、文書が質問に対してどの程度関連していると思われるかに基づいて1~10の数値で表します。
    
    必ず以下の書式で記述してください。それ以外の文章は絶対に記述しないでください。
    
    Document 1:
    <summary of document 1>
    
    Document 2:
    <summary of document 2>
    
    ...
    
    Document 10:
    <summary of document 10>
    
    Question: <question>
    Answer:
    Doc: 9, Relevance: 7
    Doc: 3, Relevance: 4
    Doc: 7, Relevance: 3
    
    では、はじめましょう。
    
    Document 1:
    「魔法少女まどか☆マギカ」は、新しいアプローチで魔法少女もののジャンルを刷新したダーク・ファンタジー作品です。...
    
    Document 2:
    提供されたテキストには、『ぼっち・ざ・ろっく!』という4コマ漫画の情報が含まれています。...
    Question: ぼっち・ざ・ろっく!の作者の名前は?
    Answer:
    Doc: 2, Relevance: 10

    その後、チャンクセット毎に回答を収集し、最後にファイナルアンサーを決定しています。

    複数のソースからのコンテキスト情報を以下に示します。
    ---------------------
    はまじあき
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    情報無し
    
    はまじあき
    
    ぼっち・ざ・ろっく!の作者の名前ははまじあきです。
    ---------------------
    予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。
    疑問がある場合は、「情報無し」と答えてください。
    Query: ぼっち・ざ・ろっく!の作者の名前は?
    Answer:  



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ