メインコンテンツへスキップ
見出し画像

LlamaIndex の RouterQueryEngine を試す

    「LlamaIndex」の「RouterQueryEngine」を試したので、まとめました。

    1. RouterQueryEngine

    「RouterQueryEngine」は、クエリに応じてインデックスを切り替えることができるクエリエンジンです。要約の時は「ListIndex」、質問応答の時は「VectorStoreIndex」のように、用途に応じて切り替えることができます。

    インデックスを切り替えるセレクターは、次の4つが提供されています。

    ・PydanticSingleSelector : Function Callingによるセレクター (OpenAI
    専用)
    ・PydanticMultiSelector : Function Callingによるマルチセレクター (OpenAI専用)
    ・LLMSingleSelector : LLMによるセレクター。
    ・LLMMultiSelector : LLMによるマルチセレクター。

    画像

    2. ドキュメントの準備

    今回は、マンガペディアの「ぼっち・ざ・ろっく!」のあらすじのドキュメントを用意しました。

    ・bocchi.txt

    画像

    3. セットアップ

    Colabでのセットアップ手順は、次のとおりです。

    (1) パッケージのインストール。

    # パッケージのインストール
    !pip install llama-index

    (2) 環境変数の準備。
    以下のコードの <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料)

    import os
    
    # 環境変数の設定
    openai.api_key = "<OpenAI_APIのトークン>"

    (3) ログレベルの設定。

    import logging
    import sys
    
    # ログレベルの設定
    logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

    (4) Colabにドキュメント「bocchi.txt」をアップロード。

    (5) ドキュメントの読み込み。

    from llama_index import SimpleDirectoryReader
    
    # ドキュメントの読み込み
    documents = SimpleDirectoryReader(
        input_files=["bocchi.txt"]
    ).load_data()

    4. RouterQueryEngineの利用

    Colabでの「RouterQueryEngine」の利用手順は、次のとおりです。

    (1) ノード群とストレージコンテキストの準備。

    from llama_index import (
        ServiceContext,
        StorageContext,
    )
    
    # ノード群の取得
    service_context = ServiceContext.from_defaults(chunk_size=1024)
    nodes = service_context.node_parser.get_nodes_from_documents(documents)
    
    # ストレージコンテキストの準備
    storage_context = StorageContext.from_defaults()
    storage_context.docstore.add_documents(nodes)                       

    (2) ListIndexとVectorStoreIndexの準備。
    同じ文書を別のインデックスで格納しています。

    from llama_index import (
        VectorStoreIndex,
        ListIndex,
    )
    
    # ListIndexとVectorStoreIndexの準備
    list_index = ListIndex(nodes, storage_context=storage_context)
    vector_index = VectorStoreIndex(nodes, storage_context=storage_context)

    (3) QAプロンプトの定義。
    LlamaIndexの英語版のQAプロンプトの直訳になります。

    from llama_index.llms.base import ChatMessage, MessageRole
    from llama_index.prompts.base import ChatPromptTemplate
    
    # QAシステムプロンプト
    TEXT_QA_SYSTEM_PROMPT = ChatMessage(
        content=(
            "あなたは世界中で信頼されているQAシステムです。\n"
            "事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。\n"
            "従うべきいくつかのルール:\n"
            "1. 回答内で指定されたコンテキストを直接参照しないでください。\n"
            "2. 「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。"
        ),
        role=MessageRole.SYSTEM,
    )
    
    # QAプロンプトテンプレートメッセージ
    TEXT_QA_PROMPT_TMPL_MSGS = [
        TEXT_QA_SYSTEM_PROMPT,
        ChatMessage(
            content=(
                "コンテキスト情報は以下のとおりです。\n"
                "---------------------\n"
                "{context_str}\n"
                "---------------------\n"
                "事前知識ではなくコンテキスト情報を考慮して、クエリに答えます。\n"
                "Query: {query_str}\n"
                "Answer: "
            ),
            role=MessageRole.USER,
        ),
    ]
    
    # チャットQAプロンプト
    CHAT_TEXT_QA_PROMPT = ChatPromptTemplate(message_templates=TEXT_QA_PROMPT_TMPL_MSGS)

    (4) TreeSummarizeプロンプトの定義。
    LlamaIndexの英語版のTreeSummarizeプロンプトの直訳になります。

    from llama_index.llms.base import ChatMessage, MessageRole
    from llama_index.prompts.base import ChatPromptTemplate
    
    # QAシステムプロンプト
    TEXT_QA_SYSTEM_PROMPT = ChatMessage(
        content=(
            "あなたは世界中で信頼されているQAシステムです。\n"
            "事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。\n"
            "従うべきいくつかのルール:\n"
            "1. 回答内で指定されたコンテキストを直接参照しないでください。\n"
            "2. 「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。"
        ),
        role=MessageRole.SYSTEM,
    )
    
    # TreeSummarizeプロンプトメッセージ
    TREE_SUMMARIZE_PROMPT_TMPL_MSGS = [
        TEXT_QA_SYSTEM_PROMPT,
        ChatMessage(
            content=(
                "複数のソースからのコンテキスト情報を以下に示します。\n"
                "---------------------\n"
                "{context_str}\n"
                "---------------------\n"
                "予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。\n"
                "疑問がある場合は、「情報無し」と答えてください。\n"
                "Query: {query_str}\n"
                "Answer: "
            ),
            role=MessageRole.USER,
        ),
    ]
    
    # TreeSummarizeプロンプト
    CHAT_TREE_SUMMARIZE_PROMPT = ChatPromptTemplate(
        message_templates=TREE_SUMMARIZE_PROMPT_TMPL_MSGS
    )

    (5) ListIndexとVectorStoreIndexのクエリエンジンの準備。

    from llama_index import get_response_synthesizer
    
    # ListIndexとVectorStoreIndexのクエリエンジンの準備
    list_query_engine = list_index.as_query_engine(
        response_synthesizer=get_response_synthesizer(
            response_mode="tree_summarize",
            use_async=True,
            text_qa_template=CHAT_TEXT_QA_PROMPT,
            summary_template=CHAT_TREE_SUMMARIZE_PROMPT,  
        ),
    )
    vector_query_engine = vector_index.as_query_engine(
        similarity_top_k=2,
        response_synthesizer=get_response_synthesizer(
            response_mode="compact",
            text_qa_template=CHAT_TEXT_QA_PROMPT,
        ),
    )

    (6) ListIndexとVectorStoreIndexのツールの準備。

    from llama_index.tools.query_engine import QueryEngineTool
    
    # ListIndexとVectorStoreIndexのツールの準備
    list_tool = QueryEngineTool.from_defaults(
        query_engine=list_query_engine,
        description="漫画「ぼっち・ざ・ろっく!」に関連する質問を要約するのに役立ちます。",
    )
    
    vector_tool = QueryEngineTool.from_defaults(
        query_engine=vector_query_engine,
        description="漫画「ぼっち・ざ・ろっく!」の情報から特定のコンテキストを取得するのに役立ちます。",
    )

    (7) SinglePydSelectプロンプトテンプレートの定義。
    LlamaIndexの英語版のSinglePydSelectプロンプトテンプレートの直訳になります。

    # SinglePydSelectプロンプトテンプレートの定義
    SINGLE_PYD_SELECT_PROMPT_TMPL = (
        "いくつかの選択肢を番号付きリストで示します。(1〜{num_choices})\n"
        "リスト内の各項目は要約に対応します。\n"
        "---------------------\n"
        "{context_list}"
        "\n---------------------\n"
        "予備知識ではなく上記の選択肢のみを使用して、"
        "以下の質問に最も関連する番号とその理由を答えてください。\n"
        "'{query_str}'\n"
    )

    (8) RouterQueryEngineの準備。

    from llama_index.query_engine.router_query_engine import RouterQueryEngine
    from llama_index.selectors.pydantic_selectors import PydanticSingleSelector
    
    # RouterQueryEngineの準備
    query_engine = RouterQueryEngine(
        selector=PydanticSingleSelector.from_defaults(
            prompt_template_str=SINGLE_PYD_SELECT_PROMPT_TMPL,
        ),
        query_engine_tools=[
            list_tool,
            vector_tool,
        ],
    )

    (9) 要約を試す。

    # 要約
    response = query_engine.query("漫画「ぼっち・ざ・ろっく!」の概要を教えてください。")
    print(response)

    漫画「ぼっち・ざ・ろっく!」は、後藤ひとりという陰キャな女子高生が、バンド活動を通じて友達を作ろうとする姿を描いた作品です。ひとりはギターの腕前がかなりのものであり、ネットで「ギターヒーロー」として人気を集めています。彼女は伊地知虹夏や山田リョウと共に「結束バンド」として活動を始めますが、ひとりのコミュ症や問題行動により、バンドの結束力はゼロとなってしまいます。しかし、クラスメイトの喜多郁代が結束バンドの元メンバーであることが判明し、彼女との交流を通じてひとりたちは再び結束バンドに戻ります。物語は結束バンドのライブに向けての準備や、さまざまな試練を乗り越えながら展開していきます。

    ログを確認すると、最初にどちらのインデックスを使うか思考して、「要約」を選んでいることがわかります。

    いくつかの選択肢を番号付きリストで示します。(1〜2)
    リスト内の各項目は要約に対応します。
    ---------------------
    (1) 漫画「ぼっち・ざ・ろっく!」に関連する質問を要約するのに役立ちます。
    
    (2) 漫画「ぼっち・ざ・ろっく!」の情報から特定のコンテキストを取得するのに役立ちます。
    ---------------------
    予備知識ではなく上記の選択肢のみを使用して、以下の質問に最も関連する番号とその理由を答えてください。
    '漫画「ぼっち・ざ・ろっく!」の概要を教えてください。'
    0: この質問は漫画「ぼっち・ざ・ろっく!」に関連する情報を要約するため.


    プロンプトでは1〜2で、Function Callingの戻り値は0〜1なのが気になるものの、要約処理が走ってるので大丈夫そう。

    複数のソースからのコンテキスト情報を以下に示します。
    ---------------------
    漫画「ぼっち・ざ・ろっく!」は、後藤ひとりという陰キャな女子高生が、...
    
    漫画「ぼっち・ざ・ろっく!」は、自信のない主人公がギターを始めてバンド活動をする様子を描いた作品です。...
    
    情報無し
    
    情報無し
    
    情報無し
    ---------------------
    予備知識ではなく、複数のソースからの情報を考慮して、質問に答えます。
    疑問がある場合は、「情報無し」と答えてください。
    Query: 漫画「ぼっち・ざ・ろっく!」の概要を教えてください。
    Answer:  
    

    (10) 質問応答を試す。

    # 質問応答
    response = query_engine.query("ライブハウス「STARRY」の店長の名前は?")
    print(response)

    ライブハウス「STARRY」の店長の名前は伊地知星歌です。

    ログを確認すると、最初にどちらのインデックスを使うか思考して、1を選んでいることがわかります。

    いくつかの選択肢を番号付きリストで示します。(1〜2)
    リスト内の各項目は要約に対応します。
    ---------------------
    (1) 漫画「ぼっち・ざ・ろっく!」に関連する質問を要約するのに役立ちます。
    
    (2) 漫画「ぼっち・ざ・ろっく!」の情報から特定のコンテキストを取得するのに役立ちます。
    ---------------------
    予備知識ではなく上記の選択肢のみを使用して、以下の質問に最も関連する番号とその理由を答えてください。
    'ライブハウス「STARRY」の店長の名前は?'
    1: 「ぼっち・ざ・ろっく!」の情報から特定のコンテキストを取得するのに役立ちます。


    プロンプトでは1〜2で、Function Callingの戻り値は0〜1なのが気になるものの、セマンティック検索が走ってるので大丈夫そう。

    Top 2 nodes:
    [Similarity score:             0.841143] ひとりのビジュアルがお気に入りで、彼女がキメ顔になったらテンションが上がるが、そのビジュアルが10秒しか持たなかったためにMVに使うのはあきらめ、ひとりの出番をほとんどカットした。
    
    PAさん(...
    [Similarity score:             0.827923] ひとりの持つポテンシャルに気づいており、彼女が上のレベルに上がってくるのを期待している。実は高校時代はかなり根暗な性格をしており、自分を変えるためバンドを始めたため、ひとりにシンパシーを抱いてい...



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ