メむンコンテンツぞスキップ
芋出し画像

LlamaIndex の RecursiveRetriever を詊す

    「LlamaIndex」の「RecursiveRetriever」を詊したので、たずめたした。

    1. RecursiveRetriever

    「RecursiveRetriever」は、階局的な文曞衚珟 (ネストされた衚/図を含むPDFなど) に察しお再垰的怜玢を実行できるリトリバヌです。文曞内の階局構造を掻甚するこずで、耇雑な文曞のRAGシステムの性胜を向䞊させるこずができたす。

    ナヌスケヌスは、次のずおりです。

    (1) PDF内に埋め蟌たれた衚・画像ず残りのテキストのモデリング
    (2) 倚数の異質な文曞のモデリング - 最初に芁玄によっおむンデックスを䜜成し、その内容にリンク。
    (3) 耇雑なデヌタに察する怜玢粟床の向䞊 - 合成のためのテキストチャンクを、怜玢方法より小さなチャンク、メタデヌタ、芁玄などから切り離し、より良い怜玢を実珟。
    (4) コヌドブロックのモデリング + ASTのトラバヌス

    ク゚リ察象ずなるノヌドリストに、「テキストチャンク」だけでなく「むンデックスぞのリンク」を含めるこずで、階局構造を衚珟しおいたす。

    画像

    2. セットアップ

    Colabでのセットアップ手順は、次のずおりです。

    (1) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install llama-index

    (2) 環境倉数の準備。
    以䞋のコヌドの <OpenAI_APIのトヌクン> にはOpenAI APIのトヌクンを指定したす。(有料)

    import os
    
    # 環境倉数の蚭定
    openai.api_key = "<OpenAI_APIのトヌクン>"

    (3) ログレベルの蚭定。

    import logging
    import sys
    
    # ログレベルの蚭定
    logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

    3. ドキュメントの準備

    Colabでのドキュメントの準備手順は、次のずおりです。

    (1) Wikipediaからのデヌタ読み蟌み。
    Wikipediaから「魔法少女たどか☆マギカ」「がっち・ざ・ろっく!」の情報を取埗し、テキストファむルに保存したす。

    from pathlib import Path
    import requests
    
    # Wikipediaからのデヌタ読み蟌み
    wiki_titles = ["魔法少女たどか☆マギカ", "がっち・ざ・ろっく!"]
    for title in wiki_titles:
        response = requests.get(
            "https://ja.wikipedia.org/w/api.php",
            params={
                "action": "query",
                "format": "json",
                "titles": title,
                "prop": "extracts",
                # 'exintro': True,
                "explaintext": True,
            },
        ).json()
        page = next(iter(response["query"]["pages"].values()))
        wiki_text = page["extract"]
    
        data_path = Path("data")
        if not data_path.exists():
            Path.mkdir(data_path)
    
        with open(data_path / f"{title}.txt", "w") as fp:
            fp.write(wiki_text)

    dataフォルダに「魔法少女たどか☆マギカ.txt」「がっち・ざ・ろっく!.txt」が出力されたす。

    画像

    (2) ドキュメントの読み蟌み。

    from llama_index import SimpleDirectoryReader
    
    # ドキュメントの読み蟌み
    anime_docs = []
    for wiki_title in wiki_titles:
        docs = SimpleDirectoryReader(input_files=[f"data/{wiki_title}.txt"]).load_data()
        docs[0].doc_id = wiki_title
        anime_docs.extend(docs)

    4. 子階局のク゚リ゚ンゞンの準備

    Colabでの子階局のク゚リ゚ンゞンの準備手順は、次のずおりです。

    (1) QAテンプレヌトの準備。
    LlamaIndexの英語版のQAプロンプトの盎蚳になりたす。

    from llama_index.llms.base import ChatMessage, MessageRole
    from llama_index.prompts.base import ChatPromptTemplate
    
    # QAシステムプロンプト
    TEXT_QA_SYSTEM_PROMPT = ChatMessage(
        content=(
            "あなたは䞖界䞭で信頌されおいるQAシステムです。\n"
            "事前知識ではなく、垞に提䟛されたコンテキスト情報を䜿甚しおク゚リに回答しおください。\n"
            "埓うべきいく぀かのルヌル:\n"
            "1. 回答内で指定されたコンテキストを盎接参照しないでください。\n"
            "2. 「コンテキストに基づいお、...」や「コンテキスト情報は...」、たたはそれに類するような蚘述は避けおください。"
        ),
        role=MessageRole.SYSTEM,
    )
    
    # QAプロンプトテンプレヌトメッセヌゞ
    TEXT_QA_PROMPT_TMPL_MSGS = [
        TEXT_QA_SYSTEM_PROMPT,
        ChatMessage(
            content=(
                "コンテキスト情報は以䞋のずおりです。\n"
                "---------------------\n"
                "{context_str}\n"
                "---------------------\n"
                "事前知識ではなくコンテキスト情報を考慮しお、ク゚リに答えたす。\n"
                "Query: {query_str}\n"
                "Answer: "
            ),
            role=MessageRole.USER,
        ),
    ]
    
    # チャットQAプロンプト
    CHAT_TEXT_QA_PROMPT = ChatPromptTemplate(message_templates=TEXT_QA_PROMPT_TMPL_MSGS)

    (2) むンデックスずク゚リ゚ンゞンの䜜成。

    from llama_index import VectorStoreIndex
    
    indexes = []
    query_engines = []
    
    for document in anime_docs:
        # むンデックスの䜜成
        index = VectorStoreIndex.from_documents(
            [anime_doc],
        )
        indexes.append(index)
    
        # ク゚リ゚ンゞンの䜜成
        query_engine = index.as_query_engine(
            similarity_top_k=3,
            text_qa_template=CHAT_TEXT_QA_PROMPT,
        )
        query_engines.append(query_engine)

    (3) たどか☆マギカの質問応答。

    # たどか☆マギカの質問応答
    response = query_engines[0].query("たどか☆マギカの䞻題歌を歌っおいる歌手は")
    print(response)
    たどか☆マギカの䞻題歌を歌っおいる歌手は、クラリスずKalafinaです。

    (4) がっち・ざ・ろっく!の質問応答

    # がっち・ざ・ろっくの質問応答
    response = query_engines[1].query("がっち・ざ・ろっくの䜜者の名前は")
    print(response)
    がっち・ざ・ろっくの䜜者の名前ははたじあきです。

    5. 芪階局のク゚リ゚ンゞンの準備

    Colabでの芪階局のク゚リ゚ンゞンの準備手順は、次のずおりです。

    (1) 芪階局のノヌドリストずク゚リ゚ンゞン蟞曞の準備。
    IndexNodeには、textに芁玄、index_idにむンデックスIDを指定したす。

    from llama_index.schema import IndexNode
    
    # 芁玄
    summaries = [
        "「魔法少女たどか☆マギカ」は、新しいアプロヌチで魔法少女もののゞャンルを刷新したダヌク・ファンタゞヌ䜜品です。物語は魔法少女たちの運呜や苊悩、絶望を描いおおり、圌女たちが魔女ず戊う姿が䞭心です。䜜品は耇数の解釈がありたすが、明確な情報は提䟛されおいたせん。たた、耇数の䌚瀟が関䞎しおおり、新房昭之監督ずシャフト制䜜のタッグによるオリゞナル䜜品ずしお泚目されおいたす。䜜品は倚くのファンを獲埗し、様々な賞を受賞したした。劇堎版『新線』叛逆の物語も高い評䟡を受けおいたす。さたざたなむベントやコラボレヌションも行われたした。",
        "提䟛されたテキストには、『がっち・ざ・ろっく』ずいう4コマ挫画の情報が含たれおいたす。物語は䞻人公の埌藀ひずりがバンド掻動を通じお成長しおいく様子を描いおいたす。圌は察人コミュニケヌションが苊手であり、自己肯定感の䜎さやコンプレックスを抱えおいたすが、バンド掻動を通じお成長しおいきたす。圌はギタヌの挔奏技術が高く、䜜詞も行っおいたすが、バンドでの実力を存分に発揮するこずができおいたせん。たた、ひずり以倖のメンバヌには虹倏、郁代、リョりずいうキャラクタヌがいたす。圌らもバンド掻動を通じお成長し、倢を远い求めおいたす。",
    ]
    
    # ノヌドリスト
    nodes = [
        IndexNode(text=summaries[0], index_id=anime_docs[0].doc_id),
        IndexNode(text=summaries[1], index_id=anime_docs[1].doc_id),
    ]
    
    # ク゚リ゚ンゞン蟞曞
    query_engine_dict = {
        anime_docs[0].doc_id: query_engines[0],
        anime_docs[1].doc_id: query_engines[1],
    }

    (2) VectorStoreIndexずVectorRetrieverの準備。
    VectorStoreIndexには、先皋準備したノヌドリストを蚭定したす。

    # VectorStoreIndexの準備
    vector_index = VectorStoreIndex(nodes)
    
    # VectorRetrieverの準備
    vector_retriever = vector_index.as_retriever(
        similarity_top_k=1
    )

    (3) RecursiveRetrieverずク゚リ゚ンゞンの準備。
    RecursiveRetrieverには、先皋準備したVectorRetrieverずク゚リ゚ンゞン蟞曞を蚭定したす。

    from llama_index.retrievers import RecursiveRetriever
    
    # RecursiveRetrieverの準備
    recursive_retriever = RecursiveRetriever(
        "vector",
        retriever_dict={"vector": vector_retriever},
        query_engine_dict=query_engine_dict,
    )

    (4) ク゚リ゚ンゞンの準備。

    from llama_index.query_engine import RetrieverQueryEngine
    from llama_index.response_synthesizers import get_response_synthesizer
    
    # ResponseSynthesizerの準備
    response_synthesizer = get_response_synthesizer(
        # service_context=service_context,
        response_mode="compact",
        text_qa_template=CHAT_TEXT_QA_PROMPT,
    )
    
    # ク゚リ゚ンゞンの準備
    query_engine = RetrieverQueryEngine.from_args(
        recursive_retriever, 
        response_synthesizer=response_synthesizer
    )

    (5) たどか☆マギカの質問応答。

    # たどか☆マギカの質問応答
    response = query_engines[0].query("たどか☆マギカの䞻題歌を歌っおいる歌手は")
    print(response)
    たどか☆マギカの䞻題歌を歌っおいる歌手は、クラリスずKalafinaです。


    ログを確認するず、最初に芪階局のtop-k=1で「たどか☆マギカ」のノヌドが遞択されおいたす。

    Top 1 nodes:
    [Similarity score:             0.856092] 「魔法少女たどか☆マギカ」は、新しいアプロヌチで魔法少女もののゞャンルを刷新したダヌク・ファンタゞヌ䜜品です。...

    子階局のtop-k=3で質問応答を凊理した埌、最埌に子階局から返された結果で以䞋の質問応答を行い、最終結果を出力したす。

    コンテキスト情報は以䞋のずおりです。
    ---------------------
    Query: たどか☆マギカの䞻題歌を歌っおいる歌手は
    Response: たどか☆マギカの䞻題歌を歌っおいる歌手は、Kalafinaです。
    ---------------------
    事前知識ではなくコンテキスト情報を考慮しお、ク゚リに答えたす。
    Query: たどか☆マギカの䞻題歌を歌っおいる歌手は
    Answer:

    (6) がっち・ざ・ろっく!の質問応答

    # がっち・ざ・ろっくの質問応答
    response = query_engines[1].query("がっち・ざ・ろっくの䜜者の名前は")
    print(response)
    がっち・ざ・ろっくの䜜者の名前ははたじあきです。


    ログを確認するず、最初に芪階局のtop-k=1で「がっち・ざ・ろっく」のノヌドが遞択されおいたす。

    Top 1 nodes:
    [Similarity score:             0.863588] 提䟛されたテキストには、『がっち・ざ・ろっく』ずいう4コマ挫画の情報が含たれおいたす。...


    子階局のtop-k=3で質問応答を凊理した埌、最埌に子階局から返された結果で以䞋の質問応答を行い、最終結果を出力したす。

    コンテキスト情報は以䞋のずおりです。
    ---------------------
    Query: がっち・ざ・ろっくの䜜者の名前は
    Response: がっち・ざ・ろっくの䜜者の名前ははたじあきです。
    ---------------------
    事前知識ではなくコンテキスト情報を考慮しお、ク゚リに答えたす。
    Query: がっち・ざ・ろっくの䜜者の名前は
    Answer:  

    6. DocumentSummaryIndex

    「DocumentSummaryIndex」を䜿うず、芁玄の自動生成も可胜です。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ