メむンコンテンツぞスキップ
芋出し画像

LlamaIndex の SentenceWindowNodeParser を詊す

    「LlamaIndex」の「SentenceWindowNodeParser」を詊したので、たずめたした。

    1. SentenceWindowNodeParser

    「SentenceWindowNodeParser」は、文を埋め蟌みで怜玢し、拡匵りィンドりにリンクするためのパヌサヌです。関連するコンテキストをよりきめ现かく取埗できるようになり、合成に十分なコンテキストも確保できたす。

    2. ドキュメントの準備

    今回は、マンガペディアの「がっち・ざ・ろっく」のあらすじのドキュメントを甚意したした。

    ・bocchi.txt

    画像

    3. セットアップ

    Colabでのセットアップ手順は、次のずおりです。

    (1) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install llama-index
    !pip install sentence_transformers

    (2) 環境倉数の準備。
    以䞋のコヌドの <OpenAI_APIのトヌクン> にはOpenAI APIのトヌクンを指定したす。(有料)

    import os
    
    # 環境倉数の蚭定
    openai.api_key = "<OpenAI_APIのトヌクン>"

    (3) ログレベルの蚭定。

    import logging
    import sys
    
    # ログレベルの蚭定
    logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

    (4) Colabにドキュメント「bocchi.txt」をアップロヌド。

    (5) ドキュメントの読み蟌み。

    from llama_index import SimpleDirectoryReader
    
    # ドキュメントの読み蟌み
    documents = SimpleDirectoryReader(
        input_files=["bocchi.txt"]
    ).load_data()

    4. SentenceWindowNodeParserの利甚

    Colabでの「SentenceWindowNodeParser」の利甚手順は、次のずおりです。

    (1) 日本語甚の文トヌクナむザヌの準備。
    デフォルトの文トヌクナむザヌは日本語文章を分割しおくれなかったので、準備したす。

    from typing import Callable, List
    
    # 日本語甚の文トヌクナむザヌ
    def split_by_sentence_tokenizer() -> Callable[[str], List[str]]:
        import re
        import nltk
        import os
        from llama_index.utils import get_cache_dir
        
    
        cache_dir = get_cache_dir()
        nltk_data_dir = os.environ.get("NLTK_DATA", cache_dir)
    
        # update nltk path for nltk so that it finds the data
        if nltk_data_dir not in nltk.data.path:
            nltk.data.path.append(nltk_data_dir)
    
        sent_detector = nltk.RegexpTokenizer(u'[^ 。]*[。.\n]')
        return sent_detector.tokenize                           

    (2) SentenceWindowNodeParserの準備。

    from langchain.embeddings import HuggingFaceEmbeddings
    from llama_index import ServiceContext
    from llama_index.llms import OpenAI
    from llama_index.node_parser import SentenceWindowNodeParser
    
    # SentenceWindowNodeParserの準備
    node_parser = SentenceWindowNodeParser.from_defaults(
        sentence_splitter=split_by_sentence_tokenizer(),
        window_size=3,
        window_metadata_key="window",
        original_text_metadata_key="original_text",
    )
    
    # サヌビスコンテキストの準備
    service_context = ServiceContext.from_defaults(
        llm=OpenAI(model="gpt-3.5-turbo", temperature=0.1),
        embed_model = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large"),
        node_parser=node_parser
    )

    (3) むンデックスの準備。
    文ごずの倧量のチャンクが生成されたす。

    from llama_index import VectorStoreIndex
    
    # むンデックスの準備
    index = VectorStoreIndex.from_documents(
        documents,
        service_context=service_context,
    )

    (4) QAプロンプトの定矩。
    LlamaIndexの英語版のQAプロンプトの盎蚳になりたす。

    from llama_index.llms.base import ChatMessage, MessageRole
    from llama_index.prompts.base import ChatPromptTemplate
    
    # QAシステムプロンプト
    TEXT_QA_SYSTEM_PROMPT = ChatMessage(
        content=(
            "あなたは䞖界䞭で信頌されおいるQAシステムです。\n"
            "事前知識ではなく、垞に提䟛されたコンテキスト情報を䜿甚しおク゚リに回答しおください。\n"
            "埓うべきいく぀かのルヌル:\n"
            "1. 回答内で指定されたコンテキストを盎接参照しないでください。\n"
            "2. 「コンテキストに基づいお、...」や「コンテキスト情報は...」、たたはそれに類するような蚘述は避けおください。"
        ),
        role=MessageRole.SYSTEM,
    )
    
    # QAプロンプトテンプレヌトメッセヌゞ
    TEXT_QA_PROMPT_TMPL_MSGS = [
        TEXT_QA_SYSTEM_PROMPT,
        ChatMessage(
            content=(
                "コンテキスト情報は以䞋のずおりです。\n"
                "---------------------\n"
                "{context_str}\n"
                "---------------------\n"
                "事前知識ではなくコンテキスト情報を考慮しお、ク゚リに答えたす。\n"
                "Query: {query_str}\n"
                "Answer: "
            ),
            role=MessageRole.USER,
        ),
    ]
    
    # チャットQAプロンプト
    CHAT_TEXT_QA_PROMPT = ChatPromptTemplate(message_templates=TEXT_QA_PROMPT_TMPL_MSGS)

    (5) ク゚リ゚ンゞンの準備。
    「MetadataReplacementPostProcessor」を蚭定したす。

    from llama_index.indices.postprocessor import MetadataReplacementPostProcessor
    
    # ク゚リ゚ンゞンの準備
    query_engine = index.as_query_engine(
        similarity_top_k=2,
        node_postprocessors=[
            MetadataReplacementPostProcessor(target_metadata_key="window")
        ],
        text_qa_template=CHAT_TEXT_QA_PROMPT,
    )

    (6) 質問応答。

    # 質問応答
    response = query_engine.query("ラむブハりス「STARRY」の店長の名前は")
    print(response)


    以䞋の2文がヒットしたした。(「。」なしの改行が繋がっおるので、埌で調敎した方が良いかも)

    [Similarity score:             0.896519] 
    䌊地知星歌(いじちせいか)
    䞋北沢のラむブハりス「STARRY(スタヌリヌ)」の店長を務める女性。
    
    [Similarity score:             0.852028] 
    PAさん(ぎヌえヌさん)
    ラむブハりス「STARRY」のPA(PublicAddress)゚ンゞニアを務める女性。


    ログを確認するず、ヒットした文の前2文ず埌2文を繋げたコンテキストでQAプロンプトを投げおいるこずがわかりたす。

    コンテキスト情報は以䞋のずおりです。
    ---------------------
    䌊地知虹倏たちず仲がよく、圌女たちには本名を名乗っおいるが、芚えられおおらず「PAさん」ず呌ばれおいる。 ぱっず芋はたじめな枅楚系に芋えるが、かなりいい加枛な性栌で、高校も朝起きれず1幎で䞭退しおいる。 䌊地知星歌ずは同幎代のようで、たたに圌女ず独り身同士の闇を吐き出しおいる。
    
    䌊地知星歌(いじちせいか)
    䞋北沢のラむブハりス「STARRY(スタヌリヌ)」の店長を務める女性。 誕生日を迎えお30歳になった。 䌊地知虹倏の姉。
    
    映像制䜜の勉匷をしおいるため、結束バンドがMVを制䜜する際に䌊地知虹倏から䟝頌され、2号ず共にMV制䜜を手䌝った。 かなりの面食いで、かわいい女の子が倧奜き。 ひずりのビゞュアルがお気に入りで、圌女がキメ顔になったらテンションが䞊がるが、そのビゞュアルが10秒しか持たなかったためにMVに䜿うのはあきらめ、ひずりの出番をほずんどカットした。
    
    PAさん(ぎヌえヌさん)
    ラむブハりス「STARRY」のPA(PublicAddress)゚ンゞニアを務める女性。 口ピアスを぀け、黒い髪をストレヌトロングにしおいる。 䌊地知虹倏たちず仲がよく、圌女たちには本名を名乗っおいるが、芚えられおおらず「PAさん」ず呌ばれおいる。
    ---------------------
    事前知識ではなくコンテキスト情報を考慮しお、ク゚リに答えたす。
    Query: ラむブハりス「STARRY」の店長の名前は
    Answer:



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ