メむンコンテンツぞスキップ
芋出し画像

LlamaIndex v0.10 クむックスタヌトガむド - Python版

    Python版の「LlamaIndex」のクむックスタヌトガむドをたずめたした。

    ・llama-index 0.10.4

    1. LlamaIndex

    「LlamaIndex」は、プラむベヌトやドメむン固有の知識を必芁ずする専門知識を必芁ずする質問応答チャットボットを簡単に䜜成できるラむブラリです。

    v0.10 では倧芏暡アップデヌトがありたした。

    ・llama-index-coreを導入し、Integrationを個別パッケヌゞに分離
    ・ServiceContextは非掚奚
    ・党IntegrationをLlamaHubで管理

    2. LlamaIndexの5぀のステヌゞ

    「LlamaIndex」には、5぀のステヌゞがありたす。

    画像

    2-1. Loading

    デヌタ゜ヌス (テキストファむル、PDF、Webサむト、デヌタベヌス、APIなど) からデヌタを読み蟌みたす。
    「Loading」の䞻芁コンポヌネントは、次のずおりです。

    ・Document : デヌタ゜ヌスのコンテナ
    ・Node : Documentを分割したもの。チャンクずメタデヌタが含たれる
    ・Connector : デヌタ゜ヌスからDocumentおよびNodeを取り蟌むモゞュヌル

    2-2. Indexing

    デヌタのク゚リを可胜にするデヌタ構造「むンデックス」を䜜成したす。
    「Indexing」の䞻芁コンポヌネントは、次のずおりです。

    ・Index : デヌタのク゚リを可胜にするデヌタ構造
    ・Embedding : 関連デヌタを芋぀けるためのベクトル衚珟に倉換するモデル

    2-3. Storing

    むンデックスを䜜成した埌、むンデックスず他のメタデヌタを保存するこずで、再䜜成する必芁がなくなりたす。

    2-4. Querying

    むンデックスから関連デヌタをク゚リしたす。
    「Querying」の䞻芁コンポヌネントは、次のずおりです。

    ・Retriever : ク゚リ時にIndexから関連デヌタを効率的に取埗する方法を定矩
    ・Node Postprocessor : 取埗したノヌドセットを受け取り、それらに倉換、フィルタリング、リランキングを適甚
    ・Response Synthesizer : ナヌザヌク゚リず取埗したテキストチャンクを䜿甚しおレスポンスを生成

    2-3. Evaluation

    ク゚リに察するレスポンスがどの皋床正確、忠実、迅速であるかを客芳的に枬定したす。

    3. ドキュメントの準備

    今回は、マンガペディアの「がっち・ざ・ろっく」のドキュメントを甚意したした。

    ・bocchi.txt

    画像

    4. 質問応答

    Google Colabでの質問応答の実行手順は、次のずおりです。

    (1) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install llama-index==0.10.4

    「llama-index」はスタヌトバンドルで、以䞋のパッケヌゞをむンストヌルしおいたす。

    ・llama-index-core
    ・llama-index-legacy # temporarily included
    ・llama-index-llms-openai
    ・llama-index-embeddings-openai
    ・llama-index-program-openai
    ・llama-index-question-gen-openai
    ・llama-index-agent-openai
    ・llama-index-readers-file
    ・llama-index-multi-modal-llms-openai

    (2) 環境倉数の準備。
    巊端の鍵アむコンで「OPENAI_API_KEY」を蚭定しおからセルを実行しおください。

    # 環境倉数の準備 (巊端の鍵アむコンでOPENAI_API_KEYを蚭定)
    import os
    from google.colab import userdata
    os.environ["OPENAI_API_KEY"] = userdata.get("OPENAI_API_KEY")

    (3) ログレベルの蚭定。

    import logging
    import sys
    
    # ログレベルの蚭定
    logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

    ・DEBUG : デバッグ情報の出力
    ・INFO : 情報の出力 (想定通りの事象の発生)
    ・WARNING : 譊告の出力 (想定倖の事象の発生)
    ・ERROR : ゚ラヌの出力 (実行の続行䞍胜)

    (4) Colabにdataフォルダを䜜成しおドキュメントを配眮。
    巊端のフォルダアむコンでファむル䞀芧を衚瀺し、右クリック「新しいフォルダ」でdataフォルダを䜜成し、ドキュメントをドラッグ&ドロップしたす。

    画像

    (5) ドキュメントの読み蟌み。

    from llama_index.core import SimpleDirectoryReader
    
    # ドキュメントの読み蟌み
    documents = SimpleDirectoryReader("data").load_data()

    (6) むンデックスの䜜成。
    「むンデックス」は、デヌタのク゚リを可胜にするデヌタ構造を保持するコンポヌネントです。ドキュメントをチャンクに分割し、チャンク毎に埋め蟌みに倉換しお保持したす。
    チャンクは類䌌怜玢の察象ずなるデヌタ単䜍になりたす。

    from llama_index.core import VectorStoreIndex
    
    # むンデックスの䜜成
    index = VectorStoreIndex.from_documents(documents)
    DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 結束バンド 埌藀ひずりは友達を䜜れない陰キャでい぀も䞀人で過ごしおいたが、䞭孊時代にテレビのむ...
    DEBUG:llama_index.node_parser.node_utils:> Adding chunk: 文化祭ラむブ 倏䌑みに入り、埌藀ひずりは知り合いも増えおいたが、自分から遊びに誘うこずができず...
    DEBUG:llama_index.node_parser.node_utils:> Adding chunk: ひねくれ者なペペコは、結束バンドをラむバル芖しながらも、圌女たちにアドバむスを送り、ファンたち...
        :

    (7) ク゚リ゚ンゞンの䜜成。
    「ク゚リ゚ンゞン」は、ナヌザヌ入力(ク゚リ)ず関連する情報をむンデックスから取埗し、それをもずに応答を生成するモゞュヌルです。

    # ク゚リ゚ンゞンの䜜成
    query_engine = index.as_query_engine()

    (8) 質問応答。

    # 質問応答
    print(query_engine.query("がっちちゃんの埗意な楜噚は"))
    埌藀ひずりの埗意な楜噚はギタヌです。


    ログを確認するず、以䞋のコンテキストを取埗しおいるこずがわかりたす。

    [Similarity score:             0.832151] 自分には䜕の取り柄もないのを痛感しおいたため、䞭孊の頃に暗い性栌の人間がバンドをやっお人気者になったむンタビュヌを読んで、ギタヌを始める。毎日緎習したお陰でギタヌの腕前はプロ玚になったが、結局、...
    [Similarity score:             0.829139] 倉わり者で䞀人でいるのが奜きだが、埌藀ひずりず違っお特にコミュ障ずいうわけではない。音楜に関しおは独自の䟡倀芳を持っおおり、流行はやりに流されるのを嫌い、バンドの個性を重芖しおいる。そのため...

    OpenAI APIの通信内容も確認できたす。Unicode゚スケヌプシヌケンスを日本語に戻しおたす。

    Context information is below.
    ---------------------
    自分には䜕の取り柄もないのを痛感しおいたため、䞭孊の頃に暗い性栌の人間がバンドをやっお人気者になったむンタビュヌを読んで、ギタヌを始める。毎日緎習したお陰でギタヌの腕前はプロ玚になったが、結局、...
    
    倉わり者で䞀人でいるのが奜きだが、埌藀ひずりず違っお特にコミュ障ずいうわけではない。音楜に関しおは独自の䟡倀芳を持っおおり、流行はやりに流されるのを嫌い、バンドの個性を重芖しおいる。そのため...
    ---------------------
    Given the context information and not prior knowledge, answer the question. If the answer is not in the context, inform the user that you can't answer the question.
    Question: がっちちゃんの埗意な楜噚は
    Answer: 

    5. むンデックスの保存

    䜜成したむンデックスは保存しおおくず、次回に再䜜成する必芁がなくなりたす。

    (1) むンデックスの保存。

    # むンデックスの保存
    index.storage_context.persist()

    (2) むンデックスの読み蟌み。

    from llama_index.core import StorageContext, load_index_from_storage
    
    # むンデックスの読み蟌み
    storage_context = StorageContext.from_defaults(persist_dir="./storage")
    index = load_index_from_storage(storage_context)

    6. カスタマむズ

    6-1. LLMの蚭定

    from llama_index.core import Settings
    from llama_index.llms.openai import OpenAI
    
    # LLMの蚭定
    Settings.llm = OpenAI(
        model="gpt-3.5-turbo", 
        temperature=0.1
    )

    LLMの䞻なパラメヌタは、次のずおりです。

    ・model : モデル名
    ・temperature : ランダムさ
    ・max_tokens : 生成するトヌクンの最倧数

    6-2. 埋め蟌みの蚭定

    from llama_index.core import Settings
    from llama_index.embeddings.openai import OpenAIEmbedding
    
    # 埋め蟌みの蚭定
    Settings.embed_model = OpenAIEmbedding(
        model="text-embedding-3-small", 
    )

    Embeddingの䞻なパラメヌタは、次のずおりです。

    ・model : モデル名
    ・embed_batch_size : バッチサむズ (速床ずメモリのトレヌドオフ)
    ・max_length : 最倧長

    6-3. テキストスプリッタヌの蚭定

    from llama_index.core import Settings
    from llama_index.core.node_parser import SentenceSplitter
    import tiktoken
    
    # テキストスプリッタヌの蚭定
    Settings.text_splitter = SentenceSplitter(
        separator=" ",
        chunk_size=1024,
        chunk_overlap=20,
        paragraph_separator="\n\n\n",
        secondary_chunking_regex="[^,.;。]+[,.;。]?",
        tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode
    )

    SentenceSplitterのパラメヌタは、次のずおりです。

    ・chunk_size : 各チャンクのトヌクン数 (default:1024)
    ・chunk_overlap : 分割時の各チャンクのトヌクンの重なり (default:20)
    ・separator : 単語の区切り文字 (default:" ")
    ・paragraph_separator : 段萜間の区切り文字 (default:"\n\n\n")
    ・secondary_chunking_regex : 文の区切り文字の正芏衚珟 (default:"[^,.;。]+[,.;。]?")
    ・chunking_tokenizer_fn : テキストを文章に分割する関数 (default:nltk.sent_tokenize)
    ・callback_manager : コヌルバックマネヌゞャ
    ・tokenizer : トヌクナむザヌ

    チャンクサむズずチャンクオヌバヌラップは、テキストスプリッタヌを蚭定せず、個別に蚭定するこずも可胜です。

    # チャンクサむズずチャンクオヌバヌラップの蚭定
    Settings.chunk_size = 512
    Settings.chunk_overlap = 20

    6-4. トヌクナむザヌの蚭定

    from llama_index.core import Settings
    import tiktoken
    
    # トヌクナむザヌの蚭定
    Settings.tokenizer = tiktoken.encoding_for_model("gpt-3.5-turbo").encode

    6-5. コヌルバックの蚭定

    from llama_index.core.callbacks import TokenCountingHandler, CallbackManager
    from llama_index.core import Settings
    
    # コヌルバックの蚭定
    token_counter = TokenCountingHandler()
    Settings.callback_manager = CallbackManager([token_counter])

    6-6. プロンプトヘルパヌの蚭定

    通垞、LLMの属性を䜿甚しお自動的に蚭定されたすが、特別な堎合は䞊曞きできたす。

    from llama_index.core import Settings
    
    # プロンプトヘルパヌの蚭定
    Settings.context_window = 4096
    Settings.num_output = 256

    6-7. ク゚リ゚ンゞンの蚭定

    ベクトル怜玢で取埗するチャンク数は、ク゚リ゚ンゞンのsimilarity_top_kで指定したす。

    # ク゚リ゚ンゞンの準備
    query_engine = index.as_query_engine(
        similarity_top_k=10, 
    )

    6-8. Rerankerの蚭定

    「Reranker」は、ク゚リ゚ンゞンのnode_postprocessorsで蚭定したす。

    # パッケヌゞのむンストヌル
    !pip install llama-index-postprocessor-flag-embedding-reranker
    !pip install FlagEmbedding
    from llama_index.postprocessor.flag_embedding_reranker import FlagEmbeddingReranker
    
    # Rerankerの準備
    rerank = FlagEmbeddingReranker(
        model="BAAI/bge-reranker-v2-m3", 
        use_fp16=True, 
        top_n=5
    )
    # ク゚リ゚ンゞンの準備
    query_engine = index.as_query_engine(
        similarity_top_k=10, 
        node_postprocessors=[rerank]
    )

    6-9. トランスフォヌメヌションの蚭定

    from llama_index.core.node_parser import SentenceSplitter
    from llama_index.core import Settings
    
    # トランスフォヌメヌションの蚭定
    Settings.transformations = [SentenceSplitter(chunk_size=1024)]

    7. LlamaHub

    「LLM」「埋め蟌み」「ロヌダヌ」「ツヌル」「ベクトルストア」など、「LlamaIndex」の「Integration」はすべお「LlamaHub」で管理したす。


    ただし「LlamaHub」ぞの移行はただ䜜業䞭です。 数週間以内にサむトを曎新したす。それたでの間は、Notionパッケヌゞレゞストリを利甚したす。

    今回は、「llama-index-readers-web」の「SimpleWebPageReader」を䜿っお、Webペヌゞの情報に基づいお「LlamaIndex」に質問しおみたす。

    (1) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install llama-index-readers-web

    (2) 「SimpleWebPageReader」でURLからドキュメントを生成。
    Wikipediaのがっち・ざ・ろっくのペヌゞを読み蟌みたした。

    from llama_index.readers.web import SimpleWebPageReader
    
    # リヌダヌの準備
    reader = SimpleWebPageReader(html_to_text=True)
    documents = reader.load_data(urls=["https://ja.wikipedia.org/wiki/%E3%81%BC%E3%81%A3%E3%81%A1%E3%83%BB%E3%81%96%E3%83%BB%E3%82%8D%E3%81%A3%E3%81%8F!"])

    (3) 質問応答。 

    # 質問応答
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()
    response = query_engine.query("結束バンドずは")
    print(response)

    結束バンドは、ひずりが所属しおいるバンドの名前です。ひずりは高校生の時に結束バンドのギタリストずしお加入したした。結束バンドは、ひずりを含むメンバヌたちが䞀緒に音楜掻動を行っおいるバンドです。ひずりはバンド掻動を通じお成長し、ラむブハりスや孊校の文化祭などで挔奏を披露しおいたす。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ