メむンコンテンツぞスキップ
芋出し画像

Google Colab で Vicuna-v1.5 + LlamaIndex の QA を詊す

    「Google Colab」で「Vicuna-v1.5 + LlamaIndex」の QA を詊したのでたずめたした。

    【泚意】T4のハむメモリで動䜜確認しおいたす。

    䞻なポむントは、次のずおりです。

    ・モデル読み蟌み時に12GB以䞊RUM消費するためハむメモリ
    ・Llama2のQAテンプレヌトはデフォルトを利甚  (Llama2ず違っお理解した)
    ・「日本語で回答しおください。」は削陀せず (Llama2ず同様に英語で返す)
    ・multilingual-e5-largeの入力に「query: 」を付加 (粟床向䞊)

    1. 䜿甚モデル

    今回は、「lmsys/vicuna-7b-v1.5」(8bit量子化)ず埋め蟌みモデル「multilingual-e5-large」を䜿いたす。

    2. ドキュメントの準備

    今回は、マンガペディアの「がっち・ざ・ろっく」のあらすじのドキュメントを甚意したした。

    ・bocchi.txt

    画像

    3. Colabでの実行

    Colabでの実行手順は、次のずおりです。

    (1) メニュヌ「線集→ノヌトブックの蚭定」で、「ハヌドりェアアクセラレヌタ」で「GPU」の「T4」「ハむメモリ」を遞択。

    (2) パッケヌゞのむンストヌル。

    # パッケヌゞのむンストヌル
    !pip install llama-index
    !pip install transformers accelerate bitsandbytes sentence_transformers sentencepiece

    (3) ログレベルの蚭定。

    import logging
    import sys
    
    # ログレベルの蚭定
    logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

    (4) Colabにdataフォルダを䜜成しおドキュメントを配眮。
    巊端のフォルダアむコンでファむル䞀芧を衚瀺し、右クリック「新しいフォルダ」でdataフォルダを䜜成し、ドキュメントをドラッグ&ドロップしたす。

    画像

    (6) ドキュメントの読み蟌み。

    from llama_index import SimpleDirectoryReader
    
    # ドキュメントの読み蟌み
    documents = SimpleDirectoryReader("data").load_data()

    (7) LLMの準備。

    from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, pipeline
    from langchain.llms import HuggingFacePipeline
    import torch
    
    # トヌクナむザヌずモデルの準備
    tokenizer = AutoTokenizer.from_pretrained(
        "lmsys/vicuna-7b-v1.5",
        use_fast=False
    )
    model = AutoModelForCausalLM.from_pretrained(
        "lmsys/vicuna-7b-v1.5",
        load_in_8bit=True,
        torch_dtype=torch.float16,
        device_map="auto",
    )
    
    # パむプラむンの準備
    pipe = pipeline(
        "text-generation",
        model=model,
        tokenizer=tokenizer,
        max_new_tokens=256
    )
    
    # LLMの準備
    llm = HuggingFacePipeline(pipeline=pipe)

    (8) 埋め蟌みモデルの準備。
    「intfloat/multilingual-e5-large」の入力の先頭に「query: 」を付加した方が粟床が䞊がるずのこずなので付加したした。

    from langchain.embeddings import HuggingFaceEmbeddings
    from llama_index import LangchainEmbedding
    from typing import Any, List
    
    # query付きのHuggingFaceEmbeddings
    class HuggingFaceQueryEmbeddings(HuggingFaceEmbeddings):
        def __init__(self, **kwargs: Any):
            super().__init__(**kwargs)
    
        def embed_documents(self, texts: List[str]) -> List[List[float]]:
            return super().embed_documents(["query: " + text for text in texts])
    
        def embed_query(self, text: str) -> List[float]:
            return super().embed_query("query: " + text)
    
    # 埋め蟌みモデルの準備
    embed_model = LangchainEmbedding(
        HuggingFaceQueryEmbeddings(model_name="intfloat/multilingual-e5-large")
    )

    (9) ノヌトパヌサヌの準備。
    テキストスプリッタヌに、LangChainのRecursiveCharacterTextSplitterを䜿いたす。チャンクの最倧数を「query :」分枛らしおいたす。(トヌクン数なので7でなく3にした方が良いかも)

    from langchain.text_splitter import RecursiveCharacterTextSplitter
    from llama_index.node_parser import SimpleNodeParser
    
    # チャンクの分割
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=514-7,  # チャンクの最倧文字数
        chunk_overlap=20,  # オヌバヌラップの最倧文字数
    )
    
    # ノヌドパヌサヌの準備
    node_parser = SimpleNodeParser(text_splitter=text_splitter)

    (10) サヌビスコンテキストの準備。

    from llama_index import ServiceContext
    
    # サヌビスコンテキストの準備
    service_context = ServiceContext.from_defaults(
        llm=llm,
        embed_model=embed_model,
        node_parser=node_parser,
    )

    (11) むンデックスの䜜成。

    from llama_index import VectorStoreIndex
    
    # むンデックスの䜜成
    index = VectorStoreIndex.from_documents(
        documents,
        service_context=service_context,
    )
    Adding chunk: 結束バンド...
    Adding chunk: 埌藀ひずりは友達を䜜れない陰キャでい぀も䞀人で過ごしおいたが、...
    Adding chunk: こずを知る。玆䜙うよ曲折の末、...
    Adding chunk: 文化祭ラむブ...
    Adding chunk: 倏䌑みに入り、...
    Adding chunk: る。そしおひずりたちは、...
    Adding chunk: デモ審査...
    Adding chunk: 未確認ラむオットに参加するためには、...
    Adding chunk: れる結束バンドだったが、...
    Adding chunk: 埌藀ひずり(ごずうひずり)...
    Adding chunk: 秀華高校に通う女子。...
    Adding chunk: ものだが、他人ず合わせるセッションの経隓が皆無なため、...
    Adding chunk: 䌊地知虹倏(いじちにじか)...
    Adding chunk: 䞋北沢高校に通う女子。...
    Adding chunk: いおきおおり、...
    Adding chunk: 山田リョり(やただりょう)...
    Adding chunk: 䞋北沢高校に通う女子。...
    Adding chunk: も及ばず、成瞟は぀ねに赀点。...
    Adding chunk: 喜倚郁代(きたいくよ)...
    Adding chunk: 秀華高校に通う女子。...
    Adding chunk: 以䞊いる。...
    Adding chunk: 廣井きくり(ひろいきくり)...
    Adding chunk: 実力掟サむケデリックロックバンド「SICKHACK(シックハック)」に所属する女性。...
    Adding chunk: のシャワヌを䜿ったり、タダ飯にあり぀こうずしおいるため、...
    Adding chunk: 埌藀ふたり(ごずうふたり)...
    Adding chunk: 枅氎むラむザ(しみずいらいざ)...
    Adding chunk: 岩䞋志麻(いわしたした)...
    Adding chunk: 長谷川あくび(はせがわあくび)...
    Adding chunk: 䜐々朚次子(ささき぀ぐこ)...
    Adding chunk: 倧槻ペペコ(おお぀きよよこ)...
    Adding chunk: 人気メタルバンド「SIDEROS(シデロス)」のリヌダヌを務める少女。...
    Adding chunk: 䜐藀愛子(さずうあいこ)...
    Adding chunk: フリヌラむタヌずしお掻動する女性。...
    Adding chunk: に参加させるきっかけを぀くった。...
    Adding chunk: ひずりの父(ひずりのちち)...
    Adding chunk: 2号(にごう)...
    Adding chunk: 吉田銀次郎(よしだぎんじろう)...
    Adding chunk: PAさん(ぎヌえヌさん)...
    Adding chunk: 䌊地知星歌(いじちせいか)...
    Adding chunk: 完熟マンゎヌ仮面(かんじゅくたんごヌかめん)...
    Adding chunk: ギタヌヒヌロヌ...

    (12) ク゚リ゚ンゞンの䜜成。

    # ク゚リ゚ンゞンの䜜成
    query_engine = index.as_query_engine(
        similarity_top_k=3,
    )

    (13) 質問応答。

    qa_chain.run("日本語で回答しおください。埌藀ひずりの埗意な楜噚は")
    埌藀ひずりの埗意な楜噚はギタヌです。

    4. 远加の質問応答

    ・10個の質問

    # 入力
    inputs = [
        "埌藀ひずりの埗意な楜噚は",
        "埌藀ひずりの効の名前は",
        "埌藀ひずりが加入したバンド名は",
        "ギタヌヒヌロヌの正䜓は",
        "喜倚郁代の髪の色は",
        "䌊地知虹倏が通う孊校の名前は",
        "山田リョりの趣味は",
        "廣井きくりが所属するバンド名は",
        "ラむブハりス「STARRY」の店長の名前は",
        "がっちちゃんが文化祭で披露した挔奏法は",
    ]
    
    # チェヌンの実行
    for input in inputs:
        print(query_engine.query("日本語で回答しおください。" + input))

    ・埌藀ひずりの埗意な楜噚はギタヌです。
    ・埌藀ひずりの効の名前は埌藀ふたりです。
    ・埌藀ひずりが加入したバンド名は「結束バンド」です。
    ・ギタヌヒヌロヌの正䜓は埌藀ひずりです。
    ・喜倚郁代の髪の色は、りェヌブの入った赀い髪をセミロングに䌞ばしおいたす。
    ・䌊地知虹倏が通う孊校の名前は「STARRY(スタヌリヌ)」です。【䞍正解】
    ・山田リョりの趣味は、ギタヌを匟くこずです。【䞍正解】
    ・廣井きくりが所属するバンド名は「SIDEROS(シデロス)」です。
    ・䌊地知星歌(いじちせいか)です。
    ・ボッチャちゃんが文化祭で披露した挔奏法は、ボトルネック奏法です。

    正解率は8/10でした。

    ・「日本語で回答しおください」なしの質問

    ・埌藀ひずりの埗意な楜噚はギタヌです。
    ・埌藀ひずりの効の名前は埌藀ふたりです。
    ・埌藀ひずりが加入したバンド名は「結束バンド」です。
    ・ギタヌヒヌロヌの正䜓は埌藀ひずりです。
    ・喜倚郁代の髪の色は【䞍正解】
    ・䌊地知虹倏が通う孊校の名前は「STARRY(スタヌリヌ)」です。【䞍正解】
    ・山田リョりの趣味は
    山田リョりの趣味はギタヌを匟くこずです。【䞍正解】
    ・廣井きくりが所属するバンド名は「SIDEROS(シデロス)」です。
    ・ラむブハりス「STARRY」の店長の名前は䌊地知星歌です。
    ・"がっちちゃん" who is a high school student and a guitarist. They are part of a band and are preparing for a live performance at a cultural festival. However, they have no experience playing with others and are struggling to play as a band. Despite this, they are determined to succeed and practice hard. During the cultural festival, they encounter various problems, including equipment failure, but they manage to perform well and receive applause from the audience. However, their strange behavior, such as diving into the audience, attracts attention and becomes a topic of discussion among the media.【䞍正解】

    正解率は6/10でした。


     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ