メインコンテンツへスキップ

retrive

    import os
    import sqlite3
    from openai import AzureOpenAI
    import pandas as pd
    from dotenv import load_dotenv
    import numpy as np
    import time
    
    load_dotenv()
     #set  up LLM
    ##回答用
    model = os.environ["ADA2_DEPLOY_NAME"]
    answer_tokens = 4096
    client = AzureOpenAI(
        api_key=os.environ["OPENAI_API_KEY"],
        azure_endpoint=os.environ["OPENAI_API_BASE"],
        api_version=os.environ["OPENAI_API_VERSION"],
    )
    
    def vectlize(text):
        vec = client.embeddings.create(
            model = model,
            input = text,
        ).data[0].embedding
        return np.array(vec)
     #コサイン類似度計算用 
    def cos_sim(v1, v2):
         return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
    
    max_context = 7000 #トークン数上限回避のため 、contextのmaxを設定
    
    ## データベース設定
    DATABASE_PATH = 'example.db'
    
    # データベースからデータを読み込む関数
    def load_db_data():
        conn = sqlite3.connect(DATABASE_PATH)
        cursor = conn.cursor()
        cursor.execute("SELECT inquiry, response, embedding FROM records WHERE response IS NOT NULL")
        rows = cursor.fetchall()
        conn.close()
        data = pd.DataFrame(rows, columns=["問合せ", "回答", "embedding"])
        data['embedding'] = data['embedding'].apply(eval).apply(np.array)
        return data
    
    page_summary_system_prompt = """
            あなたは世界中で信頼されているQAシステムです。
            事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。
            従うべきいくつかのルール:
            ・ 回答内で指定されたコンテキストを直接参照しないでください。
            ・「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。
    """
    
    page_summary_user_prompt = """
            コンテキスト情報は以下の通りです。
            ---------------------
            {context_str}
            ---------------------
            事前知識ではなくコンテキスト情報を考慮して、クエリに答えてください。
            Query: {query_str}
            Answer: 
    """
    
    def simirarity_search(text_embedding, question_embedding):
        return cos_sim(text_embedding, question_embedding)
    
    def query_return(query, system_prompt, gpt_model, access_time, ip, n_of_reference_docs):
        start = time.time()
        question_embedding = vectlize(query)
        n_context = n_of_reference_docs
        
        db = load_db_data()  # データベースからデータを読み込む
        # 質問文との類似度検索
        db['質問文との類似度'] = db['embedding'].apply(lambda x: simirarity_search(x, question_embedding))
        db = db.sort_values('質問文との類似度', ascending=False)
    
        # コンテキスト情報作成
        context_str = '\n'.join(db['回答'][0:n_context].tolist())
        user_message = page_summary_user_prompt.format(context_str=context_str[0:max_context], query_str=query)
        message = [
            {"role": "system", "content": page_summary_system_prompt + system_prompt},
            {"role": "user", "content": user_message}
        ]
        
        response = client.chat.completions.create(
            model=gpt_model,
            messages=message,
            max_tokens=answer_tokens,
            temperature=0,
        )
    
        sim_question_list = list(db.head(n_context)['問合せ'].values)
        sim_answer_list = list(db.head(n_context)['回答'].values)
        sim_score_list = list(db.head(n_context)['質問文との類似度'])
        source_nodes_list = db[['問合せ', '回答', '質問文との類似度']].head(n_context).values.tolist()
        end = time.time()
        time_diff = end - start
    
        # ログの作成
        log_row = [ip, access_time, query, response.choices[0].message.content, gpt_model, time_diff] + sim_question_list + sim_answer_list + sim_score_list
        logging(log_row)
    
        return {
            'final_answer': response.choices[0].message.content,
            'source_node': source_nodes_list,
        }

    あなたへのおすすめ