import os
import sqlite3
from openai import AzureOpenAI
import pandas as pd
from dotenv import load_dotenv
import numpy as np
import time
load_dotenv()
#set up LLM
##回答用
model = os.environ["ADA2_DEPLOY_NAME"]
answer_tokens = 4096
client = AzureOpenAI(
api_key=os.environ["OPENAI_API_KEY"],
azure_endpoint=os.environ["OPENAI_API_BASE"],
api_version=os.environ["OPENAI_API_VERSION"],
)
def vectlize(text):
vec = client.embeddings.create(
model = model,
input = text,
).data[0].embedding
return np.array(vec)
#コサイン類似度計算用
def cos_sim(v1, v2):
return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
max_context = 7000 #トークン数上限回避のため 、contextのmaxを設定
## データベース設定
DATABASE_PATH = 'example.db'
# データベースからデータを読み込む関数
def load_db_data():
conn = sqlite3.connect(DATABASE_PATH)
cursor = conn.cursor()
cursor.execute("SELECT inquiry, response, embedding FROM records WHERE response IS NOT NULL")
rows = cursor.fetchall()
conn.close()
data = pd.DataFrame(rows, columns=["問合せ", "回答", "embedding"])
data['embedding'] = data['embedding'].apply(eval).apply(np.array)
return data
page_summary_system_prompt = """
あなたは世界中で信頼されているQAシステムです。
事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。
従うべきいくつかのルール:
・ 回答内で指定されたコンテキストを直接参照しないでください。
・「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。
"""
page_summary_user_prompt = """
コンテキスト情報は以下の通りです。
---------------------
{context_str}
---------------------
事前知識ではなくコンテキスト情報を考慮して、クエリに答えてください。
Query: {query_str}
Answer:
"""
def simirarity_search(text_embedding, question_embedding):
return cos_sim(text_embedding, question_embedding)
def query_return(query, system_prompt, gpt_model, access_time, ip, n_of_reference_docs):
start = time.time()
question_embedding = vectlize(query)
n_context = n_of_reference_docs
db = load_db_data() # データベースからデータを読み込む
# 質問文との類似度検索
db['質問文との類似度'] = db['embedding'].apply(lambda x: simirarity_search(x, question_embedding))
db = db.sort_values('質問文との類似度', ascending=False)
# コンテキスト情報作成
context_str = '\n'.join(db['回答'][0:n_context].tolist())
user_message = page_summary_user_prompt.format(context_str=context_str[0:max_context], query_str=query)
message = [
{"role": "system", "content": page_summary_system_prompt + system_prompt},
{"role": "user", "content": user_message}
]
response = client.chat.completions.create(
model=gpt_model,
messages=message,
max_tokens=answer_tokens,
temperature=0,
)
sim_question_list = list(db.head(n_context)['問合せ'].values)
sim_answer_list = list(db.head(n_context)['回答'].values)
sim_score_list = list(db.head(n_context)['質問文との類似度'])
source_nodes_list = db[['問合せ', '回答', '質問文との類似度']].head(n_context).values.tolist()
end = time.time()
time_diff = end - start
# ログの作成
log_row = [ip, access_time, query, response.choices[0].message.content, gpt_model, time_diff] + sim_question_list + sim_answer_list + sim_score_list
logging(log_row)
return {
'final_answer': response.choices[0].message.content,
'source_node': source_nodes_list,
}