メインコンテンツへスキップ
見出し画像

LangChain のデバッグツール Tracing を試す

    「LangChain」のデバッグツール「Tracing」を試したので、まとめました。

    ・LangChain 0.0.96
    ・Python 3.9

    1. Tracing

    「Tracing」は、「LangChain」のデバッグツールです。チェーンとエージェントをツリー構造で可視化することができます。「Tracing」はDockerで提供されています。

    画像

    2. Tracingの起動

    今回はDockerが必要なので、「Google Colab」でなくローカルで実行します。

    (1) Dockerのインストール。

    (2) Pythonの仮想環境 で「langchain」をインストール。

    $ pip install langchain

    (3) 「langchain-server」を起動。
    Dockerが起動してる状態で実行してください。

    $ langchain-server

    成功すると、「Tracing」のURLが表示されます。

       ➜  Local:   http://localhost:4173/

    (4) ブラウザで表示されたURLを開く。
    セッション一覧が表示されます。「セッション」は、トレースをグループ化したものになります。

    画像

    (5) 「Session default」をクリック。
    セッション情報が表示されます。まだ何も実行されてません。

    画像

    3. LangChainの実行

    Jupyter NotebookでLangChainを実行します。

    (1) Pythonの仮想環境 で「Jupyter Notebook」のインストール。

    $ pip install notebook

    (2) 「Jupyter Notebook」の起動。

    $ jupyter notebook

    (3) 「New → Python 3」でPythonのノートブックを作成。

    画像

    (4) パッケージのインストール。

    # パッケージのインストール
    !pip install langchain
    !pip install openai

    (3) 環境変数の準備。
    「LANGCHAIN_HANDLER」は、トレースを使用する環境を指定しています。 <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料)

    import os
    os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"
    os.environ["LANGCHAIN_HANDLER"] = "langchain"

    (4) 動作確認用にエージェントを実行。
    ツール「llm-math」を持つエージェントを作成し、「2の.123243乗は?」と質問してます。

    import langchain
    from langchain.agents import Tool, initialize_agent, load_tools
    from langchain.llms import OpenAI
    
    # エージェントの準備
    llm=OpenAI(temperature=0)
    agent = initialize_agent(
        tools= load_tools(["llm-math"], llm=llm), 
        llm=llm, 
        agent="zero-shot-react-description", 
        verbose=True
    )
    
    # エージェントの実行
    agent.run("2の.123243乗は?")
    > Entering new AgentExecutor chain...
     I need to calculate the power of a number
    Action: Calculator
    Action Input: 2^.123243
    Observation: Answer: 1.0891804557407723
    
    Thought:
    Retrying langchain.llms.openai.BaseOpenAI.completion_with_retry.<locals>._completion_with_retry in 4.0 seconds as it raised Timeout: Request timed out: HTTPSConnectionPool(host='api.openai.com', port=443): Read timed out. (read timeout=600).
     I now know the final answer
    Final Answer: 1.0891804557407723
    
    > Finished chain.
    '1.0891804557407723'

    4. トレース結果の確認

    「Tracing」のセッション情報に戻り、ブラウザを更新すると、トレース結果を確認できます。

    画像

    「Explore」で、チェーンやLLMごとの情報を確認できます。

    画像



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ