メインコンテンツへスキップ
見出し画像

AIチャットの財務グラフは「観点」だけ選ばせる

    「この会社の財務情報を教えて」と聞かれたとき、どの図を見せれば理解が進むでしょうか。売上と利益の推移がよい場合もあれば、現金の出入りや資本効率を見たい場合もあります。一方で、図の数値までAIに書かせると、質問していない指標や年度が混ざっても気づきにくくなります。

    yomitokaのChatでは、広い財務質問に対して、AIが図にする観点を一つ提案し、値と出典はサーバーが保存済みの財務データから組み立てます。図を表示する機能を作る開発者に向けて、モデルの選択とアプリ側の検証をどう分けたかを、ツールの入力と回帰テストから紹介します。

    AIが渡せるのは企業と四つの観点

    OpenAIのFunction callingの説明では、モデルがツールの呼び出しと引数を返し、アプリケーション側がその入力で処理を実行します。この分担を使い、財務グラフ用ツールの入力を次の二つに絞りました。

    parameters: z.object({
      ticker: tickerSchema,
      groupId: z.enum([
        "performance",
        "capital_efficiency",
        "dividend",
        "cash_flow",
      ]),
    });
    

    tickerは対象企業、groupIdは業績・資本効率・配当・キャッシュフローのどれを見せるかです。モデルは年度ごとの数値、単位、SVG、出典URLを引数に渡せません。サーバーは、すでに解決した一社の証券コードと一致するかを確認し、同じ回答に同じ図を二重に追加する呼び出しも退けます。

    この入力の狭さには理由があります。モデルには「この質問には現金の流れが役立ちそうだ」という選択を任せられます。しかし、読者に示す数値とその利用範囲は、画面を提供する側が確認できる状態にしておきたいからです。

    すべての財務質問をこの選択経路へ通すわけではありません。「売上の推移を見たい」のように、指標や期間が質問に表れている場合は、その指定に沿って図を組み立てます。モデルに観点を選んでもらうのは、「財務情報を教えて」のように複数の見方があり得る質問です。質問から決まることまで毎回モデルに決め直させないようにしました。

    図を配信する前に、対象企業・期間・二期分の値を確かめる

    回帰テストには、対象企業について「財務情報を教えて」と尋ねる例があります。テスト上のAgentはまず財務情報を取得し、次にcash_flowを選んで図のツールを呼びます。実際の利用者の質問に対して毎回キャッシュフローを選ぶという意味ではありません。広い質問で観点を一つ選べるかを確かめる入力です。

    サーバーがその呼び出しを受けた後は、次の順で確認します。

    1. 確認済みの対象企業か、利用者が見られる財務データか、画面がこの図の形式に対応しているかを確認する。

    2. 保存済みの年度別データから、質問の指標と期間に合う系列を作る。推移として表示するには、確認できた値が二期以上必要になる。

    3. 採用した年度の資料を出典として図のデータに付け、本文とは別の図として同じ回答へ配信する。保存対象の会話では図も履歴へ残す。

    このため、モデルがcash_flowを選んでも、対応する二期分の値がなければ、そのまま空の線を描きません。年度の途中に未取得の期間があれば制約として残し、欠けた値をゼロに変えません。出典もモデルが作ったリンクではなく、保存済みの年度行に紐付く書類から組み立てます。ただし、この出典は年度行を採用した書類を示すもので、図中の各項目と書類の箇所を一対一に対応付けた証明ではありません。

    完成した図は回答本文に後から描き足すのではなく、その回答の図データとして一緒に配信し、保存対象の会話では履歴にも残します。テストでは、同じ回答に図が一件届き、保存するデータにもその図が含まれることを確認しています。画面を開き直したときに図だけ別の判断で作り直さないための扱いです。図に添える資料と制約も、その図データの一部にします。

    指標を指定した質問は、別の図に置き換えない

    テストでは、二期のキャッシュフロー値を欠かした状態で、Agentがcash_flowを選ぶ場合も作りました。質問が「財務情報を教えて」のように観点を限定していなければ、サーバーは表示可能な別の観点を探します。この例では業績の図を返し、「キャッシュフローは二期以上の推移を表示できないため、業績を表示した」という制約を図のデータに付けます。図を出せたことだけを成功扱いにしません。

    これに対し、「営業利益はどうですか」という質問でAgentがcash_flowを選んでも、キャッシュフローの図へすり替えません。質問で指標や観点が指定されている場合、モデルの選択はそれを上書きできない設計です。条件に合う図が作れなければ図は出さず、確認できた範囲を回答本文で説明するようツール結果で促します。

    さらに、図の形式に対応していない画面には、このツール自体を提示しません。古い画面や一部の環境で読めないデータを配信しないためです。テストでは、図を選んだ回答への配信と保存、指標違いの拒否、未対応画面へのツール非提示をそれぞれ確かめています。

    このテストはモデルが任意の会話で常に適切な観点を選ぶことまで保証しません。確認しているのは、ある観点を提案した後にサーバーが守る条件です。選び方自体は、実際の質問と回答を読み、どの図が役立ったかを別に評価する必要があります。

    図で示す観点と、財務全体の説明を分ける

    図は一つの観点を見やすくするものです。売上と利益が増えていても、現金の出入りや財務の安定性まで同じ図から分かるわけではありません。そこで広い財務質問では、選んだ図が財務全体を代表すると誤解させず、必要ならほかの観点を本文で補うよう、回答生成の指示に書いています。Chat用の画面部品は、企業詳細でも使うグラフを再利用し、選ばれた観点を表示する実装です。

    この設計から持ち帰れるのは、AIに図の完成品を頼む前に、何を選ばせると読者の問いに近づき、何をアプリ側で確定すべきかを分けることです。今回なら、観点はモデルが提案できます。企業の同一性、利用できる期間、二期分の値、欠損と出典はサーバーが検証します。質問を狭めたときに別の指標へ切り替えないことも、図を出す条件と同じくらい大切でした。

    ここで説明したのは実装と自動テストで確認できる境界です。実際の会話でどの観点が選ばれやすいか、図によって理解がどれだけ進むかは測定していません。記事への感想や開発上の疑問はこちらからお寄せください。

    この記事を書いたチームがつくるyomitokaで、気になる日本企業の情報を読み解いてみてください。


    この記事はnoteマネーにピックアップされました

    noteマネー 今週の特集「新体制のエヌビディア決算、AI株は持ち直す?」
     
     
    日本の会社を知るサービス「yomitoka」のnoteです。身近な会社の話や、開発の日々、サービスの更新をお届けします。 https://yomitoka.com/

    あなたへのおすすめ