メインコンテンツへスキップ
見出し画像

AI要約を半額にしたい。OpenAIのBatch APIを有報で試して分かったこと

    「有価証券報告書の要約に、OpenAIのBatch APIを使えないだろうか」

    yomitokaでは、企業の公開資料を読み、事業や経営環境、リスクなどを知るための文章を作っています。有報は一社分でも長く、扱いたい会社が増えるほど、AIに原文を渡して要約する作業も増えます。

    すぐに返事が必要なチャットとは違い、有報の再生成には、少し待てる作業があります。まとめて処理できれば、費用を抑えられるかもしれない。そんな期待からBatch APIを試しました。

    2社の有報を使った小規模な検証では、次のような結果になりました。

    • 応答と検査:Batch側の8件すべてが完成し、形式・数値の自動検査も通過。ただし、原文との意味の照合では2件が不合格でした。

    • 採用判断:4区分すべてが合格した1社は採用。もう1社は、問題のなかった区分も含めて4区分すべての採用を見送りました。

    • 費用と運用:一部の同条件比較では費用が下がったものの、再試行などを含む運用全体の大幅な削減は確認できませんでした。即時応答が必要なチャットは通常の処理を維持しています。

    この記事では、なぜ「処理が終わった」だけでは採用できなかったのかを、検証の経緯とともに追います。8件、各条件1回の結果から、API全体の品質を評価するものではありません。

    待てる有報をまとめれば、費用を抑えられるかもしれない

    OpenAIのBatch APIは、複数のリクエストをファイルにまとめて渡し、処理が終わったあとに結果を回収する仕組みです。公式ドキュメントでは通常の同期APIと比べた割引が案内されており、即時の応答を必要としない仕事が向いています。

    有報の要約なら、この条件に合う部分がありそうでした。すでに保存してある同じ年度の文章を、あとから読み直しやすく整える作業です。会社が開示した文章は変わらず、リクエストを送った瞬間に返答を表示する必要もありません。

    ただ、yomitokaの処理をすべてバッチにできるわけではありません。画面を開いた人への応答や、質問中のチャットは、返事を長く待たせる使い方に向いていない。そこで、同じ文書の有報の要約を少数から試し、即時性が必要な処理とは分けることにしました。

    まずは、同じ原文を通常APIとBatch APIに渡した

    比較では、同じ会社・同じ年度の原文を使い、通常APIとBatch APIに同じモデル、指示、出力形式を指定しました。対象は会社の事業、経営環境、業績、リスクの4区分です。

    各リクエストには識別子を付け、結果がどの会社のどの文書・区分に対応するかを後から確かめます。Batch APIの出力は入力と同じ順番に並ぶとは限らないため、配列の何番目かだけで対応させません。結果が欠けていないか、同じ識別子が重なっていないかも確認します。

    最初のトヨタの有報を使った検証では、要約そのものより先に、検査の側で意外な問題が見つかりました。原文の△19.2%を、要約が「19.2%減」と書き換えたときです。

    人が読めば同じ方向の変化だと分かります。ところが当初の数値検査は、この表記の違いをうまく扱えず、正しい候補まで不一致として却下していました。

    「数字が原文にあるか」を機械的に比べるだけでは、表記を変えた正しい要約を見逃します。逆に、同じ19.2%でも「増」と「減」を取り違えたり、利益率そのものを増減率として読んだりすれば、数字が一致していても意味は変わる。そこで、符号や増減の言葉を確認しつつ、逆方向や単位違いは引き続き拒否するようにしました。

    この例で見つかったのは、AIの間違いではなく、私たちの検査が厳しすぎたことです。検査を足せば自動的に正解へ近づく、というわけでもありませんでした。

    形式と数字が通っても、元の意味が残るとは限らない

    次に、対象を2社、各4区分の計8件に広げました。ある最終評価では、Batch側の8件すべてが完成し、自動の形式・数値検査を通過しました。

    ところが、別途、原文と要約を読み比べると、8件のうち2件は意味の面で不合格でした。採用を見送る理由になったのは、次のような違いです。

    • 見通しが事実に見える:原文では将来への見通しだった内容が、要約ではすでに起きた事実のように読めた。

    • 割合の分母が抜ける:売上に関する9.3%という数字は残っていたものの、何に対する割合なのかが抜けていた。

    どちらも、文章としては成立し、数字だけを探しても問題を見つけにくい例です。見通しなのか実績なのか。割合は何を分母にしたものか。リスクの原因と影響は、同じ条件のもとで結びついているか。元の文章との関係まで確かめないと、短くした結果の意味は判断できません。

    この評価では、4区分すべてが確認を通った1社を採用し、2区分に問題があったもう1社は、合格した区分も含めて採用を見送りました。問題のあった候補をそのまま公開するのではなく、既存の内容を残しています。

    同じ評価の通常API側は8件中7件が完成し、残る1件は出力上限で途中終了しました。どちらも各条件1回ずつの小さな試行です。今回の結果だけで「Batchだから間違えた」「通常APIなら正しい」とは言えません。私たちが確かめたのは、一括処理で返ってきた結果を、何の確認もなく採用できるわけではないということです。

    APIの割引と、運用全体のコストは違った

    Batch APIの料金上の割引は魅力でした。ただし、実際の運用では、リクエスト単価だけを見ても全体像は分かりません。

    品質を確かめるために通常APIと比べる。途中で終わった結果を調べる。必要なら指示やモデル、出力上限を見直して再検証する。採用できなかった結果にも、それまでの処理が発生しています。今回の小規模な同条件比較では費用が下がった部分がある一方、モデル変更や再試行、不採用分まで含む運用全体で、大幅に下がったとは確認できませんでした。

    だからといって、Batch APIを使わないと決めたわけでもありません。待てる有報の再生成は、対象を指定し、原文を確認したうえで採用する限定的な運用にしました。すべての会社への無人採用や、新しい定期実行には広げていません。チャットなど即時性が必要な処理も、従来の経路を維持しています。

    一括処理の前に、採用できなかった結果を考える

    最初の問いは「まとめて処理すれば安くなるか」でした。実際に試してみると、その前に「何が返ってきたら採用できるのか」「採用できなければ何を残すのか」を決める必要がありました。

    今回、私たちが分けて記録したのは、処理が完了したか、形式と数値の検査を通ったか、原文との意味が合っているか、そして実際に採用したか、という段階です。一つの「成功」にまとめず、8件すべてを原文と照合したことで、2件に意味上の問題があると分かりました。

    もし自分の仕事でもBatch APIを試すなら、今回の経験から、次の順で考えたいです。

    1. 待てる作業を少数選ぶ。 通常の処理と同じ入力・条件で比べます。

    2. 結果の中身を確認する。 形式や数値だけでなく、元の文章と意味が合っているかを見ます。

    3. 全体の手間と不採用時の扱いを決める。 費用や待ち時間に加え、確認・再試行の手間と、採用しない場合に何を残すかを記録します。

    その結果を見てから、対象を広げるか決める。私たちはそんな進め方になりました。

    AIに企業資料を読んでもらうことは、読み手の入口を広げられるかもしれません。だからこそ、短くなった文章が、元の資料の何を伝え、何を落としているか。これからも確かめながら作っていきたいと思います。

    感想やご要望はこちらからお寄せください。

    この記事を書いたチームがつくるyomitokaで、日本企業の情報を読み解いてみてください。


     
     
    日本の会社を知るサービス「yomitoka」のnoteです。身近な会社の話や、開発の日々、サービスの更新をお届けします。 https://yomitoka.com/

    あなたへのおすすめ