
AI要約を半額にしたい。OpenAIのBatch APIを有報で試して分かったこと
「有価証券報告書の要約に、OpenAIのBatch APIを使えないだろうか」
yomitokaでは、企業の公開資料を読み、事業や経営環境、リスクなどを知るための文章を作っています。有報は一社分でも長く、扱いたい会社が増えるほど、AIに原文を渡して要約する作業も増えます。
すぐに返事が必要なチャットとは違い、有報の再生成には、少し待てる作業があります。まとめて処理できれば、費用を抑えられるかもしれない。そんな期待からBatch APIを試しました。
2社の有報を使った小規模な検証では、次のような結果になりました。
応答と検査:Batch側の8件すべてが完成し、形式・数値の自動検査も通過。ただし、原文との意味の照合では2件が不合格でした。
採用判断:4区分すべてが合格した1社は採用。もう1社は、問題のなかった区分も含めて4区分すべての採用を見送りました。
費用と運用:一部の同条件比較では費用が下がったものの、再試行などを含む運用全体の大幅な削減は確認できませんでした。即時応答が必要なチャットは通常の処理を維持しています。
この記事では、なぜ「処理が終わった」だけでは採用できなかったのかを、検証の経緯とともに追います。8件、各条件1回の結果から、API全体の品質を評価するものではありません。
待てる有報をまとめれば、費用を抑えられるかもしれない
OpenAIのBatch APIは、複数のリクエストをファイルにまとめて渡し、処理が終わったあとに結果を回収する仕組みです。公式ドキュメントでは通常の同期APIと比べた割引が案内されており、即時の応答を必要としない仕事が向いています。
有報の要約なら、この条件に合う部分がありそうでした。すでに保存してある同じ年度の文章を、あとから読み直しやすく整える作業です。会社が開示した文章は変わらず、リクエストを送った瞬間に返答を表示する必要もありません。
ただ、yomitokaの処理をすべてバッチにできるわけではありません。画面を開いた人への応答や、質問中のチャットは、返事を長く待たせる使い方に向いていない。そこで、同じ文書の有報の要約を少数から試し、即時性が必要な処理とは分けることにしました。
まずは、同じ原文を通常APIとBatch APIに渡した
比較では、同じ会社・同じ年度の原文を使い、通常APIとBatch APIに同じモデル、指示、出力形式を指定しました。対象は会社の事業、経営環境、業績、リスクの4区分です。
各リクエストには識別子を付け、結果がどの会社のどの文書・区分に対応するかを後から確かめます。Batch APIの出力は入力と同じ順番に並ぶとは限らないため、配列の何番目かだけで対応させません。結果が欠けていないか、同じ識別子が重なっていないかも確認します。
最初のトヨタの有報を使った検証では、要約そのものより先に、検査の側で意外な問題が見つかりました。原文の△19.2%を、要約が「19.2%減」と書き換えたときです。
人が読めば同じ方向の変化だと分かります。ところが当初の数値検査は、この表記の違いをうまく扱えず、正しい候補まで不一致として却下していました。
「数字が原文にあるか」を機械的に比べるだけでは、表記を変えた正しい要約を見逃します。逆に、同じ19.2%でも「増」と「減」を取り違えたり、利益率そのものを増減率として読んだりすれば、数字が一致していても意味は変わる。そこで、符号や増減の言葉を確認しつつ、逆方向や単位違いは引き続き拒否するようにしました。
この例で見つかったのは、AIの間違いではなく、私たちの検査が厳しすぎたことです。検査を足せば自動的に正解へ近づく、というわけでもありませんでした。
形式と数字が通っても、元の意味が残るとは限らない
次に、対象を2社、各4区分の計8件に広げました。ある最終評価では、Batch側の8件すべてが完成し、自動の形式・数値検査を通過しました。
ところが、別途、原文と要約を読み比べると、8件のうち2件は意味の面で不合格でした。採用を見送る理由になったのは、次のような違いです。
見通しが事実に見える:原文では将来への見通しだった内容が、要約ではすでに起きた事実のように読めた。
割合の分母が抜ける:売上に関する9.3%という数字は残っていたものの、何に対する割合なのかが抜けていた。
どちらも、文章としては成立し、数字だけを探しても問題を見つけにくい例です。見通しなのか実績なのか。割合は何を分母にしたものか。リスクの原因と影響は、同じ条件のもとで結びついているか。元の文章との関係まで確かめないと、短くした結果の意味は判断できません。
この評価では、4区分すべてが確認を通った1社を採用し、2区分に問題があったもう1社は、合格した区分も含めて採用を見送りました。問題のあった候補をそのまま公開するのではなく、既存の内容を残しています。
同じ評価の通常API側は8件中7件が完成し、残る1件は出力上限で途中終了しました。どちらも各条件1回ずつの小さな試行です。今回の結果だけで「Batchだから間違えた」「通常APIなら正しい」とは言えません。私たちが確かめたのは、一括処理で返ってきた結果を、何の確認もなく採用できるわけではないということです。
APIの割引と、運用全体のコストは違った
Batch APIの料金上の割引は魅力でした。ただし、実際の運用では、リクエスト単価だけを見ても全体像は分かりません。
品質を確かめるために通常APIと比べる。途中で終わった結果を調べる。必要なら指示やモデル、出力上限を見直して再検証する。採用できなかった結果にも、それまでの処理が発生しています。今回の小規模な同条件比較では費用が下がった部分がある一方、モデル変更や再試行、不採用分まで含む運用全体で、大幅に下がったとは確認できませんでした。
だからといって、Batch APIを使わないと決めたわけでもありません。待てる有報の再生成は、対象を指定し、原文を確認したうえで採用する限定的な運用にしました。すべての会社への無人採用や、新しい定期実行には広げていません。チャットなど即時性が必要な処理も、従来の経路を維持しています。
一括処理の前に、採用できなかった結果を考える
最初の問いは「まとめて処理すれば安くなるか」でした。実際に試してみると、その前に「何が返ってきたら採用できるのか」「採用できなければ何を残すのか」を決める必要がありました。
今回、私たちが分けて記録したのは、処理が完了したか、形式と数値の検査を通ったか、原文との意味が合っているか、そして実際に採用したか、という段階です。一つの「成功」にまとめず、8件すべてを原文と照合したことで、2件に意味上の問題があると分かりました。
もし自分の仕事でもBatch APIを試すなら、今回の経験から、次の順で考えたいです。
待てる作業を少数選ぶ。 通常の処理と同じ入力・条件で比べます。
結果の中身を確認する。 形式や数値だけでなく、元の文章と意味が合っているかを見ます。
全体の手間と不採用時の扱いを決める。 費用や待ち時間に加え、確認・再試行の手間と、採用しない場合に何を残すかを記録します。
その結果を見てから、対象を広げるか決める。私たちはそんな進め方になりました。
AIに企業資料を読んでもらうことは、読み手の入口を広げられるかもしれません。だからこそ、短くなった文章が、元の資料の何を伝え、何を落としているか。これからも確かめながら作っていきたいと思います。
感想やご要望はこちらからお寄せください。
この記事を書いたチームがつくるyomitokaで、日本企業の情報を読み解いてみてください。