
AIプロダクトオーナーの実務|「作って終わり」にしない評価設計と改善ループ
「デモンストレーションのときは、あんなに賢かったのに。」
AIチャットボットやAIエージェントを現場に入れたことのある人なら、一度は聞いたことがあるはずの言葉です。作るだけなら、今のAIは驚くほど簡単です。数日でデモが動き、画面の前ではそれなりに賢く見える。でも、現場の質問はデモの想定通りには来てくれません。
難しいのはその先です。そのAIが本当に良いのかをどう確かめるか。悪い答えが返ってきたときに、どこを直せばいいのか。そして、現場の人にどう使ってもらうか。
私は事業会社で、データプロダクトとAIプロダクトのオーナーをしています。この記事では、AIプロダクトの企画から評価、改善までの実務を、1つの設定例を通して具体的に書きます。設定例は「社内の問い合わせに答えるチャットボット」です。実在の事例ではなく、よくある条件を寄せ集めたモデルケースですが、考える順番と道具立てはそのまま実務で使っているものです。
・AIプロダクトの失敗は、モデルの精度よりも「解く問題の選び方」と「評価の不在」で起きる
・正解が1つに定まらないAIには、専用の評価設計がいる。テストセット(代表質問の束)と「4つの物差し」を先に作る
・悪い回答は捨てずに分類して資産化する。それが改善ループの燃料になる
AIプロダクトが失敗する3つのパターン

具体論の前に、避けるべき失敗を先に置いておきます。現場で見てきた失敗は、だいたい3つに寄ります。
1つ目は、解く問題の選定ミスです。「AIで何かやろう」から始めて、頻度の低い仕事や、間違えたら取り返しのつかない仕事にAIを当ててしまう。技術の都合でテーマを決めると、ここでつまずきます。
2つ目は、評価の不在です。リリースしたものの、良くなっているのか悪くなっているのか誰にも分からない。モデルやプロンプトが変わるたびに「何か良くなった気がする」で運用が回り、問題が起きたときに原因を追えません。
3つ目は、浸透の不在です。作ったけれど現場が使わず、半年後にひっそり終わる。これはデータプロダクトでも同じで、私が一番避けたい失敗です。
逆に言うと、精度そのものが致命傷になるケースは、思われているほど多くありません。設計で避けられる失敗が大半です。ここから先は、この3つを順に潰していく話です。
企画:設定例で見る「任せる仕事」の決め方

今回の設定例は、こんな組織の問い合わせ対応です。
・社員から総務・情報システム部門に、月あたり約600件の問い合わせが来る
・内訳を見ると、「パスワード再発行の手順」「会議室の予約方法」「経費精算の締め日」など、同じ質問の繰り返しが多い
・担当者は本来の仕事の合間に答えていて、回答までに半日かかることもある
このケース、AIに向いているでしょうか。判断に使うのは、次のチェックリストです。
見極めチェックリスト(企画時に自問する5つ)
1. その仕事は、週に何回起きるか(頻度が低い仕事は自動化しても効かない)
2. 入力は曖昧か(人の解釈が要る仕事ほどAIの出番がある。逆に、入力が完全に定型なら普通のシステム化で十分なことも多い)
3. 間違えたら、巻き戻せるか(人が最終確認する前提にできるか)
4. 「正解の材料」は存在するか(手順書や規程など、AIが参照できる情報があるか)
5. 使う人の「困った」が具体的か(誰の、どの場面の困りごとを解くのか言えるか)
設定例に当てはめると、頻度は月600件で十分、質問文は人によって書き方がバラバラ(曖昧)、回答は下書きを人が確認してから送る形にすれば巻き戻せる、手順書や社内規程という材料もある。5つとも通るので、進める価値があります。
逆に、同じ部門でも「勤怠の例外判定」のような仕事は外します。頻度が低く、間違いのコストが高く、責任の所在が曖昧になりやすいからです。AIには「答えを出す係」ではなく「材料をそろえる係」までに留める、という線引きを最初に決めておきます。
最初の範囲は「2カテゴリだけ」に切る

もう1つ大事なのは、最初の適用範囲を小さく切ることです。設定例なら、問い合わせ全体ではなく「情報システム系の手順案内」と「総務の施設・備品案内」の2カテゴリだけから始める。
ただし、検証用の環境でいつまでも磨くのではなく、限定範囲でいいので早めに実際の利用者に使ってもらいます。AIプロダクトは、机上の想定と現場の質問がまったく違うからです。そして、本物の質問が集まり始めたら、次にやることがあります。評価の仕組み作りです。
評価設計:テストセットと「4つの物差し」

AIプロダクトの評価は、通常のソフトウェアのテストと発想が違います。入力に対して正解が1つに定まらないからです。「それっぽい答え」が返ってきたときに、良いのか悪いのかを判定する物差しを、こちらで先に用意しなければなりません。
テストセットの中身(実例)
評価の土台は、代表的な質問の束=テストセットです。設定例のボットなら、最初は50件くらいから始めます。中身の配分が大事で、きれいな質問ばかり集めると意味がありません。
種類|例|件数の目安
よくある質問|パスワードを忘れたときの再発行手順を教えて|20件
言い換え・曖昧な質問|ログインできなくなったんだけど(手順を知りたいのか、障害報告か曖昧)|10件
条件が要る質問|出張先から社内システムに入るには?(VPNの前提が要る)|10件
答えられないはずの質問|来期の組織変更の内容を教えて(未公開情報。答えたら事故)|5件
範囲外の質問|近くの美味しいランチを教えて|5件
ポイントは最後の2種類です。「答えられないはずの質問に、もっともらしく答えてしまう」のは、AIプロダクトで一番危ない失敗なので、最初からテストに入れておきます。
モデルやプロンプトを変更するたびに、この同じ50件で測り直す。すると「良くなった気がする」が「この種類は改善したが、この種類が悪化した」という議論に変わります。
採点の物差し:4つの評価軸と3段階
採点は、4つの軸で見ます。各軸3段階の定義を持たせると、採点者によるブレが小さくなります。

評価軸|3:良い|2:惜しい|1:悪い
正確性|手順・規程と一致し、根拠も正しい|大筋は正しいが、一部が古い・曖昧|事実と違う、存在しない手順を案内
網羅性|聞かれたことに漏れなく答えた|主要点は答えたが、前提条件が抜けた|質問の一部にしか答えていない
使い勝手|分量・形式が適切で、そのまま使える|読めば分かるが、長い・回りくどい|何をすればいいか分からない
事業への効き|次の行動(申請、手順の実行)に直結する|情報は足りるが、行動は読み手任せ|行動につながらない、むしろ混乱させる
「正しさ」だけ見ると、正確だけれど長いだけの回答が量産されます。特に4つ目の「事業への効き」は忘れられがちですが、ここが抜けると「賢いのに仕事が進まないAI」になります。
人の評価と自動評価の使い分け
50件すべてを毎回人が読むのは、正直しんどい。続く形にするために、分担を決めます。
・自動で全体を見る:参照すべき情報源に触れているか、禁止した話題(未公開情報など)に触れていないか、形式が崩れていないか
・人が抜き取りで深く見る:正確性と「事業への効き」。変更のたびに20件ほどを採点する
目安として、プロンプトやモデルの変更時は「自動で全件+人で20件」、週次の定点観測では「人で10件」くらいが、無理なく回る配分でした(これも設定例の組織規模での話です)。
改善ループ:悪い回答を1件、直してみる

評価で見つけた悪い回答を、そのままにしないのが改善ループです。1件、通しで見てみます。
悪い回答の例
質問:「経費精算の締め日はいつですか?」
ボットの回答:「毎月25日です。」
一見、正しそうです。でも設定例の会社では、締め日は「月末営業日」で、25日は旧ルール。しかも、締め日を過ぎた場合の例外手続きに触れていません。採点すると、正確性1(古い情報)、網羅性2(例外が抜けている)です。
分類する
原因を考えます。参照先の規程集には新しいルールが載っている。なのにボットは古い方を答えた。古い手順書が別の場所に残っていて、そちらを参照している「検索・参照のミス」と分類しました。モデルが馬鹿だったわけではありません。
直す
対処は、プロンプトをいじることではなく、情報源の整備でした。古い手順書をアーカイブに移し、規程集の該当ページに「締め日=月末営業日。過ぎた場合は例外申請へ」という導線を追記する。AIの改善が、実はドキュメント整備になることは、とても多いです。
また測る
同じテストセットで測り直すと、その質問は正確性3に上がりました。同時に、似た構造の「申請期限」系の質問も一緒に改善していないか確認します。1件の失敗は、だいたい同種の問題の代表だからです。
失敗の分類と、直し先の対応表

悪い回答は、原因で分類すると直し先が見えます。
分類|状態|直し先
知識不足|参照する情報がない、古い|情報源の追加・更新(ドキュメント整備)
検索・参照のミス|情報はあるのに拾えていない|情報の置き方、検索の調整
指示の曖昧さ|前提条件や出力形式が足りない|プロンプト、回答テンプレート
守備範囲外|答えられない質問に無理に答えている|「答えられない」と返す設計、担当への橋渡し
直す順番は、頻度×影響の大きいものから。全部を直そうとすると、どれも直りません。
そして、この分類の材料は現場からの報告です。利用者が「この回答おかしい」と思った瞬間にボタン1つで送れる動線があるかどうかで、集まる失敗の量はまったく変わります。送ってくれた人に「直しました」と返すことも忘れません。この往復が、次の話につながります。
浸透:使われなければ意味がない

最後に、一番大事な話をします。
私は、プロダクトは作るだけでは終わらないと考えています。どれだけ評価の数字が良くても、現場の業務に組み込まれて、誰かの行動が変わらなければ意味がありません。会社の役にも立ちません。
設定例で言うと、浸透のためにやることは地味です。
・最初に「成功体験を作りやすい場面」から入れる。今回なら、回答が速くなったことを一番感じやすい情報システム系の手順案内から
・困ったときに聞ける相手を明示する。ボットが答えられないときの、人への橋渡し先を最初に決めておく
・直したことを伝える。「先週報告のあった締め日の件、直しました」という小さな発信が、次に使ってもらえる理由になる
測り方も、質の指標だけでは足りません。「使っている人の数」より、「業務の中で定着した場面の数」を見ます。例えば、問い合わせのうちボットで完結する割合が増えているか、同じ人が繰り返し使っているか。評価会の数字が良くても、現場が離れたら失敗です。
この「浸透の技術」は、いずれ別の記事で1本書きたいと思っています。
なお、こうした「質と使われ方をどう測るか」の土台になるKPI設計そのものについては、有料記事「データプロダクトオーナーの実務入門|KPI設計とロードマップの作り方」にまとめています。KPIツリーの3層設計と、優先順位づけの型を扱った記事です。今回の「4つの物差し」を、自社のKPI体系にどう接続するかの参考になると思います。
まとめ
・AIプロダクトの成否は、モデル選びより前の「問題の選び方」と「評価設計」でほぼ決まる
・テストセットと「4つの物差し」を先に作る。悪い回答は分類すれば、直し先が見える
・質の指標と、使われ方の指標を両方持つ。使われなければ意味がない
沼は深いですが、底はあります。次回は、データの品質とガバナンスの話
か、作ったプロダクトを会社に浸透させる技術の話を書く予定です。
質問箱を置きました
データとAIプロダクトの現場の困りごとを募集しています。作ったのに使われない、評価の仕方が分からない、といった悩みがあれば、質問箱から気軽にどうぞ。
次の記事も公開しました: