
【第2弾】プロンプト時代から、ハーネス時代へ |「できました」を、そのまま信じるな。| 全3本
AIエージェントに仕事を頼むと、たいてい自信たっぷりに「できました」と返ってきます。文章は整っているし、もっともらしい。でも、開いてみると違う、ということが起きます。
前回は、エージェントの失敗はモデルではなく環境(ハーネス)の問題だ、という話をしました。今回は、その環境の中でも一番効く部品、「検証」の話です。シリーズ『プロンプト時代から、ハーネス時代へ』の2本目になります。
前回の記事:
「できた」はモデルの出力であって、証拠ではない。証拠には階段があり、自己申告は一番弱い
作った本人に点検させるな。検証は「別の目」で、反証のつもりでやる
任せる量が増えるほど、人間の仕事は「作る」から「確かめる」に移る。その力を落とさない工夫が要る
証拠には階段がある
完了を判定する材料は、ごまかしにくさの順に並べられます。
強:決定的なチェック。テストが通る、形式が合っている、数値が一致する、といった機械的に判定できるもの
中:観測できる事実。画面のスクリーンショット、ログ、実行結果の記録
弱:モデルの自己申告。「正しく実装しました」という文章そのもの

運用でありがちな失敗は、一番弱い証拠で完了にしてしまうことです。「できました」という報告は、それ自体がモデルの生成物です。証拠の階段を上るほど、「気がする」が減っていきます。
もう1つ大事な問いは、「そのチェックは、何を証明して、何を証明していないか」です。形式が合っていることは、内容が正しいことを証明しません。緑のチェックがついたときに、それが保証する範囲を言えるかどうかが、検証の質を決めます。
作った本人に、点検させるな

検証で一番効くのは、「作った側と確かめる側を分ける」ことです。
同じ文脈を引きずったまま自己点検させると、作ったときの思い込みをそのままなぞります。間違いの多くは、本人が一番気づきにくい。人間の世界でも、監査や査読が別立てなのはそのためです。
エージェントの場合、分け方は具体的です:
検証役には、成果物と「合格条件」だけを渡し、作った過程の言い訳は渡さない
検証役の仕事は「良いところ探し」ではなく「反証」。落とす理由を探させる
チェックの観点を分ける。「内容は正しいか」「情報は新しいか」「出典は実在するか」は別の問い
チャットボットの評価で私がやっている「テストセットで測り直す」も、この分離の一種です。
作った人の感覚ではなく、固定した物差しに判定させる。
ただし、過信は禁物です。
分けただけでは「独立した検証」にはなりません。
検証役が同じモデルの癖や、同じ誤った前提を共有していれば、同じ間違いを一緒に見逃します。Anthropicの実験でも、評価役のエージェントは最初、問題を見つけても「大したことではない」と自分を説得して合格させてしまい、評価基準の調整が必要でした。
だから検証の土台は、テストの実行結果や実データのような、モデルの外側にある証拠に置く必要があります。
ループは「失敗できるチェック」から始まる
検証を一度きりではなく、繰り返しの仕組みにしたものが「ループ」です。

ここで肝心なのは、チェックが「失敗できる」ことです。
失敗できないチェック、つまり何を出しても合格する確認は、間違いを繰り返すだけのループになります。
実務的には、順番が逆です。
成果物を作る前に、「何をもって合格とするか」を先に書く。合格条件が書けないタスクは、実はまだ理解できていないタスクです。人間に仕事を頼むときも同じで、検収条件が決まらない依頼は、だいたい揉めます。
そしてフィードバックは「間違っています」だけでは弱い。
「期待したのはこれ、実際に返ってきたのはこれ、前に試したのはこれ」という差分の形で返すと、ループは収束していきます。
人間に残る仕事:確かめる力を落とさない

ここからは、道具の話ではなく人の話です。
Anthropicのエンジニア、Addy Osmaniが書いていた問題提起が刺さりました。
エージェントが仕事をする時代、日常の中で「自分の頭で考えること」を強制される場面が消えていく。出力はたいてい整っていて、たいてい正しい。だから人はだんだん流し読みになり、やがて「なぜそうなっているか説明できないもの」が溜まっていく。
彼はこれを、理解の負債と呼ぶ議論を紹介しています。
事業会社の現場でも、同じことが起きると思います。
AIの出す下書きや分析が「だいたい合っている」からこそ、検収する側の目利きが痩せていく。Osmaniは、成果物の量が人間のレビュー能力を超えてしまう状態を「オーケストレーション税」とも呼んでいます。並行して任せれば任せるほど、確かめる側が詰まる。でも、最後に「これで出す」と決めるのは人間です。間違っていたとき、責任を取るのも人間です。
対策は、地味ですが効きます。
頼む前に、自分の仮説を一言で持つ(答え合わせの対象を作る)
「自分がこの成果物に名前を出せるか」を最後に問う
定期的に、エージェントなしで考える時間を持つ
外した出力について「なぜ外したか」を記録する。判断の基準は、記録すると溜まっていく

検証の仕組み(ハーネス側)と、検証する人の力(人間側)。両輪があって初めて、「任せて大丈夫」と言えます。
次回:型を全部、渡します
次回はこのシリーズの最終回として、ここまでの話を実務の型に落とします。
タスク契約のテンプレート
権限の3段階表
申し送り(状態メモ)と変更レシートのフォーマット
仕事の分け方
導入チェックリスト
コピーして自社用に直せる形で、有料記事としてまとめます。
まとめ
完了の判定は証拠で。自己申告は一番弱い証拠だと心得る
作る側と確かめる側を分ける。検証は反証のつもりで
任せるほど、人間の価値は「確かめる力」に寄る。その力を維持する工夫も設計のうち
沼は深いですが、底はあります。
そのほかにもAI・DATA関連で記事を出してます:
データプロダクトオーナーで生かしたいKPI設計やロードマップについてはこちら: