メインコンテンツへスキップ
見出し画像

【第2弾】プロンプト時代から、ハーネス時代へ |「できました」を、そのまま信じるな。| 全3本

    AIエージェントに仕事を頼むと、たいてい自信たっぷりに「できました」と返ってきます。文章は整っているし、もっともらしい。でも、開いてみると違う、ということが起きます。

    前回は、エージェントの失敗はモデルではなく環境(ハーネス)の問題だ、という話をしました。今回は、その環境の中でも一番効く部品、「検証」の話です。シリーズ『プロンプト時代から、ハーネス時代へ』の2本目になります。

    前回の記事:

    • 「できた」はモデルの出力であって、証拠ではない。証拠には階段があり、自己申告は一番弱い

    • 作った本人に点検させるな。検証は「別の目」で、反証のつもりでやる

    • 任せる量が増えるほど、人間の仕事は「作る」から「確かめる」に移る。その力を落とさない工夫が要る

    証拠には階段がある

    完了を判定する材料は、ごまかしにくさの順に並べられます。

    • 強:決定的なチェック。テストが通る、形式が合っている、数値が一致する、といった機械的に判定できるもの

    • 中:観測できる事実。画面のスクリーンショット、ログ、実行結果の記録

    • 弱:モデルの自己申告。「正しく実装しました」という文章そのもの

    画像

    運用でありがちな失敗は、一番弱い証拠で完了にしてしまうことです。「できました」という報告は、それ自体がモデルの生成物です。証拠の階段を上るほど、「気がする」が減っていきます。

    もう1つ大事な問いは、「そのチェックは、何を証明して、何を証明していないか」です。形式が合っていることは、内容が正しいことを証明しません。緑のチェックがついたときに、それが保証する範囲を言えるかどうかが、検証の質を決めます。

    作った本人に、点検させるな

    画像

    検証で一番効くのは、「作った側と確かめる側を分ける」ことです。

    同じ文脈を引きずったまま自己点検させると、作ったときの思い込みをそのままなぞります。間違いの多くは、本人が一番気づきにくい。人間の世界でも、監査や査読が別立てなのはそのためです。

    エージェントの場合、分け方は具体的です:

    • 検証役には、成果物と「合格条件」だけを渡し、作った過程の言い訳は渡さない

    • 検証役の仕事は「良いところ探し」ではなく「反証」。落とす理由を探させる

    • チェックの観点を分ける。「内容は正しいか」「情報は新しいか」「出典は実在するか」は別の問い

    チャットボットの評価で私がやっている「テストセットで測り直す」も、この分離の一種です。
    作った人の感覚ではなく、固定した物差しに判定させる。

    ただし、過信は禁物です。

    分けただけでは「独立した検証」にはなりません。
    検証役が同じモデルの癖や、同じ誤った前提を共有していれば、同じ間違いを一緒に見逃します。Anthropicの実験でも、評価役のエージェントは最初、問題を見つけても「大したことではない」と自分を説得して合格させてしまい、評価基準の調整が必要でした。
    だから検証の土台は、テストの実行結果や実データのような、モデルの外側にある証拠に置く必要があります。

    ループは「失敗できるチェック」から始まる

    検証を一度きりではなく、繰り返しの仕組みにしたものが「ループ」です。

    画像
    作る→確かめる→直す→また確かめるのPDCA

    ここで肝心なのは、チェックが「失敗できる」ことです。
    失敗できないチェック、つまり何を出しても合格する確認は、間違いを繰り返すだけのループになります。

    実務的には、順番が逆です。

    成果物を作る前に、「何をもって合格とするか」を先に書く。合格条件が書けないタスクは、実はまだ理解できていないタスクです。人間に仕事を頼むときも同じで、検収条件が決まらない依頼は、だいたい揉めます。

    そしてフィードバックは「間違っています」だけでは弱い。

    「期待したのはこれ、実際に返ってきたのはこれ、前に試したのはこれ」という差分の形で返すと、ループは収束していきます。

    人間に残る仕事:確かめる力を落とさない

    画像

    ここからは、道具の話ではなく人の話です。

    Anthropicのエンジニア、Addy Osmaniが書いていた問題提起が刺さりました。

    エージェントが仕事をする時代、日常の中で「自分の頭で考えること」を強制される場面が消えていく。出力はたいてい整っていて、たいてい正しい。だから人はだんだん流し読みになり、やがて「なぜそうなっているか説明できないもの」が溜まっていく。

    Addy Osmani X Post: https://x.com/addyosmani/article/2117512471930167377

    彼はこれを、理解の負債と呼ぶ議論を紹介しています。

    事業会社の現場でも、同じことが起きると思います。
    AIの出す下書きや分析が「だいたい合っている」からこそ、検収する側の目利きが痩せていく。Osmaniは、成果物の量が人間のレビュー能力を超えてしまう状態を「オーケストレーション税」とも呼んでいます。並行して任せれば任せるほど、確かめる側が詰まる。でも、最後に「これで出す」と決めるのは人間です。間違っていたとき、責任を取るのも人間です。

    対策は、地味ですが効きます。

    • 頼む前に、自分の仮説を一言で持つ(答え合わせの対象を作る)

    • 「自分がこの成果物に名前を出せるか」を最後に問う

    • 定期的に、エージェントなしで考える時間を持つ

    • 外した出力について「なぜ外したか」を記録する。判断の基準は、記録すると溜まっていく

    画像

    検証の仕組み(ハーネス側)と、検証する人の力(人間側)。両輪があって初めて、「任せて大丈夫」と言えます。

    次回:型を全部、渡します

    次回はこのシリーズの最終回として、ここまでの話を実務の型に落とします。

    • タスク契約のテンプレート

    • 権限の3段階表

    • 申し送り(状態メモ)と変更レシートのフォーマット

    • 仕事の分け方

    • 導入チェックリスト

    コピーして自社用に直せる形で、有料記事としてまとめます。

    まとめ

    • 完了の判定は証拠で。自己申告は一番弱い証拠だと心得る

    • 作る側と確かめる側を分ける。検証は反証のつもりで

    • 任せるほど、人間の価値は「確かめる力」に寄る。その力を維持する工夫も設計のうち

    沼は深いですが、底はあります。

    そのほかにもAI・DATA関連で記事を出してます:

    データプロダクトオーナーで生かしたいKPI設計やロードマップについてはこちら:


     
     
    データの沼に住んでいます。事業会社でデータとAIのプロダクトオーナーをしています。 このnoteでは、データとAIプロダクトの作り方・測り方、データ職のキャリア、データ品質の話を現場で使える形で書きます。 沼は深いですが、底はあります。一緒に潜りましょう。

    あなたへのおすすめ