メインコンテンツへスキップ
見出し画像

【第1弾】プロンプト時代から、ハーネス時代へ | AIエージェントはなぜ本番で崩れるのか | 全3本

    前回、AIチャットボットの「評価設計」の記事では、テストセットを作り、物差しで測り、悪い回答を分類して直す、という話をしました。

    その記事を書いたあと、英語圏のエンジニアの間で「ハーネス・エンジニアリング」という言葉が一気に広がっているのを見ました。

    AIエージェントの設計論です。読み進めて驚きました。言っていることが、私がチャットボット運用でやってきたことと、ほぼ同じだったからです。
    ただし、対象はもっと広い。エージェント全般の「環境設計」の話でした。


    この記事では、その考え方を事業会社の言葉に翻訳して紹介します。シリーズ『プロンプト時代から、ハーネス時代へ』の1本目です。

    • AIエージェントの失敗の大半は、モデルの賢さではなく「環境」の欠陥で起きる

    • モデルは推論エンジンにすぎない。契約・文脈・道具・状態・検証・権限という「ハーネス」が仕事の質を決める

    • これは事業会社のAI導入でも同じで、評価設計はその一部品にあたる

    崩れるのは、モデルのせいじゃない

    画像

    エージェントが本番で崩れる様子には、型があります。

    • 関係のないファイルやデータを触ってしまう

    • 前のステップで決めたことを忘れて、別の前提で進めてしまう

    • 確認していないのに「完了しました」と言い切る

    • 部分的に失敗したあと、同じやり方を繰り返す

    • 本来持つべきでない権限で、取り返しのつかない操作をしてしまう

    これらは全部、モデルの「頭の悪さ」ではありません。
    どの情報を見るべきか分からない、過去の決定が残っていない、完了の証拠が定義されていない、権限の線引きがない。
    つまり、エージェントを取り巻く環境の側の欠陥です。

    実際、OpenAIの報告では、同じモデルでもハーネス側の変更(推論の保持や文脈の圧縮の仕方)によって、ベンチマークのスコアが13.3%から38.3%へ上がり、出力トークンは6分の1になったといいます。ベンダー報告の一事例ではありますが、「どのモデルか」だけでなく「どう走らせるか」で性能が数倍変わり得ることを示しています。
    ソース:https://openai.com/index/building-abundant-intelligence/

    誤解のないように言うと、プロンプトが不要になるわけではありません。
    プロンプトはハーネスの一部として残ります。
    起きている変化は、品質を決める変数が「1回の指示の文章」から「実行環境全体の設計」へ広がった、ということです。

    ハーネスという考え方

    画像

    この環境全体を「ハーネス」と呼びます。モデルが馬だとすれば、ハーネスは手綱や鞍だけではなく、馬場そのもの、と言った方が近いかもしれません。

    ハーネスを構成する部品は、おおむね6つです。

    1. 契約:何を作るのか、範囲はどこまでか、触ってはいけないものは何か、完了の証拠は何か

    2. 文脈(地図):膨大な資料を全部渡すのではなく、入口となる地図を渡して、必要なときに深く潜れるようにする

    3. 道具:使える道具の一覧と、それぞれの使い方・前提条件・失敗したときの振る舞い

    4. 状態:決定したこと、進捗、失敗の記録を、会話の中ではなく外の置き場に残す

    5. 検証:「できた」という自己申告ではなく、証拠で完了を判定する仕組み

    6. 権限:低リスクは自動、可逆なものは記録つきで自動、不可逆なものは人間の承認を必須にする

    もう1つの整理として、「脳・手・履歴」の分離もよく使われます。考えるのはモデル(脳)、実行は管理された環境(手)、事実と決定は外に残す(履歴)。この3つが混ざると、エージェントは際限なく崩れていきます。

    画像

    事業会社の言葉に翻訳すると

    エンジニアの話に聞こえますが、事業会社でAIを導入する場面に置き換えると、驚くほど身近な話になります。

    ハーネスの部品|事業会社での対応物

    • 契約|依頼の型(目的・範囲・完了条件を先に書く)

    • 文脈(地図)|業務マニュアルの「渡し方」。全部ではなく、目次と入口

    • 道具|システム権限と、使っていいツールの線引き

    • 状態|申し送り。担当が変わっても残る記録

    • 検証|検収。納品物の確認を誰がどう行うか

    • 権限|承認フロー。金額や影響度で承認者を変える、あの仕組み

    画像

    会社組織は、実はハーネスの塊です。承認フローも申し送りも検収も、人が間違える前提で作られた「環境設計」です。

    AIエージェントの設計で起きていることは、その職人芸をソフトウェアの側で再発明している、とも言えます。

    ただし、作り込めばいいわけではありません。
    Anthropicは長時間動くエージェントの実験で、初期の仕組みを「重く、遅く、高くつく」ものだったと振り返っています。

    モデルの性能が上がるにつれて、以前は必要だった部品の一部が不要になったそうです。
    ハーネスは「現在のモデルの弱点を補う足場」であって、弱点が消えれば外すもの。足すのは、失敗が実際に起きてからで十分です。

    前回の「評価設計」との関係

    前回の記事で書いた評価設計(テストセット、4つの物差し、失敗の分類)は、この6部品で言うと「検証」にあたります。つまり私は、ハーネス全体の中の1部品を、先に深掘りしていたことになります。

    逆に言うと、評価だけ整えても、契約が曖昧だったり、状態が残っていなかったりすれば、エージェントは別の場所で崩れます。全体像を持つことが大事で、それがこのシリーズのテーマです。

    次回は「検証」をもう一段深く扱います。「できました」という報告を、どうすれば信じられる形にできるのか。そして最終回では、契約・権限・証跡のテンプレートを、実際に使える形でまとめます。

    なお、評価設計そのものの具体論は、無料記事「AIプロダクトオーナーの実務|「作って終わり」にしない評価設計と改善ループ」に書きました。

    前回の記事:

    まとめ

    • AIエージェントの失敗は、モデルの問題ではなく環境(ハーネス)の問題として捉え直す

    • ハーネスは6部品:契約・文脈・道具・状態・検証・権限

    • 事業会社の組織の仕組みは、そのままハーネスの設計図になる

    沼は深いですが、底はあります。

    ※出典:本記事は、英語圏で話題になったハーネス・エンジニアリングの解説記事(Lunar「Harness Engineering: The Complete Guide」、rari「Harness Engineering: How to Build AI Agents That Don't Fall Apart」ほか)と、一次資料であるOpenAI「Harness engineering: leveraging Codex in an agent-first world」、Anthropic「Effective context engineering for AI agents」「Harness design for long-running application development」を参考にしたものです。
    第2弾はこちら:


     
     
    データの沼に住んでいます。事業会社でデータとAIのプロダクトオーナーをしています。 このnoteでは、データとAIプロダクトの作り方・測り方、データ職のキャリア、データ品質の話を現場で使える形で書きます。 沼は深いですが、底はあります。一緒に潜りましょう。

    あなたへのおすすめ