
【第1弾】プロンプト時代から、ハーネス時代へ | AIエージェントはなぜ本番で崩れるのか | 全3本
前回、AIチャットボットの「評価設計」の記事では、テストセットを作り、物差しで測り、悪い回答を分類して直す、という話をしました。
その記事を書いたあと、英語圏のエンジニアの間で「ハーネス・エンジニアリング」という言葉が一気に広がっているのを見ました。
AIエージェントの設計論です。読み進めて驚きました。言っていることが、私がチャットボット運用でやってきたことと、ほぼ同じだったからです。
ただし、対象はもっと広い。エージェント全般の「環境設計」の話でした。
この記事では、その考え方を事業会社の言葉に翻訳して紹介します。シリーズ『プロンプト時代から、ハーネス時代へ』の1本目です。
AIエージェントの失敗の大半は、モデルの賢さではなく「環境」の欠陥で起きる
モデルは推論エンジンにすぎない。契約・文脈・道具・状態・検証・権限という「ハーネス」が仕事の質を決める
これは事業会社のAI導入でも同じで、評価設計はその一部品にあたる
崩れるのは、モデルのせいじゃない

エージェントが本番で崩れる様子には、型があります。
関係のないファイルやデータを触ってしまう
前のステップで決めたことを忘れて、別の前提で進めてしまう
確認していないのに「完了しました」と言い切る
部分的に失敗したあと、同じやり方を繰り返す
本来持つべきでない権限で、取り返しのつかない操作をしてしまう
これらは全部、モデルの「頭の悪さ」ではありません。
どの情報を見るべきか分からない、過去の決定が残っていない、完了の証拠が定義されていない、権限の線引きがない。
つまり、エージェントを取り巻く環境の側の欠陥です。
実際、OpenAIの報告では、同じモデルでもハーネス側の変更(推論の保持や文脈の圧縮の仕方)によって、ベンチマークのスコアが13.3%から38.3%へ上がり、出力トークンは6分の1になったといいます。ベンダー報告の一事例ではありますが、「どのモデルか」だけでなく「どう走らせるか」で性能が数倍変わり得ることを示しています。
ソース:https://openai.com/index/building-abundant-intelligence/
誤解のないように言うと、プロンプトが不要になるわけではありません。
プロンプトはハーネスの一部として残ります。
起きている変化は、品質を決める変数が「1回の指示の文章」から「実行環境全体の設計」へ広がった、ということです。
ハーネスという考え方

この環境全体を「ハーネス」と呼びます。モデルが馬だとすれば、ハーネスは手綱や鞍だけではなく、馬場そのもの、と言った方が近いかもしれません。
ハーネスを構成する部品は、おおむね6つです。
契約:何を作るのか、範囲はどこまでか、触ってはいけないものは何か、完了の証拠は何か
文脈(地図):膨大な資料を全部渡すのではなく、入口となる地図を渡して、必要なときに深く潜れるようにする
道具:使える道具の一覧と、それぞれの使い方・前提条件・失敗したときの振る舞い
状態:決定したこと、進捗、失敗の記録を、会話の中ではなく外の置き場に残す
検証:「できた」という自己申告ではなく、証拠で完了を判定する仕組み
権限:低リスクは自動、可逆なものは記録つきで自動、不可逆なものは人間の承認を必須にする
もう1つの整理として、「脳・手・履歴」の分離もよく使われます。考えるのはモデル(脳)、実行は管理された環境(手)、事実と決定は外に残す(履歴)。この3つが混ざると、エージェントは際限なく崩れていきます。

事業会社の言葉に翻訳すると
エンジニアの話に聞こえますが、事業会社でAIを導入する場面に置き換えると、驚くほど身近な話になります。
ハーネスの部品|事業会社での対応物
契約|依頼の型(目的・範囲・完了条件を先に書く)
文脈(地図)|業務マニュアルの「渡し方」。全部ではなく、目次と入口
道具|システム権限と、使っていいツールの線引き
状態|申し送り。担当が変わっても残る記録
検証|検収。納品物の確認を誰がどう行うか
権限|承認フロー。金額や影響度で承認者を変える、あの仕組み

会社組織は、実はハーネスの塊です。承認フローも申し送りも検収も、人が間違える前提で作られた「環境設計」です。
AIエージェントの設計で起きていることは、その職人芸をソフトウェアの側で再発明している、とも言えます。
ただし、作り込めばいいわけではありません。
Anthropicは長時間動くエージェントの実験で、初期の仕組みを「重く、遅く、高くつく」ものだったと振り返っています。
モデルの性能が上がるにつれて、以前は必要だった部品の一部が不要になったそうです。
ハーネスは「現在のモデルの弱点を補う足場」であって、弱点が消えれば外すもの。足すのは、失敗が実際に起きてからで十分です。
前回の「評価設計」との関係
前回の記事で書いた評価設計(テストセット、4つの物差し、失敗の分類)は、この6部品で言うと「検証」にあたります。つまり私は、ハーネス全体の中の1部品を、先に深掘りしていたことになります。
逆に言うと、評価だけ整えても、契約が曖昧だったり、状態が残っていなかったりすれば、エージェントは別の場所で崩れます。全体像を持つことが大事で、それがこのシリーズのテーマです。
次回は「検証」をもう一段深く扱います。「できました」という報告を、どうすれば信じられる形にできるのか。そして最終回では、契約・権限・証跡のテンプレートを、実際に使える形でまとめます。
なお、評価設計そのものの具体論は、無料記事「AIプロダクトオーナーの実務|「作って終わり」にしない評価設計と改善ループ」に書きました。
前回の記事:
まとめ
AIエージェントの失敗は、モデルの問題ではなく環境(ハーネス)の問題として捉え直す
ハーネスは6部品:契約・文脈・道具・状態・検証・権限
事業会社の組織の仕組みは、そのままハーネスの設計図になる
沼は深いですが、底はあります。
※出典:本記事は、英語圏で話題になったハーネス・エンジニアリングの解説記事(Lunar「Harness Engineering: The Complete Guide」、rari「Harness Engineering: How to Build AI Agents That Don't Fall Apart」ほか)と、一次資料であるOpenAI「Harness engineering: leveraging Codex in an agent-first world」、Anthropic「Effective context engineering for AI agents」「Harness design for long-running application development」を参考にしたものです。
第2弾はこちら: