AIにコードを書かせるだけでは足りなかった——AIVP v2でHarness Engineeringを作った理由
生成AIにコードを書かせること自体は、もうそれほど難しいことではなくなりました。
要件を渡せばコードを書く。
エラーが出れば修正する。
テスト結果を渡せば、また直す。
ここまではかなり簡単です。
でも、自分でCoding Agentの仕組みを作り始めてから、だんだん別の問題が見えてきました。
「コードを書けるか」と「その変更を安心して任せられるか」は、まったく別の問題です。
それが、AIVP v2を作ることになった出発点でした。
GitHub公開リポジトリ:1716964609/AIVP_v2
v1で最初に作ったもの
AIVPの最初のバージョンでは、かなり単純なControl Loopを作りました。
Task
↓
Codex Generate
↓
Deterministic Verification
↓
Claude Independent Review
↓
Risk Assessment
↓
AUTO_FINISHED / HUMAN_REQUIRED重要だったのは、最初から GeneratorとVerifierを分けたこと です。
コードを書いたModel自身に、
「このコードは正しいですか?」
と聞くだけでは、検証として弱い。
だから、生成とは別にDeterministic Testを置き、さらにIndependent Reviewを置き、最後にRiskを集約する形にしました。
このv1でも、Low-riskな変更を自動完了させたり、仕様矛盾をHUMAN_REQUIREDへ送ったり、意図的に壊したChangeを修復して再検証したりするところまではできました。
ただ、使えば使うほど次の疑問が増えていきました。
Processが途中で死んだらどうするのか
たとえばModel Callが終わったあと、Python Processが落ちたとします。
もう一度最初から実行すれば動くかもしれません。
でも、それでは前に成功したModel Callをまた実行することになる。
時間もTokenも使うし、同じ結果になる保証もありません。
そこでv2では、Runを単なるPython Functionではなく、Durable State Machineとして扱うようにしました。
状態をSQLiteへ残し、
何が終わったか
何がまだ終わっていないか
どこからResumeすべきか
どのArtifactがこのRunに属するかをProcess Memoryの外へ出しました。
ここで初めて、
Agent Workflowにも普通のBackend Systemと同じように、StateとRecoveryが必要なんだ
と実感しました。
AIのBlast Radiusをどこまで許すのか
もう一つ大きかったのが、Containmentです。
Modelが賢くなればなるほど、できることも増えます。
でもCapabilityが増えることは、そのままRiskも増えるということです。
Canonical Repositoryを直接編集させていいのか。
Host Environmentを見せていいのか。
Networkへ出ていいのか。
Production Credentialを持たせていいのか。
AIVP v2では、RunごとにGit Worktreeを作り、Canonical Repositoryから変更作業を分離しました。
Deterministic VerificationはDocker Sandboxへ寄せ、Network、Environment、FilesystemのBoundaryを狭くしました。
さらにCapability Policyを置き、
LOCAL_MUTATE
EXTERNAL_READ
EXTERNAL_WRITE
SENSITIVE
PRODUCTIONのように、ModelがやりたいこととHarnessが許可することを分離しました。
Production Capabilityはv2ではDefault Denyです。
ここで重要だったのは、
Promptで「やらないでください」と書くことと、Systemとして「できないようにする」ことは違う
ということでした。
Contextは多ければ多いほどいい、でもなかった
最初は、Modelに渡すContextをできるだけ削ればいいと思っていました。
Repository全体を渡すより、必要そうなFileだけ選んだほうが安い。
この方向自体は正しかったです。
Controlled CaseではProvider Inputを
413,779
↓
110,790まで減らし、約73%圧縮してもQuality Gateを維持できました。
ただし、最初に試したよりAggressiveな圧縮は採用しませんでした。
Tokenは減る。
でもRetrieval Qualityが足りない。
そこで、
Token削減率そのものをOptimization Goalにしてはいけない
と考え直しました。
Context Optimizationは、
小さければよいではなく、
必要十分であり、
なぜ選ばれたか追跡可能であり、
Qualityを落とさないことのほうが重要でした。
Cacheも「Hitすれば偉い」ではない
Context SelectionやRepository Mapを毎回作り直すのも無駄なので、Deterministic Cacheも作りました。
Controlled Local Benchmarkでは、Context Preparationが
133.203 ms
↓
8.242 msとなり、およそ16倍になりました。
ここまではわかりやすい改善です。
でもSemantic Cacheについては、あえて実装しませんでした。
似たTaskだからといって、過去のReasoningを安全に再利用できるとは限らない。
Repository SHAやPolicy、Business Invariantが違えば、Semantic Similarityが高くてもReuseしてはいけない可能性があります。
なのでv2では、
Cache Hit率を増やすためだけにSafety Boundaryを曖昧にしない
という判断をしました。
これは自分にとってかなり重要な学びでした。
Optimizationする前に、まずEvalを固定する
v2の中で一番大きかった判断の一つが、Risk-based Routingより前にEvaluation Harnessを作ったことです。
Model Callは高い。
Reviewer Callも高い。
だから当然、
Low RiskならReviewerをSkipすればいいのでは?
という発想が出てきます。
実際に試しました。
そして、一度Rejectしました。
BroadなLOW/LOW Skipは、確かにCallを減らせます。
でもQuality Boundaryとしては危険でした。
ここで、もしEvalがなかったら、
Callが減った。Optimization成功。
で終わっていたかもしれません。
先にFixed Evaluation Suiteを作っていたので、その変更をRejectできました。
その後、もっと狭い条件でRoutingを設計し直し、最終的にはFixed 15 Caseの結果を維持したまま、
Total Model Calls
78 → 72
Claude Calls
31 → 25まで減らせました。
Qualityは15/15のままです。
ここで自分の中でかなりはっきりした原則があります。
EvalがないOptimizationは、ただの希望的観測になりやすい。
「改善した」と言うためには、何を測れていないかも書く
AIVPには最初から、
Cost per Accepted Change
というEconomic Metricを置いています。
単にModel Callを減らせばいいわけではありません。
Wrong Changeが安く作れても意味がない。
だからCostはAccepted Changeと結びつけて考えたかった。
ただし、今回ひとつ測れなかったものがあります。
USD Costです。
Provider Billing Evidenceが十分に揃っていなかったので、
USD Cost per Accepted Change = UNAVAILABLEのままにしました。
「たぶん安くなった」
とは書きませんでした。
言えるのは、
15 / 15 PASS preserved
78 → 72 model calls
31 → 25 Claude callsまでです。
測れていないものを、推定値でそれらしく埋めない。
これは技術的な実装以上に、Evidenceを公開するときに守りたかったルールです。
AIVP v2で作りたかったもの
最初は「Coding Agentを作っている」と思っていました。
でも途中から少し違うと思うようになりました。
自分が作りたかったのは、Modelそのものではありませんでした。
Modelの外側です。
State
Context
Policy
Sandbox
Observability
Evaluation
Economicsこれらを使って、確率的なWorkerをEngineering Systemの中へ閉じ込める仕組みです。
AIVP v2では、このLayerを Harness Panel と呼んでいます。
Modelをもっと賢くするのではなく、
Modelが失敗しても壊れにくくする
何をしたか説明できるようにする
不確実なら人間へ返す
改善したかどうか測れるようにする
ことを考えました。
失敗した仮説を残す
今回、成功したものだけを残すことはしませんでした。
Contextを削りすぎた実験。
Risk Routingを広く適用しすぎた案。
Semantic Cacheを今入れるべきではないという判断。
USD Costを出せなかったこと。
これらも全部Evidenceとして残しています。
自分にとって、今回一番価値があったのは、
最初から正しいArchitectureを思いついたこと
ではありません。
むしろ、
仮説を作る
↓
実装する
↓
測る
↓
壊れる
↓
理由を調べる
↓
捨てる
↓
次の仮説へ進むというLoopをかなり速く回せたことでした。
AI Nativeな開発で価値が上がるもの
Code GenerationのCostは、これからさらに下がっていくと思っています。
そうなるほど、相対的に価値が上がるのは、
何を作るべきか
どこまで任せるか
何を絶対に許さないか
何をContextとして見せるか
何をDeterministicに検証するか
いつHumanへ返すか
改善したかどうかどう測るかといった部分です。
つまり、Codeそのものよりも、
Constraints、Architecture、Evaluation、Feedback Loopを設計する力
の価値が上がっていく。
自分はこれをHarness Engineeringとして捉えています。
最後に
AIVP v2はProduction-readyなMulti-tenant Platformではありません。
Local-first / Single-userの、production-minded prototypeです。
Zero Trustを完成させたわけでもないし、Production Deploymentを自動化するものでもありません。
それでも、
Durable Execution
Containment
Context Control
Cache
Risk-aware Routing
Evaluation
Observability
Economics
Garbage Collectionまでを、一つのCoding-Agent Harnessとして実装し、Evidenceと一緒に公開できるところまでは持ってきました。
最後に残った考えは、かなり単純です。
AIにコードを書かせることより、AIにどこまで任せてよいかを設計することのほうが難しい。
そして多分、そこにこれからのSoftware Engineeringのかなり面白い部分があると思っています。
公開情報
GitHub Repository:
1716964609/AIVP_v2
READMEにはDeterministic Demoも用意しています。
make doctor
make demoLive Codex / Claude Providerを呼ばずに、Controlled Failure → Repair → Re-verificationまでのHarness Loopを再現できます。