メインコンテンツへスキップ

AIにコードを書かせた後、誰が止めるのか-半日でAI-native Change Verification Platformを作ってみた

    最近、CodexやClaude CodeのようなCoding Agentを触っていると、かなりの速度でコードを書ける。

    機能追加を頼めばコードを書く。
    テストが落ちれば修正する。
    Repository全体を読ませれば、それなりに文脈も理解する。

    ここまで来ると、自然に一つの疑問が出てきた。

    AIにコードを書かせた後、その変更を誰が信用するのか?

    人間が毎回すべてのdiffを最初から最後まで精査するのであれば、AIによって生成速度が100倍になっても、Review側がボトルネックになる。

    かといって、

    「別のAIにレビューさせればいい」

    だけでは少し怖い。

    GeneratorとReviewerが同じ間違いをするかもしれないし、テストが通ったからといって、その変更をProductionに入れていいとも限らない。

    そこで半日ほど使って、ローカルMacBook上に最小構成のVerification Platformを作ってみた。

    名前は AIVP — AI-native Verification Platform。

    狙っているものは、いわゆる「AI Coding Agent」そのものではない。

    AIが生成したChangeを、どこまで自動で信用してよいか判断するためのControl Layerである。


    GeneratorとVerifierを分ける

    最初に決めた原則は単純だった。

    Generator ≠ Verifier

    コードを書いたAI自身に、

    「これ正しい?」

    と聞いて、

    「はい、正しいです」

    と言わせても、それだけではVerificationにならない。

    そこでAIVPでは役割を分けた。

    Codex CLIには、

    Generator / Fixer

    を担当させる。

    Claude Codeには、

    Independent Reviewer

    を担当させる。

    さらにその外側に、AIではないPython製のOrchestratorを置いた。

    このOrchestrator自身は賢くない。

    LLMではなく、ただのDeterministic Controllerである。

    しかし、

    何回AIを呼べるか
    何回修正してよいか
    どの順番でVerificationするか
    いつ止めるか
    いつ人間へEscalationするか

    を決めるのは、このControllerである。

    これがAIVPの中心になった。


    AIをAIだけで囲わない

    実行フローは概ねこうなっている。

    Task
     ↓
    Codex Generate
     ↓
    Git Diff
     ↓
    Deterministic Gates
     ↓
    Claude Independent Review
     ↓
    Risk Evaluation
     ↓
    必要なら Codex Fix
     ↓
    再Verification
     ↓
    AUTO_FINISHED
        or
    HUMAN_REQUIRED

    Deterministic Gateには、Tests / Lint / Typecheck / Security Commandsなどを置ける。

    つまり、

    「AIが問題ないと言った」

    より先に、

    機械的に確認できるものは機械的に確認する

    という設計にした。

    LLMは強いが、Deterministicな条件までLLMに判断させる必要はない。

    テスト結果が0か1か分かるなら、その判断をAIに委ねる理由はない。


    AIに無限修正させない

    もう一つ重要だったのが、Repair Loopを無限に回さないことだった。

    AIVP v1では、

    最大Fix回数       2
    Codex calls       最大4
    Claude calls      最大3
    AI call timeout   300秒
    Whole run         最大900秒
    Concurrent run    1

    とBudgetを固定した。

    理由は単純で、

    AIが直せないものを、AIに永遠に直させても仕方がない

    からである。

    収束しない場合は、

    HUMAN_REQUIRED

    にして止める。

    AI-nativeというと、

    「人間をなくす」

    方向へ考えがちだけれど、自分が作りたかったのは逆だった。

    人間を全部のChange Reviewから解放し、本当に人間が判断すべきChangeだけを人間へ送る。


    実験してみた

    Architectureだけ作って終わると面白くないので、いくつか違う種類の変更を実際に流してみた。

    Run #001 — LOW Risk

    最初はかなり単純な変更。

    Usernameを、

    username.strip().lower()

    のようにNormalizeする変更を生成させた。

    結果は、

    AUTO_FINISHED
    62.845 sec
    
    Codex calls : 2
    Claude calls: 1
    Fix         : 0
    Final Risk  : LOW

    特に問題なく自動終了した。

    これは期待通り。


    Run #002 — MEDIUMなBusiness Logic

    次はPricing Logic。

    会員には10%割引するが、割引上限は2,000円。

    これも、

    AUTO_FINISHED
    60.858 sec
    
    Codex calls : 2
    Claude calls: 1
    Fix         : 0
    Final Risk  : LOW

    となった。

    ここまではかなり平和だった。

    ところが、少し意地悪をしたところから面白くなった。


    AIが直せない問題を入れてみる

    Run #002F-1 — Specification Conflict

    Taskには、

    会員は10%割引

    と書く。

    しかしDownstream Contractには、

    1,000円未満の商品には割引してはいけない

    という別条件を置いた。

    つまり、二つのSource of Truthを意図的に衝突させた。

    するとCodexはTaskとContractの間で揺れ始めた。

    一方を満たすように修正すると、もう一方に違反する。

    さらに直すと逆へ戻る。

    2回のFix Budgetを使い切っても収束しなかった。

    結果、

    HUMAN_REQUIRED
    
    Codex calls : 3
    Claude calls: 1
    Fix         : 2
    Final Risk  : UNKNOWN

    となった。

    これはかなり面白かった。

    一見すると、

    「Codexがバグを直せなかった」

    ように見える。

    でも問題の本質はそこではない。

    そもそも正解が存在しない。

    TaskとContractのどちらを優先するかは、Business / Product側の意思決定だからである。

    つまり、モデルをもっと強くすれば解決する問題ではない。

    必要なのは、

    どちらがAuthoritative Sourceなのかを人間が決めること

    だった。

    ここで、

    AIの能力不足
    と
    Specification Ambiguity

    を分離できた。


    Run #002F-2 — Controlled Fault Injection

    次は、あえて一度だけPricing Bugを注入した。

    これは自然発生したバグではなく、Verification Pipelineを試すためのControlled Fault Injectionである。

    初回Verificationでは、

    FAIL

    Codexが修正。

    その後もう一度Verificationすると、

    PASS

    Claude Reviewも通り、

    AUTO_FINISHED
    94.381 sec
    
    Codex calls : 3
    Claude calls: 1
    Fix         : 1
    Final Risk  : LOW

    となった。

    これは、

    検出 → 修正 → 再検証 → 終了

    というRepair Loopそのものの確認になった。


    Testsが通っても危険なChangeはある

    Run #003 — HIGH Risk Authorization Change

    最後にAuth周りを変更した。

    Admin Areaへsuperadminを許可する変更。

    コードそのものは正常。

    テストも通る。

    Claudeも、

    critical findings: 0
    major findings   : 0
    risk              : LOW

    と判断した。

    ところがRule Engineは、

    auth/**

    をHigh-risk pathとして扱う。

    さらにCodex Risk Judgeも、

    Authorization Policyの変更なのでHIGH

    と評価した。

    つまり、

    Tests       : PASS
    Claude      : LOW
    Rule Engine : HIGH
    Codex Risk  : HIGH

    になった。

    ここでAIVPは自動承認しなかった。

    Risk disagreementが大きいため、

    HUMAN_REQUIRED

    へEscalateした。

    これは自分にとってかなり重要な結果だった。

    なぜなら、

    Code Correctness ≠ Change Risk

    だからである。

    コードとして正しいことと、

    「この変更を組織として承認してよい」

    は別問題だ。

    Authorization Policy、IAM、DB Migration、CI/CD Workflowなどでは、特にこの差が大きくなる。


    Riskは一つの数字ではないかもしれない

    Run #003を見ていて、AIVP v1のRisk Modelには改善余地があると思った。

    ClaudeがLOWと言ったこと自体は、必ずしも間違いではない。

    Claudeは主に、

    コード品質 / Correctness

    を見ていた可能性がある。

    一方Rule EngineやCodexは、

    Security Sensitivity / Business Impact

    を見ていた。

    つまり、同じ「Risk」という言葉で別のものを測っていた。

    次に作るなら、

    Correctness Risk
    Security Sensitivity
    Business Impact
    Blast Radius
    Reversibility

    のような多次元Risk Modelにしたい。

    ただ、これはv1には入れなかった。

    今回の目的はRisk Engineそのものを完成させることではなく、

    異なるRisk Signalを集約して、人間へEscalationできるか

    を確認することだったからだ。


    何を作らなかったか

    AIVP v1には、かなり多くのものがない。

    Production Serviceではない。

    Multi-userでもない。

    Cloud Runnerでもない。

    RAGもない。

    Agent Memoryもない。

    EKSもArgo CDもない。

    Auto Mergeもない。

    Auto Deployもない。

    3つ目、4つ目のReviewerもいない。

    ローカルMacBook上のPython ScriptからCodex CLIとClaude Codeを呼んでいるだけである。

    これは意図的だった。

    最初から全部入れると、

    「AI-generated Changeを安全にVerificationできるか?」

    という本来確認したかった問いが見えなくなる。

    だからv1では、

    Thinnest possible control loop

    だけを作った。


    AIVPを作って一番面白かったこと

    最初は、

    Codexにコードを書かせて、ClaudeにReviewさせよう

    くらいの発想だった。

    でも実際に作っていくと、問題の中心がAI Modelそのものから離れていった。

    重要だったのは、

    誰が生成するか

    よりも、

    誰が止めるか

    だった。

    AIが10倍、100倍コードを書けるようになるなら、人間が毎回すべての行をReviewする世界はスケールしない。

    しかしAIに全部任せるのも危険。

    そこで必要になるのは、

    AI
    ↓
    Deterministic Guardrails
    ↓
    Independent Verification
    ↓
    Risk Evaluation
    ↓
    Human Judgment

    というControl Planeなのではないか。

    AIVPを作ってみて、かなりその感覚が強くなった。


    人間の仕事は消えるのではなく、上に移る

    AIVPでHuman Reviewが必要になったケースを見ると、人間が必要だった理由は、

    Syntax Errorを探す

    ことではなかった。

    #002F-1では、

    どのSpecificationを正とするか

    だった。

    #003では、

    Authorization Policyとしてこの変更を承認するか

    だった。

    つまりHumanが必要なのは、

    Intent
    Domain Semantics
    Architecture
    Policy
    Business Impact
    Responsibility

    の領域だった。

    これならAIが強くなればなるほど、

    人間がコードを書く時間

    は減っても、

    何を作るべきか、何を信用してよいか、誰が責任を持つかを判断する仕事

    はむしろ重要になる。


    AIVPとTVP

    自分の中では、AIVPと以前作ったTVP(Thinnest Viable Platform)はかなり綺麗につながっている。

    TVPは、

    信用可能なChangeをどうProductionへ運ぶか

    を扱う。

    AIVPは、

    そのChangeを信用可能にするにはどうするか

    を扱う。

    なので将来的には、

    AI-generated Change
            ↓
    AIVP
    Verification / Risk Control
            ↓
    Trusted Change
            ↓
    TVP
    CI/CD / GitOps / Runtime
            ↓
    Production

    という関係になる。

    今回はそこまで統合していない。

    AIVP v1はあくまでLocal PoCで止めた。


    最後に

    AIVPを作る前は、

    「AI Codingが進むなら、人間のReviewもAIに置き換わる」

    くらいに考えていた。

    作った後は少し考えが変わった。

    問題は、

    AIかHumanか

    ではない。

    むしろ、

    どの判断をDeterministicにするか

    どの判断を別AIへ任せるか

    どの判断だけHumanへ残すか

    を設計することだと思う。

    AI-native Developmentで必要なのは、より強いGeneratorだけではない。

    Generation速度に負けないVerification Architectureが必要になる。

    AIVPは、その考えを確認するために作った小さな実験である。

    そして今のところ、一番気に入っている結果は、

    HUMAN_REQUIRED

    がちゃんと出たことだった。

    AI Platformを作ったのに、

    「ここから先は人間が決めてください」

    と止まれる。

    案外、それが一番重要な機能なのかもしれない。


    AIVP — AI-native Verification Platform
    A risk-aware change verification pipeline for AI-generated code.

     
     
    ITコンサルタントやってます。

    あなたへのおすすめ