
AIに実装と「正解」を同時に書かせない――レガシー移行でテストオラクルを守る5つの境界
レガシーモジュールを別言語へ移植するPRが届いた。ビルドは成功し、CIもすべて緑。ところが差分を追うと、失敗していたE2Eテストの期待値まで更新されている。
このとき、緑色のチェックは何を証明したのでしょうか。
実装を変更したAIが、その実装を採点する基準まで自由に変更できるなら、テストは検証ではなく自己採点になります。これはAIが意図的にごまかすかどうかという話ではありません。与えられた目標へ最短で近づくエージェントにとって、実装と期待値のどちらを直すかは、権限と評価関数が決めるからです。
この記事では、生成AIを使ったレガシー刷新や大規模改修をレビューする社内SE、IT企画、アーキテクト向けに、テストオラクルを守る5つの境界を整理します。読み終わるころには、AIに変更を許してよいテストと、人間の承認下に置くべき「正解の基準」を切り分けられるようになります。
いま必要なのは、AIが書く速さより「何を正解として固定するか」
コーディングエージェントは、単一の補完ツールから、複数セッションで実装、レビュー対応、チェック修正、競合解消まで進める存在へ変わっています。GitHubは2026年10月2日の公式記事で、開発者の役割が複数エージェントの指揮と出力評価へ移りつつある一方、問題設定、アーキテクチャ上のトレードオフ、成功指標、出荷判断には人間の技術的判断が残ると説明しています。
その前日のVS Code更新でも、エージェントセッションからPRを作り、レビュー指摘やチェック失敗、競合まで扱う流れが統合されました。実装の速度が上がるほど、レビュー側には「コードを全部読む」以外の受入根拠が必要になります。
そこで頼りたくなるのが自動テストです。しかし、テストが存在することと、正しさを検出できることは同じではありません。
2026年9月公開の研究では、LLMが生成した不具合を既存テストが実行しても、期待結果を判定するオラクルが弱く、研究条件下で実際に検出できた割合はおよそ1〜2%にとどまりました。別の研究も、コーディングエージェントがチェック対象では高得点を取れても、依頼されたソフトウェア全体が完成しているとは限らないと報告しています。
要するに、AI時代の品質保証で先に問うべきは「テストを何本増やしたか」ではありません。
そのテストが、誰にも都合よく書き換えられない正解の基準になっているか。
テストオラクルは、テストコードだけではない
テストオラクルとは、実行結果が正しいか誤りかを判定する基準です。実務では、次のような形で存在します。
業務シナリオを通すE2Eテスト
旧システムと同じ結果を期待するゴールデンデータ
APIの入出力契約やスキーマ
画面や帳票の承認済みスナップショット
会計、法令、権限などの業務ルール
性能、可用性、互換性の基準値
単体テストの期待値だけを保護しても足りません。たとえば移行後の計算結果を旧システムと比較していても、比較対象のゴールデンデータをAIが再生成できるなら、差異は消せます。API互換性テストがあっても、許容するベースラインを同じPRで引き上げられるなら、後方互換性の証拠にはなりません。
コード、テスト、期待値、基準値のうち、どれが「正解を定義する資産」なのかを明示する必要があります。
境界1:正解を定義する資産を分類する
最初に、すべてのテストを一律に保護しようとしないことです。変更頻度も重要度も異なるため、保護対象が曖昧だと、開発速度を落とすだけの統制になります。
最低限、次の3段階に分けます。
保護オラクル:失敗すると重大な業務影響があり、実装担当とは別の承認が必要
共同管理テスト:実装に伴う変更はあるが、理由と差分レビューが必要
実装付随テスト:内部構造に密着し、実装担当のAIが追加・変更してよい
保護オラクルの候補は、「失敗したら誰が説明責任を負うか」で探すと見つけやすくなります。決済、請求、権限、監査証跡、外部連携、法令対応など、人間の責任者が受入可否を判断する領域です。
逆に、内部関数の分岐や一時的な実装詳細まで保護対象にすると、AIが安全にリファクタリングできません。重要なのはテストの粒度ではなく、正解を定義する責任の重さです。
境界2:実装者と正解の管理者を権限で分ける
プロンプトに「テストを書き換えないで」と書くだけでは、統制として弱すぎます。守るべき境界は、指示ではなく権限で表現します。
たとえば、実装エージェントには本体コードと実装付随テストへの書き込みを許可し、保護オラクルは読み取りと実行だけにします。E2Eシナリオ、ゴールデンデータ、互換性基準の変更は、テスト責任者または業務オーナーが所有する別経路へ送ります。
Gitのパス単位のオーナー設定、ブランチ保護、CI用資格情報の分離、別リポジトリ化など、実装方法は組織に合わせて選べます。大切なのは、同じ主体が「問題を解くコード」と「合格条件」を無審査で同時変更できないことです。
第二のAIにレビューさせる方法も有効ですが、役割を変えただけで権限が同じなら独立性は不十分です。レビューAIが期待値を書き換えられる構成では、実装AIの自己採点がチーム内の相互採点に変わっただけです。
境界3:テスト変更を禁止せず、別の変更として扱う
テストは常に固定すべき、という話でもありません。仕様が変われば期待値も変わります。古いテストが誤っている場合や、フレークを修正する場合もあります。
問題は、実装変更の裏にテスト変更を隠すことです。
保護オラクルを変更する場合は、少なくとも次を別の変更単位として残します。
変更理由:仕様変更、旧オラクルの誤り、実行環境の安定化、テスト基盤移行のどれか
影響する業務ルールや利用者
変更前後の期待結果
実装変更なしでも妥当だと説明できる根拠
承認者と承認日時
理想は、オラクル変更を先に承認し、その後で実装PRを適合させる二段階です。難しい場合でも、同じPR内でファイルを混ぜず、変更カテゴリとレビュー担当を分けます。
「テストが壊れたので期待値を更新」は理由になりません。なぜ以前の期待値が誤りになったのかを説明できて、初めてオラクル変更です。
境界4:独立した実行環境と証跡を残す
保護されたテストでも、実行条件をAIが変えられると意味を失います。スキップ指定、対象外タグ、環境変数、モック、互換性モード、タイムアウトの変更で、失敗を見えなくできるからです。
受入用CIは、実装エージェントの作業環境から独立させます。そして「成功」の一語ではなく、次の証跡をまとめて残します。
実行したコミットとオラクルのバージョン
実行コマンドと対象テスト一覧
成功、失敗、スキップの件数
変更されたテスト、期待値、基準値の一覧
旧実装と新実装の差分結果
人間または独立レビューが確認すべき例外
これは監査のためだけではありません。AIが大量の変更を作ると、レビュー時間の多くは「どこを疑うべきか」を探す作業になります。証跡パッケージがあれば、人間はすべての行を均等に読むのではなく、正解基準の変化と残余リスクへ集中できます。
境界5:最終受入は残余リスクを負う人が決める
テストがすべて通っても、未知の不具合は残ります。最後に必要なのは、AIの信頼度スコアではなく、残余リスクを誰が受け入れたかです。
GitHubが公表したCopilot runtimeのRust移行では、80万行を超える本番コードを128のPRに分け、既存E2Eを新実装にも適用しながら段階的に出荷しました。同社は、エージェントがE2Eテストを明示的な同意なく変更してはならないというルールを教訓に挙げ、人間がアーキテクチャ、API契約、リスク、最終マージへ注力したと説明しています。
ここで重要なのは規模の数字ではなく、受入単位を小さくし、戻せる状態で進めたことです。
大企業の移行でも、最終受入者は次を判断します。
どの保護オラクルを通過したか通過していないシナリオは何か/互換性を意図的に捨てた箇所はどこか/障害時に切り戻せるか/監視で早期検知できるか
AIは候補と証拠を作れます。しかし、業務影響を引き受ける受入権限まで渡すべきではありません。
そのまま使えるOracle Protection Matrix
プロジェクト開始時に、次の表を埋めます。最初から完璧な一覧を作る必要はありません。重大な業務シナリオから始め、移行対象を広げるたびに更新します。
E2E業務シナリオ|守るもの:業務フローの成立|オーナー:業務責任者+QA|実装AI:読取・実行のみ|変更:別変更+業務承認|証跡:前後結果、承認記録
ゴールデンデータ|守るもの:計算・変換結果の同等性|オーナー:業務/データオーナー|実装AI:読取のみ|変更:再生成理由を明示|証跡:差分、生成条件、版
API契約|守るもの:外部・内部連携の互換性|オーナー:APIオーナー|実装AI:読取・検証のみ|変更:契約変更レビュー|証跡:破壊的変更一覧、利用者影響
UI・帳票スナップショット|守るもの:承認済み表示|オーナー:プロダクト/業務|実装AI:変更提案まで|変更:目視または意味差分承認|証跡:変更画像、対象画面
法令・権限ルール|守るもの:コンプライアンス|オーナー:制度・セキュリティ責任者|実装AI:実行のみ|変更:専門責任者の承認|証跡:根拠文書、適用日
表で空欄が多いなら、AI導入以前から正解の管理責任が曖昧だった可能性があります。AIはその曖昧さを作るのではなく、高速に露呈させます。
導入は「重要シナリオ10個」から始める
全テスト資産を棚卸ししてから始めると、プロジェクトが止まります。最初のパイロットでは、次の順で十分です。
障害時の影響が大きい業務シナリオを5〜10個選ぶ
各シナリオの正解を決める資産を洗い出す
保護オラクルのオーナーを決める
実装AIから書き込み権限を外す
オラクル変更と実装変更のレビュー経路を分ける
独立CIで証跡パッケージを生成する
小さな変更単位で出荷し、切り戻し可能性を確認する
この運用で開発が過度に遅くなるなら、保護対象が広すぎるか、承認者が集中しすぎています。リスクの低い単体テストまで厳格に固定するのではなく、正解を定義する資産へ統制を寄せ直します。
カバレッジ100%でも、正解を守っていなければ安心できない
カバレッジは、コードが実行されたことを示します。期待結果が妥当か、重要な条件が抜けていないか、テスト対象そのものが依頼を満たしているかまでは保証しません。
AIが作るテストを増やすことには価値があります。第二のモデルに批判させることにも価値があります。ただし、それらは保護された正解基準の代わりにはなりません。
生成AIで実装速度を上げるほど、品質保証の中心は「誰がコードを書いたか」から「誰が正解を定義し、誰がその変更を承認したか」へ移ります。
実装と正解を分ける。テスト変更を禁止するのではなく、理由と権限と証跡を分ける。最後は、残余リスクを負う人が受け入れる。
この3点が揃って初めて、CIの緑はAIの自己採点ではなく、組織が利用できる証拠になります。
次に進めるなら、仕様とコードのズレを変更単位で検証するNOTE-4と、AIエージェントの権限を5層で設計するNOTE-5をあわせて読むと、要求・実装・検証・運用の境界がつながります。
このアカウントでは、大企業の生成AI活用、設計文書の構造化、AI-assisted Software Engineeringを、注意喚起で終わらせず、判断表や運用テンプレートまで落として発信します。同じ立場でAI導入の「最後の設計」を担っている方は、続きも参照できるようフォローしておいてください。
参考資料
GitHub: AI is changing developer work. Here are three skills to strengthen.(2026-10-02)
GitHub Changelog: Visual Studio Code September 2026 releases(2026-10-01)
GitHub: Migrating the GitHub Copilot runtime to Rust, using Copilot(2026-09-16、2026-09-23更新)
arXiv: Building to the Test: Coding Agents Deliver What You Check, Not What You Requested(2026-06-26)
※記事中の製品機能・研究結果は2026年10月3日時点で確認しています。