メインコンテンツへスキップ

AIにソフトウェアのバグを500問修正させてみた。自作AI基盤との比較実験で見えたこと

    Codex単独と自作AI Coding Agent Harness「AIVP v2」を、SWE-bench Verifiedの500問で比較した個人研究の記録。

    はじめに

    2026年10月、個人研究として少し大きな実験を行いました。

    AIコーディングエージェントのCodexに、実在するオープンソースソフトウェアの問題を500問解かせる。そして、私自身が開発したAIエージェントの実行基盤「AIVP v2」を組み合わせた場合、どのような違いが生まれるのかを調べるというものです。

    使用したのは、SWE-bench Verifiedというソフトウェア修正能力の評価データセットです。

    結論から言うと、500問の評価結果は次のようになりました。

    実験条件解決件数解決率Codex単独(Vanilla)369 / 50073.8%AIVP v2 Shadow405 / 50081.0%

    解決件数は36問増え、解決率には7.2ポイントの差が生まれました。

    ただし、私が今回伝えたいのは「自作ツールを使ったらAIが7.2ポイント賢くなった」という話ではありません。

    むしろ、この実験を通して考えるようになったのは、AIの能力と、それを取り巻くエンジニアリングの仕組みを、どこまで分けて考えられるのかということです。

    その経緯を、少し振り返ってみたいと思います。

    そもそも、なぜこんな実験を始めたのか

    私は現在、ITインフラやネットワークに関わる仕事をしています。

    もともとネットワーク技術を学んできましたが、個人ではクラウド、Kubernetes、Platform Engineering、AIを活用したソフトウェア開発など、業務の範囲を超えてさまざまな技術を研究しています。

    その中でも、最近特に関心を持っているのがAI-Native Engineeringです。

    近年、AIコーディングエージェントは急速に進化しています。

    自然言語で問題を説明すると、AIがリポジトリを調査し、コードを書き換え、テストを実行し、修正案まで生成してくれる。

    これ自体は非常に面白い進歩だと思います。

    しかし、インフラやプラットフォームの視点で考えると、別の疑問が生まれます。

    AIがコードを書けることと、そのコードを信頼できることは、本当に同じなのでしょうか。

    例えば、次のような問題があります。

    • AIが生成したコードが、既存機能を壊していないと誰が判断するのか。

    • 修正途中でプロセスが停止した場合、どこから再開するのか。

    • AIにどこまでファイル操作やコマンド実行を許可するのか。

    • 複数のAIによるレビューは、本当に品質改善につながるのか。

    • より高品質な結果を得るために、どれだけ追加コストを払うべきなのか。

    こうした課題は、単にモデルを高性能なものに交換するだけでは解決できないかもしれません。

    そこで私は、モデルそのものではなく、モデルを動かす周辺の仕組みに注目しました。

    AIVP v2という個人プロジェクト

    この問題を考えるために開発したのが、AIVP v2です。

    AIVPは、簡単に言えば、AIコーディングエージェントの動作を管理するための仕組みです。

    私はこれを「Coding-Agent Harness」と呼んでいます。

    Harnessという言葉には、AIの外側から実行を制御する仕組みという意味を持たせています。

    モデルにコードを書かせるだけでなく、実行状態の管理、コンテキストの選択、検証、レビュー、リスク判断、ログの記録などを、モデルの外側で管理します。

    その中心になるのがHarness Panelという設計です。

    基本的な考え方は、とてもシンプルです。

    AIは変更案を生成する。しかし、その変更案をどの条件で実行し、何をもって成功と判断するかは、別の仕組みで管理する。

    ソフトウェア開発で使われるCI/CDやテスト、運用管理の考え方を、AIコーディングエージェントにも持ち込もうとしたわけです。

    もちろん、AIVP v2はまだ個人研究用のプロトタイプです。大規模な商用サービスとして運用できることを証明したものではありません。

    それでも、実際に仕組みを実装したのであれば、一度きちんと測定してみたいと思いました。

    そこでSWE-bench Verifiedを使うことにしました。

    SWE-bench Verifiedの500問に挑戦する

    SWE-bench Verifiedは、実際のGitHub上のソフトウェア開発課題をもとにした、500問の評価データセットです。

    問題は単純なプログラミングクイズではありません。

    既存のソフトウェアに対して、問題の説明やコードを読み、必要な変更を行って、不具合を修正するというものです。

    その意味では、実際のソフトウェアエンジニアリングに比較的近い課題を扱えます。

    今回、私は二つの実験条件を用意しました。

    一つ目は、独自のAIVP制御を追加せず、Codex CLIを使って修正パッチを生成するVanilla構成です。

    二つ目は、Codexによるコード生成に加え、Claudeによるレビューなど、追加のワークフローを組み合わせたAIVP v2 Shadow構成です。

    そして、両方に同じ500問を与えて修正パッチを生成させ、その結果をSWE-benchの評価環境で検証しました。

    パッチを生成できたことと、問題を正しく解決できたことは別です。

    だからこそ、AI自身の「修正できました」という回答ではなく、外部のテストによる評価を重視しました。

    なお、今回の実験ではローカルのMacBook AirとAWSの計算資源を活用し、コード生成とDockerによる評価を分離しています。

    500問を解かせるだけでなく、それらの結果を保存し、評価し、後から検証可能な形に整理することも、研究の重要な作業でした。

    結果は81.0%。しかし、単純に喜べる数字ではなかった

    2026年10月29日までに、両条件の500問すべてについて評価結果を整理しました。

    Codex単独では369問が解決され、AIVP v2 Shadowでは405問が解決されました。

    これだけを見ると、複数のAIを組み合わせた方が良い結果になったように見えます。

    実際、今回の条件ではAIVP側の解決率が高いことが観測されました。

    ただし、ここには大切な注意点があります。

    今回の比較は、全く同じモデルに対してHarnessだけを付けたり外したりする実験ではありません。

    AIVP側には追加のレビュー工程やモデル呼び出しが含まれています。

    したがって、観測された差をすべてAIVPの制御機構だけの効果として説明することはできません。

    さらに、評価結果の一部には追加確認が必要なケースも残されています。

    今回の結果は、異なる二つのAIコーディングワークフローを比較した観測値であり、厳密な因果関係を証明したものではありません。

    それでも、個人研究として検討する価値のある差が得られたと考えています。

    もう一つの結果。AIの品質改善にはコストがかかる

    実験で特に興味深かったのが、トークン消費量と実行時間です。

    指標VanillaAIVP v2記録されたトークン数約1.47億約2.85億1問あたりの平均生成時間約123秒約186秒

    AIVP側のトークン消費量は約1.94倍、平均生成時間は約1.52倍になりました。

    なお、AIVP側には一部のモデル呼び出しでトークン記録の欠損があり、Vanilla側の一部の時間データは推定値です。この表は、保存された記録に基づく比較です。

    つまり、より多くの問題を解決できた一方で、追加の計算資源と時間を消費していたわけです。

    これは非常に重要な問題だと思います。

    例えば、本番システムの認証機構を変更するなら、複数のレビューを実施する価値があるかもしれません。

    しかし、簡単な文字列処理の修正に対して、毎回大量のモデル呼び出しを行うことが合理的かどうかは分かりません。

    ソフトウェアエンジニアリングでは、品質だけでなく、コスト、速度、可用性、保守性など、複数の要素を同時に考える必要があります。

    AIを使う場合も、同じ問題が生まれるのだと思います。

    AIエージェントが高性能になればなるほど、次に問われるのは、どの処理に、どれだけの計算資源を割り当てるべきかという設計能力なのかもしれません。

    AI時代に、エンジニアは何を設計するのか

    私は、AIがコードを書けるようになったからといって、ソフトウェアエンジニアリングの問題がすべて解決されるとは考えていません。

    むしろ、AIが実装を担当できる範囲が広がるほど、人間が設計するべき仕組みも変わっていくと考えています。

    従来のソフトウェア開発では、人間がコードを書き、テストし、レビューし、デプロイしてきました。

    AIがコードを生成する世界では、少なくともコード生成の一部は自動化できます。

    しかし、何を実現するべきなのか、どのような変更を許可するのか、どうやって正しさを評価するのか、どの段階で人間が介入するのかという問題は残ります。

    私がPlatform EngineeringやSREに関心を持っている理由も、ここにあります。

    Platform Engineeringでは、個々の開発者が毎回すべてのインフラや開発環境を手作業で構築するのではなく、安全で再利用可能な仕組みを用意することが重要です。

    同じ発想をAIコーディングエージェントにも適用できるのではないでしょうか。

    AIが生成するコードを、適切な境界、テスト、実行管理、観測可能性の中で扱う。

    そのための仕組みを設計することは、今後のソフトウェアエンジニアリングにおける一つの重要なテーマになると思っています。

    500問を終えて、まだ答えが出ていないこと

    今回の実験には、まだ分析できていない部分があります。

    例えば、AIVPが解決できてCodex単独では解決できなかった問題には、どのような共通点があるのでしょうか。

    反対に、Codex単独では成功したのにAIVPでは失敗した問題があれば、何が原因なのでしょうか。

    追加のレビューを減らしても、同じような品質を維持できるのでしょうか。

    今回の500問の結果だけでは、これらの疑問に十分な答えを出せません。

    今後は問題単位の成否比較、レビュー工程の効果を切り分ける実験、計算コストの分析などを進めたいと考えています。

    また、SWE-bench Verifiedだけで、あらゆるソフトウェア開発における性能を保証することもできません。

    実験の結果と、まだ証明できていないことを分けて扱うのも、研究では大切だと感じています。

    おわりに

    今回の研究は、企業の研究所や大学の研究室で実施したものではありません。

    一人のエンジニアが、自分の関心から始めた個人実験です。

    Codex単独では73.8%、AIVP v2 Shadowでは81.0%。

    数字だけを見れば、そこで話を終えることもできます。

    しかし、私にとって重要だったのは、比較可能な条件を用意し、実際に動かし、結果を記録し、どこまでのことが言えるのかを考える過程でした。

    AIを使えば、以前よりも少ない人数で多くのことを試せるようになっています。

    その一方で、得られた結果が本当に正しいのか、再現できるのか、何が改善の原因なのかを判断するには、依然としてエンジニアリングの知識と検証が必要です。

    だからこそ、これからもAIそのものだけでなく、AIを安全かつ効果的に動かすための基盤について研究していきたいと思っています。

    AIがどれだけ賢くなるかだけでなく、そのAIをどのようなシステムの中で働かせるか。

    今回の500問の実験は、私にとって、その問いを考えるための一つの出発点になりました。


    研究成果・ソースコード

    今回の実験結果と、AIVP v2の実装をGitHubで公開しています。

    SWE-bench Verified 比較実験・評価結果

    https://github.com/1716964609/swebench-baseline-results

    AIVP v2 — Coding Agent Harness

    https://github.com/1716964609/AIVP_v2

    実験のパッチ、評価結果、トークン・実行時間の記録などを確認できます。ただし、モデルとの会話ログや一部の実行環境は公開アーカイブに含まれていません。

    ※本記事は2026年10月に実施した個人研究の記録です。結果は独立した実験による観測値であり、SWE-bench公式ランキングへの提出結果ではありません。

     
     
    ITコンサルタントやってます。

    あなたへのおすすめ