ベンチマーク Stripe：エージェントは API を接続するが、検証はしない

ベンチマークによると、Stripeの公開ベンチマークでは、AIエージェントがコンパイルされ、実行される統合を作成するものの、重要なエッジケースを見逃して静かに失敗することが示されています。

簡単に言えば

Stripeが公開し、InfoQが2026年7月15日に報じたベンチマークによると、統合コードにおけるAIエージェントの真の限界が明らかになった。彼らはAPIを呼び出すクライアントを生成できるが、正しく動作することを証明するテストを生成できない。これは「happy path（成功パス）」の壁であり、デモで見せられるものよりもはるかに高い。

結果

Stripeは複数のAIエージェントに対し、シンプルなテストを実施した：Stripeのクラシックな統合（チェックアウト、Webhook、照合）を実装し、検証するというものだ。エージェントはコンパイルが通り、成功パスを通過するコードを生成するケースが多い。しかし、本番環境で問題を引き起こすエッジケース（Webhookの順序、冪等性、部分的なエラー、遅延到着）をカバーできていない。

つまり、彼らは初日にジュニア開発者がやることを再現するが、3日目にシニア開発者がやること（ネットワークが嘘をつく場合でも動作することを証明するテストを書くこと）はできないのだ。

内部構造

• 最も一般的な失敗パターン：エージェントは自分が書いたコードをテストするが、起こりうる問題をテストしない。彼らは自分のコードに回帰し、反事実的な推論を行わない。
• エージェントはWebhookイベントの順序を理解するためにドキュメントを再読しない。彼らはコーパスから推測する。その結果、非同期をモデル化していない、統合コードに似たコードを生成する。
• 従来のベンチマーク（HumanEval、SWE-Bench）は生成能力を過大評価し、検証能力を過小評価する。Stripeのベンチマークはこのギャップを正確に指摘しており、エージェントのハーネスは生成・テスト・修正のループだけでなく、敵対的な検証フェーズを統合する必要があることを示している。

結論

プロダクションエンジニアへ：支払い統合の所有権をAIエージェントに与えないこと。最初のイテレーションを任せるだけに留める。テストスイートは人間が担当する。なぜなら、それは彼らの仮定ではなく、あなたのビジネス上の仮定を文書化する唯一の成果物だからだ。

ハーネスアーキテクトへ：検証をコード生成とは異なるスキルとして扱うこと。次のハーネスが勝敗を分けるのは、SWE-Benchのスコアではなく、この検証能力にかかっている。

予算を管理するCFOへ：悪いテストを書くエージェントは、節約したトークンよりもインシデントでかかるコストの方がはるかに高い。