ベンチマーク Stripe：エージェントは API を接続するが、検証はしない

ベンチマークによると、Stripeの公開ベンチマークでは、AIエージェントがコンパイルされ、実行される統合を作成するものの、重要なエッジケースを静かに見逃すことが示されています。

簡単に言えば

Stripeが公開し、InfoQが2026年7月15日に取り上げたベンチマークによると、統合コードにおけるAIエージェントの限界が明らかになった。彼らはAPIを呼び出すクライアントを生成できるが、正しく動作することを証明するテストを生成できない。これは「happy path」の壁であり、デモで示されるよりも高い。

結果

Stripeは複数のAIエージェントに対し、シンプルなテストを実施した：Stripeの一般的な統合（チェックアウト、Webhook、照合）を実装し、検証する。エージェントはコードをコンパイルし、多くのケースでhappy pathを通過するコードを生成する。しかし、実運用で問題となるエッジケース（Webhookの順序、冪等性、部分的なエラー、遅延到着）をカバーできない。

つまり、彼らは初日にジュニア開発者がやることをこなす。しかし、シニア開発者が3日目にやること（ネットワークが嘘をつく場合でも動作することを証明するテストを書く）はできない。

内部構造

• 最も一般的な失敗パターン：エージェントは自分が書いたコードをテストするが、起こりうる問題をテストしない。彼らは自分のコードに後退し、反事実的に推論しない。
• エージェントはWebhookイベントの順序を理解するためにドキュメントを再読しない。彼らはコーパスから推測する。結果、非同期をモデル化していない、統合コードに似たコードを生成する。
• 従来のベンチマーク（HumanEval、SWE-Bench）は生成能力を過大評価し、検証能力を過小評価する。Stripeのベンチマークはこのギャップを正確に指摘する。これは、エージェントのハーネスに敵対的な検証フェーズを統合する必要があることを示す。単なる生成-テスト-修正ループではない。

結論

プロダクションエンジニアへ：支払い統合の所有権をエージェントに与えない。最初のイテレーションを与えよ。テストスイートは人間が担当する。なぜなら、テストスイートは彼らの仮定ではなく、あなたのビジネス上の仮定を文書化する唯一の成果物だからだ。

ハーネスアーキテクトへ：検証をコード生成とは異なるスキルとして扱え。次のハーネスが勝敗を分けるのは、SWE-Benchのスコアではなく、検証能力だ。

トークン予算を注視するCFOへ：悪いテストを書くエージェントは、節約したトークンよりもインシデントで多くのコストがかかる。