基准测试Stripe：代理商连接API，但不验证它们

简单来说

一份由 Stripe 发布并由 InfoQ 在 2026 年 7 月 15 日转发的基准测试显示了集成代码中 AI 代理的真实天花板：它们能够生成调用 API 的客户端，但无法生成证明其正确性的测试。这就是所谓的 happy path 墙——它比演示中显示的要高得多。

结果

Stripe 让多个 AI 代理通过了一个简单的测试：实现并验证一个典型的 Stripe 集成（结账、webhook、对账）。在相当多的情况下，代理生成的代码能够编译并通过 happy path 测试。然而，它们无法覆盖在生产环境中会导致问题的边界情况：webhook 的顺序、幂等性、部分错误、延迟到达。

换句话说：它们做的是初级开发人员在第一天会做的事。它们没有做的是高级开发人员在第三天会做的事——编写测试，证明即使网络出错时也能正常工作。

幕后

• 最常见的失败模式：代理测试的是它自己写的代码，而不是可能出错的地方。它回归到自己的代码上，而不是进行反事实推理。
• 代理不会重新阅读文档以理解 webhook 事件的顺序——它从语料库中进行推断。结果是：代码看起来像是好的集成代码，但并没有正确建模异步操作。
• 传统的基准测试（HumanEval、SWE-Bench）高估了生成能力，低估了验证能力。Stripe 的基准测试正好指出了这一差距——这是一个信号，表明代理的 harness 需要整合一个对抗性验证阶段，而不仅仅是生成-测试-修正的循环。

那么呢

对于生产工程师：不要将支付集成的所有权交给代理。将第一次迭代交给代理，但不要交给测试套件。测试套件仍然由人类完成——因为这是唯一一个记录您的业务假设的工件，而不是代理的假设。

对于架构师：将验证视为与代码生成正交的能力。这就是下一代 harness 胜负的关键所在——而不是在 SWE-Bench 上多得一分。

对于关注 token 预算的 CFO：编写错误测试的代理在事故中造成的成本比节省的 token 更高。