Бенчмарк Stripe: агенты подключают API, но не проверяют их

Агентство Stripe публикует бенчмарк, который показывает, что ИИ-агенты пишут интеграции, которые компилируются, запускаются и бесшумно пропускают критически важные крайние случаи.

Простыми словами

Опубликованный Stripe бенчмарк, освещённый InfoQ 15 июля 2026 года, показывает реальный предел возможностей ИИ-агентов в написании интеграционного кода: они могут создать клиент, который вызывает API, но не способны написать тесты, доказывающие, что он работает правильно. Это стена счастливого пути — и она выше, чем кажется по демонстрациям.

Результат

Stripe протестировал несколько ИИ-агентов на простой задаче: реализовать и протестировать классическую интеграцию Stripe (checkout, вебхуки, сверка). Агенты генерируют код, который компилируется и проходит счастливый путь в значительной части случаев. Они не справляются с крайними сценариями, которые ломают продакшн: порядок вебхуков, идемпотентность, частичные ошибки, задержанные события.

Другими словами: они делают то, что делает junior-разработчик в первый день. Они не делают то, что делает senior-разработчик на третий день — пишут тесты, доказывающие, что система работает даже когда сеть врёт.

Под капотом

• Самый распространённый паттерн неудачи: агент тестирует то, что написал, а не то, что может пойти не так. Он регрессирует на своём собственном коде, не рассуждая контрфактуально.
• Агент не перечитывает документацию, чтобы понять порядок вебхук-событий — он экстраполирует из корпуса. Результат: код, похожий на хороший интеграционный, но не моделирующий асинхронность.
• Классические бенчмарки (HumanEval, SWE-Bench) переоценивают способность генерировать код и недооценивают способность проверять его. Бенчмарк Stripe чётко показывает этот разрыв — сигнал, что harness агента должен включать фазу враждебной валидации, а не только цикл генерация-тестирование-исправление.

Что делать

Для инженера продакшена: не доверяйте агенту ответственность за интеграцию платежей. Дайте ему первую итерацию, а не тестовый набор. Тестовый набор остаётся за человеком — потому что это единственный артефакт, который документирует ваши бизнес-гипотезы, а не его.

Для архитектора harness: рассматривайте валидацию как ортогональную компетенцию генерации кода. Именно здесь следующие harnesses будут выигрывать или проигрывать — а не в дополнительных баллах на SWE-Bench.

Для CFO, следящего за токен-бюджетом: агент, который пишет плохой тест, обходится дороже в инцидентах, чем экономия на токенах.