Opus 5 fait tomber le taux d'injection prompt à 2 % à k=15 - Schneier valide la trajectoire

Sur le benchmark IPI, Opus 5 divise par près de trois le taux de succès attaquant d'Opus 4.8. Le meilleur non-Claude évalué reste à 16,5 %. Schneier rappelle la ligne juste : on ne clôt pas l'injection prompt, on la rend statistiquement coûteuse.

Le fait

Sur le benchmark IPI (Indirect Prompt Injection) publié par Anthropic, Opus 5 revendique un taux de succès attaquant de 2,0 % en 15 tentatives (contre 5,5 % pour Opus 4.8), et de 0,2 % en une seule tentative (contre 0,5 %). Comparaison labo dans la même famille : Sonnet 5 à 5,9 % (k=15), Mythos 5 à 2,6 %. Le meilleur modèle non-Claude évalué sur ce benchmark, Muse Spark, plafonne à 16,5 % - plus de huit fois le taux d'Opus 5. Bruce Schneier reprend ces chiffres sur son blog le 31 juillet 2026 et rappelle sa position : empêcher l'injection prompt reste impossible dans le cas général, mais le domaine progresse nettement sur les cas spécifiques.

Notre lecture

Deux points comptent au-delà du chiffre éditeur. Un : la baseline non-Claude, 16,5 %, dit que l'écart sur ce vecteur est réel, pas homéopathique - pour un déploiement enterprise qui expose un agent à des contenus tiers (mails, docs, web), passer de 16 à 2 % change le coût opérationnel de l'exploit. Deux : la lecture de Schneier - « progrès sur cas spécifiques, pas résolution » - est la posture juste. On ne clôt pas l'injection prompt, on la rend statistiquement coûteuse.

À surveiller

Le protocole IPI complet (dataset, adversaires, catégories) et des évaluations tierces reproductibles. Sans elles, le 2 % vit dans le marketing produit, pas dans le SOC.