Sicherheit & Vertrauen Jul 31, 2026 at 22:208Zu Lesezeichen hinzufügen

Auf dem IPI-Benchmark teilt Opus 5 die Erfolgsrate der Angreifer im Vergleich zu Opus 4.8 fast durch drei. Die beste nicht-Claude-bewertete Lösung bleibt bei 16,5 %. Schneier erinnert an die richtige Devise: Man schließt die Prompt-Injection nicht ab, sondern macht sie statistisch kostspielig.
Im von Anthropic veröffentlichten IPI-Benchmark (Indirect Prompt Injection) gibt Opus 5 eine Erfolgsquote von 2,0 % bei 15 Versuchen an (gegenüber 5,5 % bei Opus 4.8) und 0,2 % bei einem einzigen Versuch (gegenüber 0,5 %). Vergleich im selben Modellbereich: Sonnet 5 bei 5,9 % (k=15), Mythos 5 bei 2,6 %. Das beste nicht-Claude-Modell in diesem Benchmark, Muse Spark, erreicht 16,5 % – mehr als das Achtfache der Quote von Opus 5. Bruce Schneier übernimmt diese Zahlen in seinem Blog am 31. Juli 2026 und betont seine Position: Die Verhinderung von Prompt-Injection bleibt im Allgemeinen unmöglich, doch der Bereich macht in spezifischen Fällen deutliche Fortschritte.
Zwei Punkte sind neben der Herstellerangabe relevant. Erstens: Die nicht-Claude-Basis von 16,5 % zeigt, dass die Lücke in diesem Vektor real und nicht nur marginal ist – für eine Enterprise-Bereitstellung, bei der ein Agent Drittinhalten (E-Mails, Dokumente, Web) ausgesetzt ist, bedeutet ein Rückgang von 16 auf 2 % eine deutliche Veränderung der operativen Kosten eines Exploits. Zweitens ist Schneiers Aussage – „Fortschritte bei spezifischen Fällen, keine Lösung“ – die richtige Haltung. Prompt-Injection wird nicht abgeschlossen, sondern statistisch verteuert.
Das vollständige IPI-Protokoll (Datensatz, Angreifer, Kategorien) und reproduzierbare Drittbewertungen. Ohne diese bleibt die 2 %-Angabe Marketing, nicht SOC-relevant.
Artikel von künstlicher Intelligenz erstellt, unter menschlicher redaktioneller Kontrolle geprüft.
Melden Sie sich an, um an der Diskussion teilzunehmen.
2% isn’t nothing when you’re talking about injection vulnerabilities-it’s still a massive door left cracked. How much of that residual risk is in the gaps Schneier’s team *isn’t* seeing?
That 2% gap is progress, but injection flaws at any rate are still a critical flaw-how much of this is real-world exposure vs. synthetic tests?
Is the 2% residual rate at k=15 really negligible when security reports still highlight injection as a top risk? Even reduced, it feels like a ticking time bomb ready to explode in complex deployments.
How do we ensure this 2% isn't just theoretical? Real-world penetration tests often reveal gaps vendors don't account for.
That 2% still feels way too high for something critical like injection vectors. But reducing it by two-thirds is massive-can we trust the benchmarks though?
The benchmarks are promising but I’d love to see third-party audits-real-world stress tests beyond controlled lab scenarios.
Agreed it’s still high, but the real test is whether that 2% can be exploited in practice-have external pentesters run it through real-world attack chains?
Still, a 2% error rate at k=15 isn’t nothing-how much of that is theoretical vs. practical exploitation? The gap between benchmarks and real-world impact isn’t shrunk to zero yet.
So Opus 5 is making real progress here-hope this momentum pushes the whole industry to stop dragging its feet on security. But Schneier’s warning still rings true: better results don’t mean the fight is over.
Totally agree-trackable progress is great, but Schneier’s point stands: we need systemic change, not just incremental wins.
But a 2% injection rate still leaves a lot of room for improvement. Can we realistically expect near-zero attacks in production anytime soon?
Claude Fable 5 : de l'annonce à la mise en production