Opus 5 は、k=15 でプロンプト注入率を 2% に低下させる – Schneier が軌道を検証

IPIベンチマークにおいて、Opus 5はOpus 4.8の攻撃者成功率をほぼ3分の1に削減しています。最も優れた非Claudeモデルでも16.5%にとどまっています。Schneierは正しい指摘をしています。プロンプトインジェクションを完全に封じるのではなく、統計的にコストのかかるものにするのです。

事実

Anthropicが公開したIPI（Indirect Prompt Injection）ベンチマークでは、Opus 5は攻撃成功率を15回試行で2.0%（Opus 4.8は5.5%）、1回試行で0.2%（Opus 4.8は0.5%）と発表しています。同じファミリー内の比較では、Sonnet 5が5.9%（k=15）、Mythos 5が2.6%です。このベンチマークでClaude以外のモデルで最も優秀だったMuse Sparkでも16.5%にとどまっており、Opus 5の8倍以上の数値です。Bruce Schneierは2026年7月31日のブログでこれらの数値を取り上げ、自身の見解を述べています。すなわち、一般的なケースでのプロンプトインジェクション防止は不可能だが、特定の領域では明確な進歩が見られるというものです。

当社の考察

数値以上に重要なのは、2つのポイントです。1つ目は、Claude以外のモデルのベースラインである16.5%という数値が、この攻撃ベクトルの差が現実的なものであることを示しています。エンタープライズ環境でエージェントがサードパーティのコンテンツ（メール、ドキュメント、ウェブ）にさらされる場合、成功率を16%から2%に抑えることは、運用コストの面で大きな違いをもたらします。2つ目は、Schneierの見解「特定のケースにおける進歩であって、解決ではない」という指摘です。これは正しい姿勢です。プロンプトインジェクションを完全に排除するのではなく、統計的にコストをかけさせることが重要です。

要注目

完全なIPIプロトコル（データセット、攻撃者、カテゴリ）と第三者による再現可能な評価です。これらがなければ、2%という数値は製品マーケティングの域を出ず、SOC（セキュリティオペレーション）の現実には反映されません。