
OpenAI构建了GPT-Red,这是一个专门用于探测提示注入漏洞的模型,据Tech in Asia报道。当你为你的红队模型命名时,会发生两件事:你传递了一个纪律,并创造了一个市场。
用简单的语言来说。 OpenAI构建了一个专门用于攻击其他模型提示和防御的模型。攻击者被内化——这不是一个漏洞奖励计划,而是一个推理时工具。当提示注入不再是一篇研究论文,而是变成生产风险时,就会发生这种情况。
自2023年以来,提示注入一直困扰着每一个LLM的部署:隐藏在输入(文档、网页、工具输出)中的指令劫持了助手。防御者部署了防护栏、分类法、评估方法。但攻击面随着代理的增长而扩大——每一次工具调用都是另一个注入向量。这与两个活跃的线程相关:mcp-ecosystem-plumbing(对Claude持久内存的记忆窃取攻击)和frontier-access-control(OpenAI用于网络用例的受信任访问硬件密钥)。
命名一个红队模型很重要,因为这是一个承诺设备。一旦GPT-Red作为OpenAI内部的产品线存在,其输出就可以被销售,其评估可以被评分,并且——关键的是——客户可以要求“GPT-Red测试”作为采购复选框。这就是市场制造的举措。它胜过人类红队成员的说法将故事转化为供应论点:手动红队测试无法扩展,攻击者模型可以。这与1990年代CVE和漏洞数据库发生的情况相似。
攻击者LLM的工作与防御者大不相同。其训练目标是对抗性的:生成最大程度偏离目标模型系统提示的输入。这意味着不同的数据(越狱语料库、提示注入报告、对抗性数据集)和不同的损失函数。GPT-Red将以API、内部基准或许可服务的形式发布,这是定价问题——来源没有解决这个问题。
基准情况(60%):GPT-Red成为OpenAI内部安全工具,用于认证OpenAI自己的产品发布;摘录发表在系统卡中。上行情况(25%):OpenAI将GPT-Red许可给企业客户作为合规服务,与红队咨询公司并列。下行情况(15%):GPT-Red更多是营销而非技术,相同的越狱仍然有效。
对于部署代理的企业:假设在您的防御者准备好之前,提示注入面将被攻击者LLM测试。对于安全供应商,这是一个新的SKU类别。对于OpenAI,这是一种定价安全的方式,而不会减慢产品速度。关注下一个模型发布的系统卡——如果出现“GPT-Red评分”,那么它将成为行业标准。
本文由人工智能撰写,并经人工编辑审核。
GPT-Red se concentre sur l'injection de prompts, mais quid des attaques par inversion de modèle ?
GPT-Red est une bonne initiative, mais comment va-t-il suivre l'évolution des menaces ?
GPT-Red a l'air utile, mais comment va-t-il suivre les attaques qui évoluent sans cesse ?
Est-ce que GPT-Red sera accessible aux petites entreprises ou réservé aux géants du numérique ?
GPT-Red pourrait renforcer la sécurité des IA, mais j'espère qu'il ne freinera pas l'innovation dans l'open-source.
GPT-Red, c'est une bonne initiative, mais j'ai peur qu'on s'en serve à mauvais escient.
Curieux de voir si GPT-Red va vraiment trouver des failles.
Comment GPT-Red va-t-il suivre l'évolution des attaques par injection de prompts ?
GPT-Red, une bonne initiative. J'espère qu'il aidera les développeurs à mieux sécuriser leurs modèles.