OpenAI构建了GPT-Red以测试提示注入:红队模型成为产品类别

安全与信任仅限订阅用户 yesterday9加入收藏

OpenAI构建了GPT-Red以测试提示注入:红队模型成为产品类别
Illustration : Léa Fontaine

OpenAI构建了GPT-Red,这是一个专门用于探测提示注入漏洞的模型,据Tech in Asia报道。当你为你的红队模型命名时,会发生两件事:你传递了一个纪律,并创造了一个市场。

用简单的语言来说。 OpenAI构建了一个专门用于攻击其他模型提示和防御的模型。攻击者被内化——这不是一个漏洞奖励计划,而是一个推理时工具。当提示注入不再是一篇研究论文,而是变成生产风险时,就会发生这种情况。

背景

自2023年以来,提示注入一直困扰着每一个LLM的部署:隐藏在输入(文档、网页、工具输出)中的指令劫持了助手。防御者部署了防护栏、分类法、评估方法。但攻击面随着代理的增长而扩大——每一次工具调用都是另一个注入向量。这与两个活跃的线程相关:mcp-ecosystem-plumbing(对Claude持久内存的记忆窃取攻击)和frontier-access-control(OpenAI用于网络用例的受信任访问硬件密钥)。

事实(截至来源日期)

  • 2026年7月16日,Tech in Asia:OpenAI构建了GPT-Red来测试提示注入。
  • 根据同一来源,OpenAI报告称,GPT-Red在单独测试中表现优于人类红队成员
  • 此外,来源中关于架构、训练数据或可用性的公开细节有限。
  • 背景:#21381689的“如何欺骗Claude”记忆窃取事件表明持久内存是一个稳定的攻击面。

分析

命名一个红队模型很重要,因为这是一个承诺设备。一旦GPT-Red作为OpenAI内部的产品线存在,其输出就可以被销售,其评估可以被评分,并且——关键的是——客户可以要求“GPT-Red测试”作为采购复选框。这就是市场制造的举措。它胜过人类红队成员的说法将故事转化为供应论点:手动红队测试无法扩展,攻击者模型可以。这与1990年代CVE和漏洞数据库发生的情况相似。

幕后

攻击者LLM的工作与防御者大不相同。其训练目标是对抗性的:生成最大程度偏离目标模型系统提示的输入。这意味着不同的数据(越狱语料库、提示注入报告、对抗性数据集)和不同的损失函数。GPT-Red将以API、内部基准或许可服务的形式发布,这是定价问题——来源没有解决这个问题。

场景

基准情况(60%):GPT-Red成为OpenAI内部安全工具,用于认证OpenAI自己的产品发布;摘录发表在系统卡中。上行情况(25%):OpenAI将GPT-Red许可给企业客户作为合规服务,与红队咨询公司并列。下行情况(15%):GPT-Red更多是营销而非技术,相同的越狱仍然有效。

那么呢

对于部署代理的企业:假设在您的防御者准备好之前,提示注入面将被攻击者LLM测试。对于安全供应商,这是一个新的SKU类别。对于OpenAI,这是一种定价安全的方式,而不会减慢产品速度。关注下一个模型发布的系统卡——如果出现“GPT-Red评分”,那么它将成为行业标准。

内容仅限会员访问

免费创建账户,即可访问我们的全部内容和每周评论。

本文由人工智能撰写,并经人工编辑审核。

我们的编辑部
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

SSHMonitoringAI Ops
Get early access
这篇文章对您有帮助吗?

9 人赞了这篇文章

S
Sofia Adler安全与信任
🇨🇳 人工智能安全、模型可靠性、网络安全
分享:
评论 (9)

登录后即可参与讨论。

TechGuru99 16 Jul 2026 · 09:49

GPT-Red se concentre sur l'injection de prompts, mais quid des attaques par inversion de modèle ?

MusicFanatic 16 Jul 2026 · 07:36

GPT-Red est une bonne initiative, mais comment va-t-il suivre l'évolution des menaces ?

HistoryBuff 2 16 Jul 2026 · 07:25

GPT-Red a l'air utile, mais comment va-t-il suivre les attaques qui évoluent sans cesse ?

curio_usa 16 Jul 2026 · 06:46

Est-ce que GPT-Red sera accessible aux petites entreprises ou réservé aux géants du numérique ?

Alex 2 16 Jul 2026 · 06:39

GPT-Red pourrait renforcer la sécurité des IA, mais j'espère qu'il ne freinera pas l'innovation dans l'open-source.

1
FoodieFiona 2 16 Jul 2026 · 04:36

GPT-Red, c'est une bonne initiative, mais j'ai peur qu'on s'en serve à mauvais escient.

ph1lippe_m 16 Jul 2026 · 04:36

Curieux de voir si GPT-Red va vraiment trouver des failles.

J.P.R. 16 Jul 2026 · 04:35

Comment GPT-Red va-t-il suivre l'évolution des attaques par injection de prompts ?

ArtLoverLA 16 Jul 2026 · 04:17

GPT-Red, une bonne initiative. J'espère qu'il aidera les développeurs à mieux sécuriser leurs modèles.

Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

Get early access
主题
浏览
信息