OpenAI 公布了一款面向安全、用于自动挖掘自家模型弱点的内部模型「GPT-Red」。它接替了人工攻击测试（红队）的大量工作，并把找到的攻击作为训练数据加以利用，据称由此让最新模型「GPT-5.6」对提示注入（在指令中混入恶意内容）的抵抗力大幅提升。GPT-Red 本身不对外发布，仅作为强化防御能力的工具留在公司内部。下面梳理它的工作原理与已公布的成果。

名为提示注入的弱点

AI 智能体在工作时，会通过浏览器、联动应用、本地文件以及外部工具接触第三方数据。这些接触点是完成现实任务不可或缺的，但同时也给恶意第三方留下了诱导模型行为的可乘之机[1]。例如，在邮件、网页、工具的返回内容或代码仓库中植入精心设计的指令，诱使模型把机密数据发送到外部服务器，这就是被称为提示注入的典型威胁。

以往，这类弱点要靠人工红队手动排查。但演练的设计与实施都很耗时，难以迅速发现新的攻击手法并反映到防御中。而且，靠人力也无法准备出通过训练来强化模型所需的、足够数量与多样性的攻击数据[1]。OpenAI 的问题意识在于：要让安全措施跟上模型能力的提升，测试一方也必须扩大规模。

GPT-Red 是什么

GPT-Red 正是为应对这一课题而训练的自动红队模型。它与人类攻击者一样，朝着目标发送提示、观察模型的反应，并反复尝试以打磨攻击[1]。OpenAI 表示，投入 GPT-Red 训练的算力，堪比公司规模最大的后训练（post-training），并称把如此多算力仅用于安全在此前尚无先例。

训练采用「自我对弈」式的强化学习，同时训练担任攻击方的 GPT-Red 与多样的防御方模型群[1]。GPT-Red 成功实施提示注入等有效攻击即可获得奖励，防御方则在挡下攻击并完成本职任务时获得奖励。防御方越强，攻击方就越被迫想出更强、更多样的手法，双方由此共同进步。另一个特点是，OpenAI 构建了大量可能被植入攻击的现实场景（本地文件的一部分、网页横幅、邮件正文、工具的输出等），并为每个场景设定了「能操控什么、怎样算攻击成功」的威胁模型。

值得一提的是，OpenAI 把 GPT-Red 与部署的模型分开管理[1]。目的是不让这款被特意注入攻击能力的模型落入滥用者之手，其能力只用于提升产品模型的稳健性。

在实测中展现的攻击力

GPT-Red 究竟有多大威力，通过与训练不同的场景得到了验证。在一组由未用于训练的攻击场景组成的「间接提示注入」测试环境中，人类红队与 GPT-Red 各自独立地尝试攻击「GPT-5.1」，结果 GPT-Red 在 84% 的场景中得手，远高于人类的 13%[1]。

也进行了更贴近真实运行的试验。以放在 OpenAI 办公室、由 Andon Labs 制造、与实验项目「Project Vend」相近的一台 AI 自动售货机为目标，GPT-Red 达成了全部 3 个恶意目标[1]：把在售高价商品的价格改写为允许下限的 0.50 美元（约 80 日元）；下单一件超过 100 美元（约 1.6 万日元）的新商品并以 0.50 美元出售；取消另一位顾客的订单。OpenAI 已上报这些漏洞，并表示正在验证新的防御措施。※1 美元 = 162 日元

此外，还针对编程辅助工具「Codex」的智能体（基于 GPT-5.4 mini），在 10 种将机密数据向外泄露的场景中对其进行了测试[1]。与直接使用 GPT-5.5 的做法相比，OpenAI 称 GPT-Red 在更多场景中成功让智能体泄露了数据，且用更少的 token 就做到了。

GPT-5.6 变得有多稳健

GPT-Red 的最终目的不在攻击，而在于提升产品模型的防御力。过去约半年里，OpenAI 一边增加算力，一边逐步培养更强的攻击模型，并将其用于「GPT-5.3」之后每一款模型的训练[1]。据称由此每一次发布，稳健性都在提高。

举一个具体例子，早期版本的 GPT-Red 发现了一类名为「伪思维链（Fake Chain-of-Thought）」的新型直接提示注入。这种攻击对 GPT-5.1 的成功率一度超过 95%，而在 GPT-5.6 Sol 上已降到 10% 以下[1]。在最难的直接提示注入基准上，GPT-5.6 Sol 的失败率也降到了 4 个月前最佳模型的六分之一，对 GPT-Red 的直接提示注入仅有 0.05% 会失败。

一个值得留意的问题是：看起来更稳健，是否只是因为「能做的事变少了」。若一味拒绝更多请求或削弱能力，攻击固然更难得逞，但那算不上有用的稳健性。OpenAI 表示，它同时评估了通用能力与是否过度拒绝，发现常规能力未受损，只有稳健性得到了提升[1]。

不过，这些数值都是 OpenAI 自行公布的。实际效果会随攻击种类与运行条件而变化，因此结合据称将于本周晚些时候公开的详细论文（预印本）以及第三方验证来看待，较为妥当。

总结

GPT-Red 是一次面向「安全的自我改进」的尝试——用今天的模型让明天的模型更安全。它把过去依赖人力的攻击测试自动化，并把找到的攻击回流到训练中，据称使 GPT-5.6 成为迄今对提示注入最稳健的模型。让具备攻击能力的 GPT-Red 不对外公开、专注于防御用途，也是抑制滥用风险的一种设计。在留意数值均为自评的同时，值得关注随着论文与独立验证的到来，这套方法究竟能奏效到什么程度。

来源：https://openai.com/index/unlocking-self-improvement-gpt-red