OpenAI 于 8 月 18 日(当地时间)表示,公司正有意放慢前沿模型的开发节奏。面向部署的最新模型的强化学习被暂停了 2 周,原计划中规模最大的一次强化学习至今仍处于搁置状态。该公司正在监控、对齐与安全这 3 个方向上提高标准,在这些工作跟上之前不会继续扩大规模。

两件事促成了这次放缓

OpenAI 提到了两个背景。一是 7 月浮出水面的 Hugging Face 安全事件,二是初步证据显示,即将推出的模型 Astra 有可能达到公司自有安全准则 Preparedness Framework 中网络安全能力的最高等级 Critical。

模型能力越强,风险就不只出现在对外发布之后。在内部训练和评估的过程中,风险同样在增加。OpenAI 直接承认了这一点,称为了留出满足自身标准所需的时间,公司主动放慢了规模扩张。

现在的做法是先用较小规模的训练和评估观察模型行为,验证防护措施是否有效,积累对齐方面的证据,之后再推进最大规模的训练。

首席执行官 Sam Altman 也在 X 上发文,称为了让对齐、安全和监控的标准跟上眼前这一新的能力水平,公司暂停了部分前沿强化学习。他认为行业需要协调出共同的安全标准,但在此之前 OpenAI 会单独行动。他同时表示,优秀的新模型仍会很快推出,受这次影响的是更靠后的发布。

重新加固研究环境

第一根支柱是训练和评估模型的环境本身。Hugging Face 事件发生后,OpenAI 立即停止了研究集群中可执行代码或可通过工具访问互联网的前沿模型推理。随后先恢复了一条受限且更安全的代码执行路径,再逐个判断每类工作负载能否安全重启。

新要求包括:对运行模型生成代码或其他不可信代码的工作负载实施更强的沙箱隔离;设计网络隔离,使单点被攻破本身不足以打通通往互联网或其他内部网络的通道;以及利用自家模型持续发起模拟攻击的安全测试。公司还削减了共享服务,收紧了长期授予的权限。

Astra 及网络安全相关的工作负载适用最严格的等级,其中相当一部分在完成迁移之前仍处于暂停状态。安全与对齐相关的工作负载被优先迁移。OpenAI 也没有回避代价,明确说明达到新标准给前沿研究带来了很大的成本和延迟。

把思考过程的监控做成多级结构

第二根支柱是监控。此前的重点集中在内部部署和大规模强化学习等风险最高的场景,并未覆盖所有使用工具的推理和训练。

新体系中,激活分类器会在每个被采样的 token 上检查模型的内部活动。一旦出现可疑迹象,就交给算力更高、更复杂的自动调查系统,由其从工具操作、可获取的推理内容以及完整的活动序列中,识别未授权访问、数据窃取、破坏性行为以及规避防护的尝试。

目标是在可疑活动被发现后 30 分钟内发出警报。如果判断很可能突破了关键安全边界,就会触发最高优先级警报,安全性、安全和研究团队都会被呼叫。若这些团队无法在 30 分钟内确认是误报,相关活动就应当停止。

这套监控对能力达到 GPT-5.6 Sol 及以上、且在强化学习和评估中使用工具的模型是强制要求。针对 Astra,公司自 8 月 7 日起将其扩展到所有使用工具的推理。监控本身消耗算力,目前估算约相当于被监控推理算力的 20%。

将对齐扩展到训练的各个阶段

第三根支柱是对齐。随着能力提升,钻奖励空子的 reward hacking、欺骗以及未授权访问等行为会变成严重风险。

因此,在能力最强的模型的强化学习中,核心对齐方法被应用到更多训练阶段,包括改进奖励模型以更好地发现并抑制不安全行为、训练模型更诚实地说明自身的行为与能力边界、减少利用奖励机制、评分器、工具或监督环节弱点的行为。模型与外部系统和资源交互时的训练覆盖范围也在扩大。

框架本身也将修订

OpenAI 表示,将修订 Preparedness Framework,把这些防护措施在训练与部署两端整合起来,并让框架反映未来模型的能力及其运行环境。外部机构也会参与,关于 Hugging Face 事件的技术报告预计在数周内公开。

该公司预计,不久之后大部分安全工作将由模型自身承担,包括防御来自其他模型的攻击。如果防守一方能够由模型来支撑,这 3 根支柱就能随能力增长同步扩展。

总结

这次公告中更值得注意的,也许不是暂停本身,而是公司选择把它讲出来。OpenAI 承认前沿研究因此付出了实际的成本和延迟,同时给出了具体做法:多级监控、环境隔离,以及把对齐扩展到更多训练阶段。Altman 所说的对安全的信心越来越决定进步速度,可以作为观察接下来一段时间 AI 开发的一把尺子。