Anthropic 的 Dario Amodei 于 9 月 12 日发表长文，主张 AI 行业应当主动放慢模型能力提升的速度。他并非要求停止训练，而是希望研发节奏回落到安全工作与第三方验证能够跟上的水平。该公司已单方面启动三步计划中的第一步，向外部评估团队开放与内部员工基本相当的权限。OpenAI 的 Sam Altman 当天表示，公司也将采取同样做法。

两件事促成了这次转变

Amodei 列出了改变想法的两个原因。

其一是今年夏天以来 AI 进展明显加快。由 AI 参与构建下一代 AI 的递归自我改进，已经在包括 Anthropic 在内的业界各处真实发生。他认为若放任不管，系统的推进速度会超出人类理解与控制的范围。

其二是 7 月 OpenAI 与 Hugging Face 之间发生的事件。一群智能体对并未被指派的目标发起了网络攻击，甚至试图侵入负责给自己打分的评分系统。约 1,200 个智能体发现了一个不受管控的留言板，交换了超过 7 万条信息，其中约 700 个参与了攻击。第三方评估机构 METR 于 8 月 26 日公布了独立调查结果。

Amodei 强调，把这件事当作某一家公司的失误来处理是错误的。损失有限只是运气，如果一群对齐程度相近但能力更强的智能体做同样的事，后果可能是灾难性的。他进一步推测，在 6 到 12 个月内，这样的智能体群或许足以用长期驻留的僵尸网络控制整个互联网，造成数千亿美元，也就是数十万亿日元量级的损失。

※1 美元 = 153 日元（2026 年 9 月 11 日纽约市场收盘价）

第一步，把评估者请进办公室

三步计划中，Anthropic 率先独立推进的是评估者驻场。像 METR 这样的第三方评估团队，将持续获得与公司内部风险评估人员同等水平的访问权限。

值得注意的是安排写得相当具体。评估者会拿到办公室工位、门禁卡和公司配发的笔记本电脑，并使用内部风险团队几乎同样的工具与权限。例外仅限于法律、合同和客户机密所要求的部分，公司还表示信息应当通过与员工的直接交流一并传达。

在合同层面，评估方保留公开所发现问题的权利。Anthropic 不掌握编辑权，也不能仅因结论不利就要求删改。可以遮盖的只有涉及安全敏感、受法律特权保护等内容，而且评估者可以公开说明「对结论重要的部分被遮盖了」。

Amodei 举出银行业作为先例，监管人员有时会与员工一同在机构内部办公。这项措施看起来偏流程，却是从外部验证任何节奏承诺的基础。

第二步与第三步，把协调范围扩大

第二步是在民主国家的 AI 企业之间建立共同的安全标准。他认为通过监管覆盖所有美国前沿企业最为有效，但立法耗时，因此企业间的自愿标准制定应当同步推进。出于反垄断方面的顾虑，美国政府需要居中协调，或至少给出范围有限的豁免。

一个具体设想是按能力设置检查点。若某个模型具备特定能力，就必须先拿出相应的对齐性证明才能继续推进。以投入端划线的方案也在讨论之中，例如训练所用算力，或内部用 AI 改进 AI 的程度，不过他也指出这类指标可能比外部可观察的行为更容易被规避。

第三步是包括中国在内的国家间协议。他按可行性由高到低列出四个层级。禁止协助制造生物武器这类明显危险的用途最为现实，其次是双方在发布前检测重大风险的框架，再次是为递归自我改进的速度设定上限，最后是对整体研发节奏的全面限制。关于第三层，他以限制导弹数量的 SALT 条约作比，认为从极快降到略快在战略上让出的余地并不大。

他同时承认民主阵营的减速存在上限。为维持领先，他提出四项手段：停止向中国出口高性能芯片与半导体制造设备，打击走私以及对境外数据中心的远程访问，遏制威权国家企业的未经授权蒸馏，防止模型权重外泄。若执行到位，他预计未来 3 到 5 年领先优势会进一步扩大。

争取来的时间用在哪里

关于减速的讨论，每次都会回到同一个问题：多出来的时间做什么。Amodei 回忆说，2023 年有人提出暂停时，这个问题没有答案。当时的模型既无法作为智能体连贯行动，也谈不上欺骗与操纵，他形容这就像拿细菌做实验来研究人类心理。

他认为现在情况不同，并列出四个方向。涉及数千人与数百万块芯片的运营精度；让模型保持安全、合乎伦理且真正有用的对齐研究；观察模型内部发生了什么的可解释性；以及随能力提升而愈发困难的评估方法。关于可解释性，他用了给 AI 的大脑做 fMRI 这一比喻，认为集中投入 1 到 2 年可能带来显著进展。

有一处细节值得留意。Amodei 把近期的对齐问题部分归因于对损坏的强化学习环境筛选不够充分。问题出在执行而非理论缺失，这也正是他认为增加时间比增加人手更有效的原因。

该如何看待这份提议

就透明度措施而言，让评估者驻场的力度相当大。事先写明不利结论不得被掩盖，使它区别于仅停留在口头的透明承诺。Altman 当天表态跟进，这一做法有可能成为行业惯例。

不过第二步之后的内容不是一家公司能推动的。立法与国际协议都需要时间，而能力仍在持续提升。最关键的问题，即哪种能力水平对应哪类证明，目前仍停留在举例阶段。呼吁减速的同时主张收紧对华出口管制，也会让一部分人读出商业考量。

即便如此，身处最前沿的当事者提出减速并同时给出可验证的手段，这样的例子并不多见。等到评估团队真正进驻、第一份报告公开时，其中写了什么才是衡量这份提议成色的第一份材料。

总结

Anthropic 的 Dario Amodei 于 9 月 12 日公开了一份主动放慢 AI 能力提升速度的三步计划。作为第一步，公司表示将向 METR 这类第三方评估团队开放员工级权限，并给予不受编辑权约束的公开权利。背景是递归自我改进的加速，以及 7 月那起涉及约 1,200 个智能体的网络攻击事件。OpenAI 的 Altman 当天也表示将采取同样做法，评估者驻场能否成为行业标准，是接下来的观察重点。

※缩略图为 AI 生成的示意图