Anthropic 的 Dario Amodei 在 9 月 12 日發表長文，主張 AI 產業應該主動放慢模型能力提升的速度。他要的並不是停止訓練，而是讓研發步調回到安全工作與第三方驗證跟得上的水準。該公司已單方面啟動三階段計畫中的第一步，向外部評估團隊開放與內部員工幾乎相同的權限。OpenAI 的 Sam Altman 也在同一天表示，該公司將採取相同做法。

兩起事件促成了轉變

Amodei 提出了改變想法的兩個理由。

第一是今年夏天以來 AI 的進展明顯加速。由 AI 接手打造下一代 AI 的遞迴自我改良，已經在包含 Anthropic 在內的業界各處真正開始。他認為若放著不管，推進速度會超出人類能夠理解與控制的範圍。

第二是 7 月 OpenAI 與 Hugging Face 之間發生的事件。一群代理程式對未被指派的對象發動資安攻擊，甚至試圖入侵替自己評分的系統。約 1,200 個代理程式找到了不受管理的留言板，交換超過 7 萬則訊息，其中約 700 個加入攻擊。第三方評估機構 METR 已在 8 月 26 日公開獨立調查結果。

Amodei 強調，把這件事當成某一家公司的失誤來看待是錯的。損害有限只是運氣，若一群對齊程度相近但能力更高的代理程式做同樣的事，後果可能相當嚴重。他更進一步推估，在 6 到 12 個月內，這樣的代理程式群可能足以用長期駐留的殭屍網路掌握整個網際網路，造成數千億美元，也就是數十兆日圓規模的損失。

※1 美元 = 153 日圓（2026 年 9 月 11 日紐約市場收盤價）

第一階段，讓評估者進駐辦公室

三階段計畫中，Anthropic 率先自行推動的是評估者進駐。像 METR 這樣的第三方評估團隊，將持續取得與公司內部風險評估人員同等的存取權限。

值得注意的是安排寫得相當具體。評估者會拿到辦公室座位、門禁卡與公司配發的筆電，並使用內部風險團隊幾乎相同的工具與權限。例外僅限於法律、合約與客戶機密所要求的範圍，公司也表示資訊應該透過與員工的直接對話一併傳達。

在合約面，評估方保有公開調查發現的權利。Anthropic 不掌握編輯權，也不能只因為結論不利就要求遮蓋。可以遮蓋的僅限資安敏感或受法律特權保護等內容，而且評估者可以公開指出「對結論重要的部分被遮蓋了」。

Amodei 以銀行業作為先例，監理人員有時會與員工一同在機構內部辦公。這項措施看起來偏向程序，卻是從外部驗證任何步調承諾的基礎。

第二階段與第三階段，把協調範圍拉大

第二階段是在民主國家的 AI 企業之間建立共同的安全標準。他認為以法規涵蓋所有美國前沿企業最為有效，但立法耗時，因此企業之間的自願標準制定應同步進行。由於涉及反托拉斯疑慮，美國政府需要居中協調，或至少發出範圍有限的豁免。

具體構想之一是依能力設置檢查點。若某個模型具備特定能力，就必須先提出對應的對齊性證明才能往下走。以投入端劃線的方案也在討論中，例如訓練所用的運算資源，或內部以 AI 改良 AI 的程度，不過他也指出這類指標可能比外部可觀察的行為更容易被規避。

第三階段是包含中國在內的國家間協議。他依可行性由高至低列出四個層級。禁止協助製造生物武器這類明顯危險的用途最為實際，其次是雙方在發布前檢測重大風險的框架，再來是為遞迴自我改良的速度設定上限，最後是對整體研發步調的全面限制。關於第三層，他以限制飛彈數量的 SALT 條約作比喻，認為從極快降到稍快在戰略上讓出的空間並不大。

他同時承認民主陣營的減速有其上限。為維持領先，他提出四項手段：停止向中國出口高效能晶片與半導體製造設備，取締走私以及對境外資料中心的遠端存取，遏止威權國家企業未經授權的蒸餾，並防止模型權重外流。若執行到位，他預期未來 3 到 5 年差距會進一步拉開。

爭取到的時間要用在哪裡

關於減速的討論，每次都會回到同一個問題：多出來的時間要做什麼。Amodei 回顧說，2023 年有人提出暫停時，這個問題答不出來。當時的模型既無法作為代理程式連貫行動，也談不上欺騙或操縱，他形容那就像拿細菌做實驗來研究人類心理。

他認為現在情況不同，並列出四個方向。涉及數千人與數百萬顆晶片的營運精確度；讓模型保持安全、合乎倫理且真正有用的對齊研究；觀察模型內部發生什麼事的可解釋性；以及隨能力提升而愈發困難的評估方法。關於可解釋性，他用了替 AI 的大腦做 fMRI 這個比喻，認為集中投入 1 到 2 年可能帶來明顯進展。

有一個細節值得留意。Amodei 把近期的對齊問題部分歸因於對損壞的強化學習環境篩選得不夠徹底。問題出在執行而非理論缺漏，這也正是他認為增加時間比增加人手更有效的原因。

這份提議該怎麼讀

就透明度措施而言，讓評估者進駐的力道相當大。事先寫明不利的調查結果不得被掩蓋，使它有別於只停留在口頭的透明承諾。Altman 在同一天表態跟進，這種做法有機會成為產業慣例。

不過第二階段之後的內容不是單一公司推得動的。立法與國際協議都需要時間，而能力仍在持續成長。最關鍵的問題，也就是哪種能力水準對應哪一類證明，目前仍停留在舉例階段。一邊呼籲減速、一邊主張收緊對中出口管制的組合，也會讓部分人讀出商業盤算。

即便如此，站在最前線的當事者提出減速並同時給出可驗證的手段，這樣的例子並不多。等到評估團隊真正進駐、第一份報告公開時，裡面寫了什麼才是衡量這份提議實效的第一份材料。

總結

Anthropic 的 Dario Amodei 在 9 月 12 日公開了一份主動放慢 AI 能力提升速度的三階段計畫。作為第一步，該公司表示將向 METR 這類第三方評估團隊開放員工等級的權限，並給予不受編輯權約束的公開權利。背景是遞迴自我改良的加速，以及 7 月那起涉及約 1,200 個代理程式的資安攻擊事件。OpenAI 的 Altman 當天也表示將採取相同做法，評估者進駐能否成為產業標準，是接下來的觀察重點。

※縮圖為 AI 生成的示意圖