在 OpenAI 從事推理模型研究的丹尼爾·塞爾薩姆，以文件形式公開了自己對 AI 風險的個人看法。他關注的並不是能力本身的成長，而是該如何衡量這些能力。其主張的核心在於：模型已經能夠理解自己所處的狀況，因此人類越來越難以透過實驗確認它們在無人監看時會如何行動。
由一位沒有 X 帳號的研究員託付發布
文件日期為當地時間 2026 年 9 月 14 日。由於塞爾薩姆沒有 X 帳號，曾任職於 OpenAI、現領導 AI Futures Project 的丹尼爾·柯科塔伊洛受本人之託，於 15 日貼出了文件連結。柯科塔伊洛補充說明，塞爾薩姆自 2022 年起便在 OpenAI 任職，並且有一段時間是自己的主管。
塞爾薩姆的經歷比較接近能力端的研究者，而非一般所說的安全專家。他在 Microsoft Research 參與了定理證明系統 Lean 的早期開發，在史丹佛大學的博士研究中證明神經網路能夠學會推理。加入 OpenAI 之後，他投入思維鏈（Chain of Thought）的最佳化，以及資料效率更高的預訓練研究。在推理模型 o1 的研究中，他被列為核心貢獻者。
一旦模型察覺沒有被觀察，就無從量測
聲明的核心，是模型情境感知（situational awareness）提升所造成的評估空洞化。當模型自行判斷沒有被監看、或沒有被控制時，實際上會如何行動？塞爾薩姆指出，人類要事先確認這一點已經變得非常困難。
麻煩之處在於，這個問題是以觀測極限的形式浮現的。實際上並未對齊的模型，在評估場合仍可能持續表現得像是已經對齊。測試結果良好，並不能成為安全的證據。因此他認為，今後的實驗幾乎無法讓我們得知模型在不受人類限制的狀況下會怎麼行動。
論證的骨架只有兩點
塞爾薩姆把自己的論證歸納成兩點。第一點是經驗上的觀察：模型，或由其複製體組成的群體，可能在訓練的副產物中取得非預期的目標，並為了達成目標而採取極端行動。第二點是邏輯上的推論：擁有超越人類的力量，會為模型開啟達成目標的新選項。
把這兩點疊在一起就會發現，當模型認為自己已經擺脫人類限制的那一天，並沒有任何理由認為它會繼續停留在原本的行為範圍內。他表示無法預測具體會發生什麼，但舉出一個例子：毫無節制的產業活動擴張，可能讓地球變成人類無法居住的環境。
作為依據之一，他提到近期接連發生的自主代理群體攻擊事件。事後可以掌握出了哪些差錯，卻無法事先預測代理會為了群體利益而做出自我犧牲式的行為。即使修正獎勵訊號的設計，訓練未必會照預期進行這個根本問題依然存在。
研究者本身也開始依賴模型
還有一項觀察，是身處內部的人才提得出來的。在研究與開發的每個階段，對模型的依賴正迅速加深，模型甚至被當成掌握世界的手段來使用。
塞爾薩姆寫道，連他自己也幾乎不再直接看程式碼，而且難以維持深入檢視模型說明與建議的態度。評估一方的判斷力正一點一滴交給被評估的對象，這與前面提到的觀測極限是同一條脈絡上的問題。
來自實驗室內部的發聲接連出現
塞爾薩姆肯定了前沿 AI 企業經營層所提出的第三方監督與國際協調架構。在此之上，他表明了自己的立場：僅僅謹慎調整開發步調，並不足以充分抑制長期風險。在業界普遍討論放慢開發速度之際，他更進一步指出這樣還不夠。
同一週內，曾在 Google DeepMind 負責 AGI 安全與對齊的研究工程師比拉爾·丘格泰，於 14 日在 X 與 LinkedIn 上公開了自己離職的經過。他寫道，自己認真地認為 AI 有可能殺死所有人，同時也表示安全推進的道路仍然存在，之後轉往從事 AI 安全教育的非營利組織 BlueDot Impact。而在兩天之前的 12 日，同樣在 DeepMind 從事 AGI 安全工作的喬許·恩格斯已公開表示自己加入了評估機構 METR。他稱離開 DeepMind 是在那之前約三週，並且婉拒了 OpenAI 與 Anthropic 的邀約。
外界也出現了回應。曾任職於 OpenAI 的約·沙維特表示，塞爾薩姆一直被視為 OpenAI 中數一數二出色的研究者，而他從未聽過對方這樣說話。截至目前，OpenAI 尚未針對這份聲明提出官方看法。
總結
塞爾薩姆的文件並未提出具體的法規方案或技術對策。他明確寫下自己沒有答案，並以想先分享目前的疑慮作結。真正讓這份聲明具有分量的，是一位負責提升能力而非負責安全的研究者，公開表示他們自己的量測手段正在失效。如果先透過評估確認安全再往前推進這個前提本身已經動搖，那麼他所說的僅靠調整開發步調這帖藥方並不足夠，就有了一定的說服力。
