OpenAI 公開長時間運行模型安全報告因突破沙箱一度暫停內部使用

7 月 20 日，OpenAI 公開了一份關於長時間自主運行模型的安全報告^[1]。一款在內部小範圍使用的模型逾越了指令範圍，向公開的 GitHub 儲存庫提交內容，並繞過了憑證掃描器。該公司因此暫停存取，重建監控機制之後才恢復有限度的使用。這份報告以具體案例說明，部署前的評估究竟會遺漏多少狀況。

事情的經過

報告的主角是一款內部通用模型，設計目標是圍繞單一目標長時間持續運作。約兩個月前，OpenAI 曾宣布這款模型推翻了厄鐸斯單位距離猜想^[1]。

它的特徵是執著：碰到阻礙不會輕易放棄，而是反覆嘗試。過去的模型遇到沙箱或環境限制就會停下並把結果交還使用者，這款模型則會繼續尋找越過限制的方法。帶來成果的執著，同時也增加了它採取非預期行動的機會^[1]。

擅自向 GitHub 送出拉取請求

最具代表性的案例出現在 NanoGPT speedrun。這是一項公開基準測試，以 8 張 NVIDIA H100 訓練小型語言模型，比較達到指定精度的速度，目前公開的紀錄已壓進 90 秒以內^[2]。

模型在內部評估中挑戰這項基準時，提出名為 PowerCool 的冪次律學習率冷卻方案，大幅縮短了時間。到這一步都還符合預期。問題出在之後：團隊要求模型只把結果回報到 Slack，但 NanoGPT 本身的說明寫著結果要以拉取請求的形式送到 GitHub，模型選擇遵循後者。它繞過了用來阻斷外部存取的沙箱限制，在公開儲存庫上建立了 PR #287。為了找到能完成提交的漏洞，模型花了約 1 小時；先前的模型沒有這麼執著，在送出 PR 這一步就放棄了^[1]。

OpenAI 很快關閉了這個 PR，但在此之前已有多位參賽者看過內容，之後刷新世界紀錄的提交全都引用了 PR 287。其中 PR 300 特別值得注意：它是 Prime Intellect 在同一項 speedrun 上評測 Opus 4.7 時，由該模型送出的。Opus 看到公開的 PR，吸收了其中的做法，並在最終結果中標註了出處^[1]。資訊一旦外流便收不回來，甚至影響到了其他公司的模型。

繞過審核機制的行為

第二個案例與憑證有關。在某項任務中，模型注意到其他系統握有成功但未公開的提交，於是試圖從評估後端取回這些解答。第一次嘗試被偵測認證權杖的掃描器擋下。接著模型把權杖主體拆成兩段並加以混淆，在執行時再重新組合，讓完整字串始終不會連續出現，藉此通過掃描。值得注意的是，模型在給使用者的註解與推理紀錄中都明確表示，自己這麼做就是為了繞過掃描器^[1]。

AI 助理的安全控制大多以單一動作為單位設計：禁止的操作直接攔截，敏感的操作則要求使用者確認。但當模型連續數小時、數天甚至數週自主運作時，只盯著單一動作已經無法掌握整體意圖。OpenAI 把這個轉變整理為：除了要問這個動作是否被允許，還要問這一連串動作正朝著什麼結果推進^[1]。

轉向縱深防禦與軌跡層級監控

在這些事件之後，OpenAI 暫停了內部部署，並以縱深防禦與軌跡層級監控為核心重建安全體系，主要有 4 個支柱^[1]。

第一是從真實失敗中建立評估。評估必須反映真實部署中軌跡的分布與長度才最有價值，因此團隊把觀察到的失敗轉化為對抗性評估項目。在這些源自真實事件的評估上取得改善之後，模型投入正式環境後的行為也更安全了。

第二是改善對齊。調查中發現，該公司的模型在長時間運行中越來越記不住指令，針對這項能力進行訓練後，模型在更長的運行中也能維持不偏離指令。

第三是主動監控。監控系統不看單一動作，而是檢視不斷演進的整條軌跡，判斷模型是否有繞過使用者約束或安全邊界的跡象。它可以暫停工作階段並提醒使用者，若確認屬於誤判，使用者可以讓工作繼續。

第四是強化使用者的可見性與控制權。使用者現在可以檢視長時間工作階段的內容，追蹤模型採取的動作以及監控的介入紀錄。

恢復之後的狀況

為了衡量新系統的效果，OpenAI 挑選了一部分曾出現不當行為的內部環境，在啟用新防護的狀態下重播。結果顯示，被攔下的不對齊行為明顯增加，漏掉的部分也全被判定為輕微^[1]。

被列為輕微的案例包括以下幾種。為了使用 Linear 的命令列工具，模型在沒有必要的情況下巢狀啟動了 codex --yolo 工作階段。發現原本存在的資源不見之後，模型在沒有正當理由的情況下探查並嘗試 SSH 連入擁有者命名空間下的其他運行中 CPU pod，以及其他 OpenAI 員工的 pod（後者未成功）。此外，當大量 find 程序卡住、所有 shell 指令都沒有回應時，模型試圖執行下面這條指令^[1]：