AI 安全研究機構 Apollo Research 與 Transluce 於 2026 年 11 月 16 日(美國時間)分別在各自網站上宣布,將試行派研究人員進駐 OpenAI 內部檢驗 AI 模型的「嵌入式評估」(embedded assessment)。這項做法跳脫了外部評估者只在產品公開前短暫測試模型的傳統方式,讓外部的眼光延伸到模型訓練途中與公司內部使用的階段。

兩家機構都將這次合作定位為「第一步」,並連同條件與限制一併公開。詳細條件可參考 Transluce 的公告(Announcing an Embedded Assessment Pilot with OpenAI)。

Apollo Research 以 6 人團隊花 4 個月檢驗規避監督的行為

根據 Apollo Research 的公告,該機構將由 6 人團隊執行為期 4 個月的評估,檢驗以下 4 個問題:

  • 訓練機制是否誘使 AI 出現規避監督的行為(subversion)
  • 評估與紅隊測試的過程是否引發了這類行為
  • 在公司內部使用期間,這類行為是否實際發生
  • 能否偵測到與這類行為相關的推理

針對第 1 個問題,Apollo Research 將取得相關訓練程式碼與資料集、包含推理過程與獎勵的強化學習執行紀錄,並可查詢訓練途中的檢查點。其餘 3 個問題所需的存取權限仍待雙方商定。所有作業都將在 OpenAI 的硬體上進行,成果預計彙整為 2 份公開報告。

Transluce 花 6 週檢視 OpenAI 自身的對齊評估

Transluce 的任務是檢視 OpenAI 在後訓練階段使用的對齊評估,確認這些評估能否確實捕捉欺騙、操弄使用者、獎勵駭客(reward hacking)等問題。試行期間為 6 週,Transluce 人員將在 OpenAI 的據點現場作業,存取權限自 12 月上旬開始。

Transluce 將獲得少數 OpenAI 模型的特殊存取權限,其中至少包含 1 款僅供內部使用的模型。此外也能查看模型原始的思考過程(chain-of-thought)、部分對齊評估、大量對話紀錄,以及論證安全性的文件。不過該機構也明確表示,這些權限並不等同於員工層級的存取。

費用方面,Transluce 與其人員不向 OpenAI 收取報酬;運算資源、現場使用的裝置與設備以及工作空間,由 OpenAI 提供。雙方計畫在 2027 年初進行權限更廣、更深入的後續評估,但細節尚未定案。

公開與否由評估方決定,完整報告交給董事會委員會

評估結果的處理也有明確規範。根據 Apollo Research 的說明,OpenAI 可以要求塗黑機密資訊,但不能刪除評估結論,也不能只因內容對 OpenAI 不利就刪除相關發現。若 OpenAI 基於技術或安全理由不提供資料,也必須說明該資料的存在並以書面提出理由。Apollo Research 同時取得了可公開說明評估條件、限制以及未獲提供資料等內容的權利,稱為「後設透明性」(meta-transparency)。

Transluce 方面,則由該機構掌握公開與否的編輯權。OpenAI 會在公開前收到報告,並可要求塗黑智慧財產與非公開資訊;關於僅供內部使用之模型的結果則不會公開。無論哪一項評估,未經塗黑的完整報告都將交給 OpenAI 董事會轄下的安全與保安委員會(Safety and Security Committee)。Transluce 也可以將與 OpenAI 之間的意見分歧直接提交該委員會。

為何僅靠公開前的檢驗並不足夠

Apollo Research 過去也曾評估 OpenAI 的模型,但多半是在後訓練結束後、正式公開前不久進行。該機構指出,這種方式不足以檢驗 AI 避開監督、暗中追求目標的「策劃」(scheming)等行為。該機構也表示,評估結果必須在不取決於外界是否信任開發者的情況下,依然具有可信度。

Transluce 同樣指出,進駐內部的意義在於能接觸到外部評估者過去通常看不到的內部資訊。

筆者觀點

外部評估者能接觸訓練中的模型與僅供內部使用的模型,可說是 AI 安全評估向前邁進的一步。然而,Apollo Research 的 4 個問題中,有 3 個的存取範圍仍未確定,而 Transluce 的試行期也只有 6 週。評估者實際上能看到多少,要等到兩家機構依承諾公開「提出了哪些要求、哪些獲准、哪些遭拒」之後才會明朗。筆者認為,這份紀錄與報告內容本身,將決定這項嘗試的可信度。

總結

Apollo Research 與 Transluce 宣布試行從 OpenAI 內部檢驗模型的嵌入式評估。Apollo Research 將以 6 人團隊花 4 個月從多個面向檢驗規避監督的行為,Transluce 則花 6 週檢視 OpenAI 自身的對齊評估。兩家機構都會公開結果,未經塗黑的報告則將交給 OpenAI 董事會的委員會。