OpenAI 為旗下 AI 代理「Codex」的 macOS 版應用程式新增了一項名為「Record & Replay(錄製與重播)」的功能。此功能以 26.616 版本推出,使用者只要在螢幕上實際示範一次操作,Codex 就會把整個流程記成一個可重複使用的「技能」,下次便能自行完成相同的工作。與過往最大的差異在於,無需用文字逐條說明,就能把工作流程自動化。
示範一遍,它就記住了步驟
過去要把日常重複性工作交給 AI,必須依序、逐步地用語言說明該做什麼。Record & Replay 把這個前提整個顛倒過來。當使用者在 Codex 面前把目標操作完整做一遍時,它會觀察螢幕內容與操作流程,並以可重現的形式記錄下來。
錄製結束後,Codex 的語言模型會解讀這一連串操作,自動產生一份名為 SKILL.md、人能讀懂的步驟說明文件。它本身就成為可重複使用的技能,之後無需重新錄製即可呼叫。重播時,Codex 除了自身能力外,還能結合直接操作螢幕的「Computer Use」、瀏覽器操作以及外掛程式,把同一項工作執行到底。
填補「會做卻說不清楚」的空白
這項功能的核心在於,技能是由 AI 而非使用者撰寫的。要把一項工作的意圖與步驟用語言傳達給 AI,對不熟練的人而言其實出乎意料地難。Record & Replay 把這道「語言化」的工序整個省去。
換句話說,即使是「身體記住了做法,卻很難用語言精準描述」的人,只要實際示範一遍就能達成自動化。OpenAI 舉的例子是:連同中繼資料、縮圖與字幕一起把影片上傳到 YouTube 的整套流程。此外,報帳申請、預約停車位、建立設定妥當的議題(Issue)、發布影片、定期下載報表等每次步驟都固定的工作,也都相當適合。
支援的方案與使用條件
Codex 應用程式本身可免費下載,但要真正用得上需要付費的 ChatGPT 方案。Record & Replay 面向 ChatGPT 的 Plus、Pro、Business、Enterprise 與 Edu 各方案提供。
使用前必須先開啟直接操作螢幕的「Computer Use」。另一方面,提供地區有所限制,目前在歐盟(EU)、英國與瑞士尚無法使用。不過作為前提的 Computer Use 本身,已於 6 月 16 日在歐盟開放。
同一次更新中加入的其他改進
這次 26.616 版本中,除了 Record & Replay 還加入了數項改進。一是支援對自動化紀錄進行批次操作;二是可在本機裝置與遠端主機之間交接進行中的執行緒,藉此在連接的另一台機器上繼續工作。Codex 最初是輔助程式設計的 AI 代理,但透過這類持續更新,它正逐步把角色擴展為自動化各種文書工作的工具。
總結
Record & Replay 把向 AI「說明」工作的繁瑣,換成更直覺的「做給它看」。Codex 從一次示範中草擬出步驟說明,並將其變成可重複使用的技能,從而降低了把日常工作自動化的門檻。雖然有開啟 Computer Use 以及提供地區受限等條件,但對於想把程式設計以外的日常重複性工作交出去的人而言,這看起來是值得一試的一步。
