NVIDIA 發表了針對機器人、自動駕駛汽車等物理AI 的全新世界基礎模型「Cosmos 3」[1]。此模型於 COMPUTEX 期間舉辦的 NVIDIA GTC Taipei 上公開，能在單一模型中處理文字、影片、圖像、環境音與動作，並產生以真實世界物理情境為基礎的訓練資料[1]。

「Cosmos 3」是什麼 — 連動作資料都能產生的世界基礎模型

現實世界始終在運動。機器人、自動駕駛汽車(AV)以及智慧空間等物理AI 要實現自主運作，不僅要理解眼前發生了什麼及其原因，還要理解「接下來可能發生什麼」[1]。在倉庫裡，機器人可能遇到從未見過的物體擺放方式；在道路上，自動駕駛汽車可能要應對從停放車輛之間突然走出的行人；在工廠裡，安全系統必須預測堆高機將駛向何處，而不只是偵測到它的存在[1]。在現實中蒐集並重現這些情境既耗時又昂貴，有時甚至難以大規模重複[1]。

Cosmos 3 正是為了因應這項難題而打造的世界基礎模型[1]。它是一款以多樣化資料訓練的通用基礎模型，能廣泛理解場景、運動與機器人動作之間的關係[1]。它同時是一款原生具備動作生成能力的全模態模型(omnimodel)，可直接輸出關節角度、夾爪(抓取部件)位置、軌跡座標等數值化的動作資料[1]。機器人要學習，光有場景的圖像或影片還不夠；例如在抓取並放置的任務中，需要引導如何伸手、抓握、移動與放置物體的動作訊號[1]。開發者可以對 Cosmos 3 進行微調，讓機器人針對特定的本體結構、攝影機配置、工作空間或任務進行專門化[1]。

推理模組與生成模組的兩段式設計

Cosmos 3 採用了將多個 Transformer 組合在一起的「mixture-of-transformers」架構[1]。首先由推理模組解讀場景中正在發生的事情，再由生成模組接收這項情境，產生物理上合理的輸出[1]。輸出範圍涵蓋從合成影片到機器人任務資料[1]。

也就是說，Cosmos 3 以單一模型支撐感知(perception)、預測(prediction)與動作(action)[1]。它能推理場景中哪些物體正在移動、路徑可能在何處交會、接下來可能進入何種狀態，並據此產生詳盡的說明文字、預測的場景變化或情境變體[1]。

在機器人、自動駕駛與智慧城市中的應用

NVIDIA 的 GEAR 團隊正運用 Cosmos 3 開發影片動作模型[1]。這項工作讓具身智慧體能在遊戲、模擬與真實世界的機器人環境中，學習如何推理、移動與行動[1]。

研發人形機器人等產品的 Agile Robots，致力於透過 Thor 3、FR3 等本體自主、精確且高效地完成工業任務[1]。該公司運用 Cosmos 3 產生帶動作條件的機器人資料，大規模製作多樣化的任務軌跡，用於其策略(控制方針)開發[1]。據 NVIDIA 表示，經過後訓練的 Cosmos 3 Nano 策略，在以模擬評估語言指令任務的「RoboLab」，以及在真實環境中以 DROID 機器人比較策略的「RoboArena」上皆位居首位[1]。

開發智慧城市與工業解決方案的 Linker Vision 則運用了 Cosmos 的視覺語言推理能力[1]。它即時解析多達數千路的攝影機畫面，理解空間情境，萃取有價值的洞見，並完成根本原因分析[1]。NVIDIA 表示，Cosmos 3 在測試智慧基礎設施場景理解的「VANTAGE-Bench」，以及測試交通異常推理的「TAR challenge」上，都是排名第一的開源視覺語言模型[1]。

碰撞以及極少出現的長尾邊緣情況，對於讓人形機器人、機械手臂乃至手術機器人為現實做好準備至關重要，但要安全、可重複且大規模地蒐集卻很困難[1]。作為影片基礎模型，Cosmos 3 能產生物理上合理的影片序列，教會模型理解真實世界如何隨時間變化[1]。

基準測試與取得方式 — 以開源模型形式公開

據 NVIDIA 表示，Cosmos 3 的各個變體在 Artificial Analysis 的開放權重排行榜上位居首位，並在「Physics-IQ」「R-Bench」「PAI-Bench」等多項世界生成基準測試中名列前茅[1]。

開發者可以在 build.nvidia.com 上試用 Cosmos 3，並從 Hugging Face 下載開源模型[1]。也能借助 GitHub 上的資源對模型進行客製化或產生合成資料，並透過 NVIDIA NIM 微服務進行部署[1]。此模型採用 Linux Foundation 的「OpenMDW 1.1」授權，開發者可在以模型為中心的單一授權下，對包括權重、架構、文件、資料集、基準測試與程式碼在內的素材進行訓練、修改、再散布與部署[1]。此次發表搭配了 NVIDIA 創辦人暨執行長黃仁勳的 GTC Taipei 主題演講[1]。

總結

Cosmos 3 是一款將感知、預測與動作融為一體、甚至能產生動作資料的物理AI 世界基礎模型[1]。針對機器人、自動駕駛與智慧城市等「作用於現實世界的AI」普遍面臨的訓練資料短缺難題，它試圖以合成資料與未來狀態預測來作答，這一點頗具新意。以開源模型形式公開，並提供可立即試用的路徑，使其成為拓展物理AI 開發廣度的一個值得關注的動向。

來源：https://blogs.nvidia.com/blog/cosmos-3-physical-ai-open-world-foundation-model/