由史丹佛大學李飛飛等人創立的 World Labs，於 9 月 1 日發表了次世代世界模型「Atlas」。這是一款能在單一模型內直接處理文字、影像、影片與 3D 資料的「全能模型（omni model）」，可以從一張照片生成指定攝影機位置的畫面，也能用幾張照片把真實空間重建成 3D。生成的影片最長 1 分鐘，解析度為 1440p。目前 Atlas 僅開放給部分合作夥伴搶先體驗，價格與模型規模尚未公布。
什麼是「世界模型」
要理解 Atlas，得先弄懂「世界模型」這個詞。大型語言模型（LLM）預測的是文字，世界模型面對的則是空間本身。它學習眼前的景象長什麼樣子、隨時間如何變化、視角移動後應該看到什麼，以此作為描繪想像世界、忠實重現真實場所、協助機器人規劃行動的基礎。
World Labs 將這個領域稱為「空間智慧（Spatial Intelligence）」，長期致力於打造通用的世界模型。該公司去年 10 月發表的「RTFM」是從前一個畫面直接生成下一個畫面的模型，但那種設計並沒有明確的 3D 幾何資訊。Atlas 在這一點上大幅改變，能夠原生處理 2D 影像畫面與 3D 深度圖兩種資料。
一個模型包辦 4 種工作
Atlas 的特色在於，不是替每種用途準備不同的模型，而是由一個模型承擔廣泛的任務。公司列出的主要功能有以下 4 項。
攝影機控制生成：從一張以上的參考影像，生成指定攝影機位置與角度的影像或影片。它不是用文字描述攝影機運動，而是直接把攝影機的幾何資訊當作輸入，因此可以逐格細膩地決定構圖與運鏡。輸入影像中沒拍到的部分，例如機器人的背面、泳池旁的草坪，模型會憑藉本身的世界知識補上。
空間重建：從 1 張到數十張照片組建真實空間。據公司說明，只要 2 到 3 張照片就能忠實重現，成果超越了現有專門用於 3D 重建的最先進模型。照片少的時候模型會用想像填補空缺，照片越多，想像的比例就越低、準確度越高。公司展示了用 2 到 25 張地面照片重建史丹佛大學主廣場（Main Quad），並進一步生成俯瞰攝影機路徑影片的範例。
時空模擬：從影片同時處理空間與時間。用 3 到 5 支一般智慧型手機固定在腳架上拍攝的素材，可以重新生成「子彈時間」風格的畫面，也就是凍結時間並環繞視角。針對機器人領域，設想的「Real-to-Sim」用法是先把真實空間重建為 3D，再生成虛擬機器人在其中移動時，其攝影機應該看到的 RGB 影像與深度資料。
影像生成屬於輔助功能，但它能遵循複雜指令、繪製文字、支援多種畫風，還能從文字或影像生成 360 度環景圖。
輸出為點雲與 3D 高斯潑濺
在遊戲、視覺特效與機器人開發現場，除了影像與影片，還需要明確的 3D 資料。Atlas 在生成新視角影像的同時估算深度，因此可以從一張照片輸出完整的 3D 世界。對於拍攝真實空間的影片，它會預測每一格的深度並拼接起來完成 3D 重建。
輸出格式有點雲與 3D 高斯潑濺（3D Gaussian Splat）兩種。點雲只是對形狀的估計，轉換成高斯潑濺之後，就成為能在裝置上以高解析度、高幀率算繪的完整場景。這與公司現有產品「Marble」使用的表示方式相同，Atlas 今後將成為 Marble 以及公司其他產品的基礎。
兼取 LLM 與影片模型之長的設計
技術層面上，Atlas 被描述為「多模態自迴歸擴散 Transformer」。名字有點長，拆開來看就能看出設計思路。
多模態指的是能直接處理文字、影像、攝影機姿態與 3D 深度圖。影片被當成影像序列處理，每張影像與深度圖都綁定了明確的攝影機姿態。就像 LLM 以 token 序列作為上下文一樣，Atlas 擁有把每張影像固定在 3D 空間位置上的「空間上下文」，並據此生成下一個元素。把兩張毫不相關的影像放進 3D 空間，讓模型想像並補上連接兩者的走廊與房間，這種用法正是這套機制才做得到的。
自迴歸是指在輸入之後逐一生成輸出元素的方式，不同類型的任務都能統一視為「輸入之後接著輸出的序列」。擴散是透過逐步去除雜訊來生成輸出的方式（Atlas 是整流流模型），適合影像與影片這類高維度連續資料，並可透過推論步數在速度與品質之間取捨。Transformer 則是以矩陣運算為核心、與現代硬體高度契合的骨幹架構。
這種架構的好處在於，既能直接引進 LLM 這一側的加速技術（KV 快取、快取感知路由、分離式服務等），也能引進影像與影片模型那一側的技術（擴散蒸餾、無分類器引導、雜訊排程調整、VAE 改良等）。
評測與規模擴展的展望
公司展示了攝影機控制生成與 3D 重建兩項任務的比較結果。在攝影機控制方面，向各模型提供一張影像以及平移、推軌、升降等運鏡組合，由第三方評審判斷哪個模型更符合指令。由於 Atlas 可以直接輸入攝影機資訊，而比較對象的影片模型只能以文字接收運鏡描述，條件並不完全相同，但公司表示攝影機路徑越複雜，Atlas 的優勢就越明顯。在 3D 重建方面，據稱同樣超越了開源的專用模型。
需要注意的是，這些數據全部由 World Labs 自行測定，這次並未公開論文、模型卡或程式碼。公司表示，每次增加訓練運算量時都會出現新的能力，並預期效能今後會隨規模持續提升。
總結
World Labs 發表的 Atlas，是以單一模型處理文字、影像、影片與 3D 的世界模型，可完成指定攝影機位置的最長 1 分鐘 1440p 影片生成、從幾張照片進行 3D 重建、影片視角變換，以及面向機器人的模擬。由於能輸出 3D 高斯潑濺，它與現有產品 Marble 直接銜接。目前僅開放給選定的合作夥伴搶先體驗，正式提供時間、費用與模型規模皆未公布。能夠「理解並生成」空間的 AI 距離實用還有多遠，值得持續關注。
