由斯坦福大学李飞飞等人创立的 World Labs 于 9 月 1 日发布了下一代世界模型「Atlas」。这是一个能在单一模型内直接处理文字、图像、视频和 3D 数据的「全能模型（omni model）」，可以根据一张照片生成指定相机位置的画面，也能用几张照片把真实空间重建为 3D。生成的视频最长 1 分钟，分辨率为 1440p。目前 Atlas 仅面向部分合作伙伴开放早期访问，价格和模型规模尚未公布。
什么是「世界模型」
要理解 Atlas，首先需要弄清「世界模型」这个词。大语言模型（LLM）预测的是文本，而世界模型面向的是空间本身。它学习眼前的景象是什么样子、随时间如何变化、视角移动后应该看到什么，以此作为描绘想象世界、忠实还原真实场所、帮助机器人规划行动的基础。
World Labs 将这一领域称为「空间智能（Spatial Intelligence）」，一直致力于构建通用的世界模型。该公司去年 10 月发布的「RTFM」是根据前一帧直接生成下一帧的模型，但那种设计并不包含明确的 3D 几何信息。Atlas 在这一点上做出了重大改变，能够原生处理 2D 图像帧和 3D 深度图两种数据。
一个模型承担 4 类工作
Atlas 的特点在于，并非为每种用途准备不同的模型，而是由一个模型承担广泛的任务。公司列出的主要功能有以下 4 项。
相机控制生成：根据一张或多张参考图像，生成指定相机位置和角度的图像或视频。它不是用文字描述相机运动，而是直接接收相机几何信息作为输入，因此可以逐帧精细地决定构图和运动。对于输入图像中没有拍到的部分，比如机器人的背面、泳池旁的草坪，模型会凭借自身的世界知识补全描绘。
空间重建：根据 1 张到数十张照片搭建真实空间。据公司介绍，只需 2 到 3 张照片就能实现忠实还原，效果超过了现有专门用于 3D 重建的最先进模型。照片较少时模型会用想象填补空白，照片越多，想象的比例越低、准确度越高。公司展示了用 2 到 25 张地面照片重建斯坦福大学主广场（Main Quad），并进一步生成俯瞰相机路径视频的示例。
时空模拟：从视频中同时处理空间和时间。用 3 到 5 部普通智能手机固定在三脚架上拍摄的素材，可以重新生成「子弹时间」风格的画面，即定格时间并环绕视角。面向机器人领域，设想的「Real-to-Sim」用法是先把真实空间还原为 3D，再生成虚拟机器人在其中移动时其相机应当看到的 RGB 图像和深度数据。
图像生成属于辅助功能，但它能遵循复杂指令、渲染文字、支持多种画风，还可以根据文字或图像生成 360 度全景图。
输出为点云和 3D 高斯泼溅
在游戏、视觉特效和机器人开发现场，除了图像和视频，还需要明确的 3D 数据。Atlas 在生成新视角图像的同时估算深度，因此可以由一张照片输出完整的 3D 世界。对于拍摄真实空间的视频，它会预测每一帧的深度并拼接起来完成 3D 重建。
输出格式有点云和 3D 高斯泼溅（3D Gaussian Splat）两种。点云只是对形状的估计，而转换为高斯泼溅后，就成为可以在终端上以高分辨率、高帧率渲染的完整场景。这与公司现有产品「Marble」使用的表示方式相同，Atlas 今后将成为 Marble 以及公司其他产品的基础。
兼取 LLM 与视频模型之长的设计
在技术层面，Atlas 被描述为「多模态自回归扩散 Transformer」。名字有点长，拆开来看就能看出设计思路。
多模态指的是能直接处理文字、图像、相机位姿和 3D 深度图。视频被当作图像序列处理，每张图像和深度图都绑定了明确的相机位姿。就像 LLM 以 token 序列作为上下文一样，Atlas 拥有把每张图像固定在 3D 空间位置上的「空间上下文」，并据此生成下一个元素。把两张毫不相关的图像放进 3D 空间，让模型想象并补全连接二者的走廊和房间，这种用法正是这一机制所独有的。
自回归是指在输入之后逐个元素依次生成输出的方式，不同类型的任务都可以统一视为「输入之后接着输出的序列」。扩散是通过逐步去噪来生成输出的方式（Atlas 是整流流模型），适合图像和视频这类高维连续数据，并且可以通过推理步数在速度和质量之间取舍。Transformer 则是以矩阵运算为核心、与现代硬件契合度高的骨干结构。
这种结构的好处在于，既能直接引入 LLM 一侧的加速技术（KV 缓存、缓存感知路由、分离式服务等），也能引入图像和视频模型一侧的技术（扩散蒸馏、无分类器引导、噪声调度调整、VAE 改进等）。
评测与规模扩展前景
公司展示了相机控制生成和 3D 重建两项任务的对比结果。在相机控制方面，向各模型提供一张图像以及平移、推轨、升降等相机动作组合，由第三方评审判断哪个模型更符合指令。由于 Atlas 可以直接输入相机信息，而对比的视频模型只能用文字接收动作描述，条件并不完全相同，但公司表示相机路径越复杂，Atlas 的优势越明显。在 3D 重建方面，据称也超过了开源的专用模型。
需要注意的是，这些数据全部由 World Labs 自行测定，本次并未公开论文、模型卡或代码。公司表示，每当增加训练计算量时都会出现新的能力，并预计性能今后会随规模持续提升。
总结
World Labs 发布的 Atlas 是一个用单一模型处理文字、图像、视频和 3D 的世界模型，可完成指定相机位置的最长 1 分钟 1440p 视频生成、由几张照片进行 3D 重建、视频视角变换，以及面向机器人的模拟。由于可以输出 3D 高斯泼溅，它与现有产品 Marble 直接衔接。目前仅向选定的合作伙伴开放早期访问，正式提供时间、费用和模型规模均未公布。能够「理解并生成」空间的 AI 距离实用还有多远，值得持续关注。
