英伟达发布了面向机器人、自动驾驶汽车等物理AI的全新世界基础模型「Cosmos 3」[1]。该模型在 COMPUTEX 期间举办的 NVIDIA GTC Taipei 上公开，能够在单一模型中处理文本、视频、图像、环境声音与动作，并生成基于真实世界物理情境的训练数据[1]。

「Cosmos 3」是什么 — 连动作数据都能生成的世界基础模型

现实世界始终在运动。机器人、自动驾驶汽车(AV)以及智能空间等物理AI要实现自主运行，不仅要理解眼前发生了什么及其原因，还要理解「接下来可能发生什么」[1]。在仓库里，机器人可能遇到从未见过的物体摆放方式；在道路上，自动驾驶汽车可能要应对从停放车辆之间突然走出的行人；在工厂里，安全系统必须预测叉车将驶向何处，而不仅仅是检测到它的存在[1]。在现实中采集并重现这些场景既耗时又昂贵，有时甚至难以大规模重复[1]。

Cosmos 3 正是为应对这一难题而打造的世界基础模型[1]。它是一款基于多样化数据训练的通用基础模型，能够广泛理解场景、运动与机器人动作之间的关系[1]。它还是一款原生具备动作生成能力的全模态模型(omnimodel)，可以直接输出关节角度、夹爪(抓取部件)位置、轨迹坐标等数值化的动作数据[1]。机器人要学习，仅有场景的图像或视频还不够；例如在抓取并放置的任务中，需要引导如何伸手、抓握、移动和放置物体的动作信号[1]。开发者可以对 Cosmos 3 进行微调，使机器人针对特定的本体结构、摄像头布局、工作空间或任务实现专门化[1]。

推理模块与生成模块的两段式设计

Cosmos 3 采用了将多个 Transformer 组合在一起的「mixture-of-transformers」架构[1]。首先由推理模块解读场景中正在发生的事情，再由生成模块接收这一情境，生成物理上合理的输出[1]。输出范围涵盖从合成视频到机器人任务数据[1]。

也就是说，Cosmos 3 以单一模型支撑感知(perception)、预测(prediction)与动作(action)[1]。它能够推理场景中哪些物体在移动、路径可能在何处交汇、接下来可能进入何种状态，并据此生成详尽的说明文字、预测的场景变化或情景变体[1]。

在机器人、自动驾驶与智慧城市中的应用

英伟达的 GEAR 团队正在利用 Cosmos 3 开发视频动作模型[1]。这项工作让具身智能体能够在游戏、仿真和真实世界的机器人环境中学习如何推理、移动与行动[1]。

研发人形机器人等产品的 Agile Robots，致力于通过 Thor 3、FR3 等本体自主、精确且高效地完成工业任务[1]。该公司利用 Cosmos 3 生成带动作条件的机器人数据，大规模制作多样化的任务轨迹，用于其策略(控制方针)开发[1]。据英伟达介绍，经过后训练的 Cosmos 3 Nano 策略，在以仿真评估语言指令任务的「RoboLab」，以及在真实环境中用 DROID 机器人比较策略的「RoboArena」上均位居首位[1]。

开发智慧城市与工业解决方案的 Linker Vision 则运用了 Cosmos 的视觉语言推理能力[1]。它实时解析多达数千路的摄像头画面，理解空间情境，提炼有价值的洞见，并完成根因分析[1]。英伟达表示，Cosmos 3 在测试智能基础设施场景理解的「VANTAGE-Bench」，以及测试交通异常推理的「TAR challenge」上，都是排名第一的开源视觉语言模型[1]。

碰撞以及极少出现的长尾边缘情况，对于让人形机器人、机械臂乃至手术机器人为现实做好准备至关重要，但要安全、可重复且大规模地采集却很困难[1]。作为视频基础模型，Cosmos 3 能够生成物理上合理的视频序列，教会模型理解现实世界如何随时间变化[1]。

基准测试与获取方式 — 以开源模型形式公开

据英伟达介绍，Cosmos 3 的各个变体在 Artificial Analysis 的开放权重排行榜上位居首位，并在「Physics-IQ」「R-Bench」「PAI-Bench」等多项世界生成基准测试中名列前茅[1]。

开发者可以在 build.nvidia.com 上试用 Cosmos 3，并从 Hugging Face 下载开源模型[1]。还可以借助 GitHub 上的资源对模型进行定制或生成合成数据，并通过 NVIDIA NIM 微服务进行部署[1]。该模型采用 Linux Foundation 的「OpenMDW 1.1」许可证，开发者可在以模型为中心的单一许可证下，对包括权重、架构、文档、数据集、基准测试与代码在内的素材进行训练、修改、再分发与部署[1]。此次发布配合了英伟达创始人兼首席执行官黄仁勋的 GTC Taipei 主题演讲[1]。

总结

Cosmos 3 是一款将感知、预测与动作融为一体、甚至能够生成动作数据的物理AI世界基础模型[1]。针对机器人、自动驾驶与智慧城市等「作用于现实世界的AI」普遍面临的训练数据短缺难题，它试图用合成数据与未来状态预测来作答，这一点颇具新意。以开源模型形式公开，并提供了可立即试用的路径，使其成为拓宽物理AI开发广度的一个值得关注的动向。

来源：https://blogs.nvidia.com/blog/cosmos-3-physical-ai-open-world-foundation-model/