英伟达再次表明,机器人与自动驾驶汽车等物理AI系统的底座应当是开放的世界模型[1]。其核心是权重公开的Cosmos 3模型家族,而随着英伟达Cosmos联盟扩展到日本,开发者的实际用法也逐渐清晰起来。
为什么需要世界模型
物理AI需要的不是识别外观,而是预测后果[1]。世界模型学习物理环境如何运作、接下来可能发生什么、哪些动作是合理的,然后生成符合物理规律的世界数据与动作数据,或者模拟未来状态。
这一点之所以在现场重要,是因为训练数据难以采集[1]。物理AI所需规模的数据采集既费时又昂贵,罕见事件与长尾场景更难以安全且反复地重现。借助世界模型,可以在天气、光照、物体和运动轨迹上做出变化,构建多样的环境,从而获得一个可以按照自家机器人与传感器配置继续调整的起点。
而这个"按自家需求调整"的环节,正是开放性成为技术前提的地方[1]。通用模型从未见过某个团队的机器人、传感器或运行环境。要弥合这一差距,就需要获得权重、允许修改的许可证,以及用于后训练的工具。英伟达的Cosmos世界基础模型采用Linux基金会的OpenMDW 1.1许可证,各团队可以用自己的数据和硬件进行后训练。
7月,英伟达与200多家企业和机构共同签署了名为"Open Weights and American AI Leadership"的公开信[1]。信中主张,AI的领导地位并非由某一个前沿模型决定,而是取决于开放生态能否触及每一个行业。
Cosmos 3把视觉推理、世界生成与动作预测合为一体
Cosmos 3是基于mixture-of-transformers(组合多个专用模块的架构)构建的开放物理AI基础模型[1]。它将视觉推理、世界生成和动作预测整合进同一个模型家族,开发者无需为每种能力分别拼装和维护模型,就能完成场景理解、合成数据生成、未来状态模拟,以及世界动作模型的构建。
产品线分为3档[1]。640亿参数的Cosmos 3 Super面向高保真的世界建模,160亿参数的Cosmos 3 Nano面向高效推理与后训练,40亿参数的Cosmos 3 Edge则负责端侧的视觉推理与机器人策略部署。Edge足够轻量,可在边缘GPU上运行,并可部署到NVIDIA RTX GPU、NVIDIA DGX系统以及包含Jetson Thor在内的NVIDIA Jetson平台。
英伟达也公布了基准测试成绩[1]。在开放权重的文生图与图生视频生成上,Cosmos 3位列Artificial Analysis第一;在世界生成的PAI-Bench以及Physics-IQ的图生视频类别中同样位列第一;机器人动作策略方面在RoboLab排名第一。视觉理解的VANTAGE-Bench上,Cosmos 3 Super是排名最高的开放模型。
模型本身无法覆盖的部分则由周边库来补足[1]。属于NVIDIA Agent Toolkit的Omniverse库提供了搭建可仿真世界的预制能力,OpenUSD则提供在数字孪生、仿真和合成数据生成之间组合、复用与交换3D数据的开放框架,目的是减少每次更换素材、传感器配置或环境条件时重复劳动的浪费。除Cosmos之外,英伟达的物理AI技术栈还包括面向机器人的Isaac GR00T、面向自动驾驶的Alpamayo以及面向视觉AI的Metropolis。
采用企业与进入日本的Cosmos联盟
跨行业的采用案例已经出现[1]。机器人领域有Doosan Robotics、LG电子、三星电子和Skild AI;自动驾驶领域有理想汽车、小米和Afari;支撑工业AI与智慧空间的视觉AI智能体方面则有Centific、Fogsphere、Linker Vision、Milestone Systems和Yuan。
日本方面的情况集中体现在7月15日的发布中[2]。AIRoA、Classmethod、Enactic、发那科、富士通、GROOVE X、日立、本田技术研究所、川崎重工业、久保田、三井物产、三菱商事、Mujin、NEC、Preferred Networks、软银、索尼集团、Telexistence、TIER IV、TRON、Turing和安川电机均表示有意加入英伟达Cosmos联盟。成员可以使用该平台的开放模型、数据整理库、数据集和框架,在工厂、物流网络、农田、建筑工地、医院、道路和住宅等场景中于部署前完成验证与优化,从而缩短开发周期。
具体项目也已启动[2]。富士通正与发那科、安川电机和川崎重工业一同探索物理AI的业务机会,目标是构建整合英伟达物理AI技术栈的协同控制平台。NEC、日立、欧姆龙和Preferred Networks将Cosmos用于世界模型与工业AI的研发,软银则在开发以Cosmos、Omniverse和Isaac Sim为基础的物理AI开发平台。久保田正在探索自动化农业方面的应用,Telexistence则在探索零售自动化。
Cosmos 3 Edge是基于NVIDIA Nemotron构建的40亿参数模型,英伟达表示,借助开放的Cosmos框架,开发者大约1天即可将其适配到特定的机器人、车辆、传感器和环境[2]。
总结
开放世界模型正在成为物理AI开发中无法回避的一步,也就是把通用模型贴合到具体硬件上的现实解法。Cosmos 3在基准成绩与产品线宽度上都做了准备,并通过与Omniverse的组合把验证环境也一并提供。既然日本的制造与机器人企业已经成群加入,接下来值得关注的就是开发周期究竟能缩短多少。
[1] https://blogs.nvidia.com/blog/open-world-models-physical-ai/
