英伟达(NVIDIA)与 Hugging Face 于 7 月 7 日宣布,将面向人形机器人的基础模型「NVIDIA Isaac GR00T 1.7」以及用于采集机器人演示数据的框架「NVIDIA Isaac Teleop」集成至 Hugging Face 的开源机器人库「LeRobot」[1]。面向物理 AI 的世界模型「NVIDIA Cosmos 3」也计划于近期集成。此举旨在通过开放的工作流,将从数据采集到模型训练、评估、部署的整个机器人开发流程连接起来。
加入 LeRobot 的 3 项英伟达技术
LeRobot 是 Hugging Face 推出的开源库,用于训练、运行和共享机器人数据集、模型、控制策略和工作流。通过此次集成,以下英伟达技术可直接在 LeRobot 工作流中使用[1]。
首先,「Isaac GR00T 1.7」是面向人形机器人的开放推理型 VLA(Vision Language Action,即统一处理视觉、语言与行动的 AI 模型)。英伟达将其定位为首个开放且可商用的机器人基础模型,通过 LeRobot 工作流可以更轻松地进行后训练(post-training)和部署。开发者可以在参考性能基准的同时,将 GR00T 适配到新的机器人形态和任务上。
其次,「Isaac Teleop」是负责机器人数据采集的开源框架。开发者可以借助外部设备,以标准化、可互操作的格式高质量地记录人类演示数据,并在 LeRobot 内完成数据集的扩充与共享。
此外,面向物理 AI 的前沿世界模型「Cosmos 3」的集成也已提上日程。在真实数据难以获取或采集成本过高的场景下,它可以生成和增强机器人数据、模拟各种场景,为控制策略的开发提供支持[1]。
连接 300 万与 1,600 万开发者社区
通过英伟达与 Hugging Face 的持续合作,英伟达的 300 万机器人开发者将与 Hugging Face 的 1,600 万 AI 开发者连接起来[1]。Hugging Face 联合创始人兼首席科学官 Thomas Wolf 表示:「开源是让一个领域将前沿研究转化为人们可以学习、应用并在此基础上继续构建的东西的方式。随着 NVIDIA Isaac GR00T 1.7 和 Isaac Teleop 进入 LeRobot,机器人开发者可以利用共享的模型、数据和工作流,在开放环境中训练和评估机器人」[1]。
在开源 AI 领域,模型、数据和工具的共享极大加速了技术发展。而在机器人领域,英伟达指出,大规模数据集、机器人基础模型、仿真、算力和验证工具等资源仍然昂贵且分散,成为物理 AI 开发的障碍[1]。此次集成可以视为通过开放生态来降低这些门槛的举措。
与现有英伟达资源联动
在此次集成之前,英伟达的多项资源已经接入 LeRobot[1]。累计下载超过 1,500 万次的开源物理 AI 数据集包含超过 35 万条真实与仿真轨迹数据以及 5,700 万条抓取(grasp)数据,可用于快速启动开发。基于 Isaac Sim 和 Isaac Lab 的仿真框架,则让开发者在转向实体机器人之前完成环境搭建、数据生成和策略验证。
此外,通过 LeRobot Environment Hub 中的「Isaac Lab-Arena」,开发者可以快速搭建复杂的仿真环境,用于训练和评估 GR00T、Pi、SmolVLA 等通用机器人策略。边缘 AI 模块「Jetson Thor」与开源人形机器人「Reachy 2」的联动,也为 VLA 模型的实机部署提供了支持[1][2]。
总结
随着此次发布,Isaac GR00T 1.7 和 Isaac Teleop 已集成至 LeRobot,Cosmos 3 也将于近期加入。从数据采集、模型适配到仿真验证、实机部署,开发者将能够通过统一的开源工作流一站式完成,人形机器人开发的门槛有望大幅降低。语言模型领域由开源驱动的快速进化能否在机器人领域重现,值得关注。
出典:https://blogs.nvidia.com/blog/hugging-face-lerobot-models-frameworks-open-robotics/
出典:https://huggingface.co/blog/nvidia/nvidia-isaac-teleop-and-gr00t17-in-lerobot
