英伟达的研究部门公开了在机器人领域国际会议 ICRA（International Conference on Robotics and Automation）上入选论文的成果[1]。在入选的 28 篇论文中，有 8 篇聚焦于把在仿真环境中学到的成果迁移到现实机器人上的“仿真到现实（sim-to-real）”技术[1]。这些研究旨在让机器人走出实验室、在难以预测的现实环境中也能稳定工作，而英伟达表示，这一迁移技术正逐渐成为支撑这一转变的共同基础[1]。

摆脱“照剧本执行的自动化”

机器人领域正从只按既定步骤执行的自动化，转向能够根据情况自行判断并行动的阶段[1]。本次介绍的论文覆盖了机器人开发面临的全部挑战：从同时控制多条机械臂、适配不同形态的机体，到在杂乱场景中抓取物体、完成精密装配，再到“先思考后行动”的视觉-语言-动作模型[1]。

多臂协同、跨机体移动与物体抓取

第一个主题是高效控制多条机械臂。传统调度是逐一顺序处理，而把计算放到 GPU 上运行的 ScheduleStream 让多条机械臂能够并行规划动作[1]。在英伟达 Jetson 边缘 AI 平台等硬件上，多臂规划速度提升了 3 倍[1]。

在移动控制方面，在某个机体上学到的步态或路径规划，换到形态不同的机体上往往会失效[1]。COMPASS 先用模仿学习构建基础动作，再通过在英伟达 Isaac Lab 仿真环境中的强化学习，针对多样化机体进行调整[1]。全部训练都在仿真中完成，完全不使用真实机器人的数据[1]。与仅用模仿学习相比，成功率提升了 4.5 倍，在真实环境的移动测试中，20 次试验里约 8 成获得成功[1]。

在抓取动作中，最后几厘米的细微误差最为关键[1]。Grasp-MPC 不是照搬固定方案，而是在靠近目标的过程中持续修正动作[1]。研究者针对 8,000 种物体生成了 200 万条模拟轨迹进行训练，使其即便在物体杂乱摆放的货架和桌面上也能抓取陌生物体，在真实机器人上的成功率约为 75%（对照组为 41%）[1]。此外，Deformable Cluster Manipulation 展示了如何用整条机械臂而不仅是夹爪，来拨开像缠绕在输电线上的树枝那样没有固定形状的成束物体[1]。

挑战精密装配

把螺母拧到螺栓上、把插销插入孔中等精密装配，仅靠仿真很难复现[1]。SPARR 采用两段式方法：先在 Isaac Lab 中学习通用步骤，再在真实硬件上用摄像头修正仿真与现实之间的偏差[1]。与从零迁移到现实的方法相比，成功率提升了 38%，作业时间缩短约 30%[1]。在训练中未出现过的美国国家标准与技术研究院（NIST）装配任务上，成功率提升了近 75%[1]。

Refinery 则处理由多个步骤串联而成的装配[1]。就像组装家具时上一步的完成状态会决定下一步能否进行一样，它学会把每个步骤都收尾在能衔接下一步的状态[1]。它在仿真中的成功率达到 91%，现实中也取得了相当的结果，并且其策略可以串联起来处理较长的步骤序列[1]。

“言行一致”的动作模型

摄像头捕捉到的信息，大多是与任务无关的噪声[1]。PEEK 让视觉-语言-动作模型（VLA，根据图像和指令推导动作的 AI）读取任务指令，只突出需要关注的对象、淡化其余部分，从而把机器人的视线集中到该看的地方[1]。将其与仅在仿真中训练的策略结合后，现实中的精度提升了 41 倍；对于大型 VLA 和小型策略，提升幅度为 2 倍到 3.5 倍[1]。

另一项研究 SEAL，针对的是 AI 正确推理出该做什么、实际却执行了别的动作这一失败模式[1]。它会生成多个候选动作序列，设想每个序列会走向何处，再选出与其声明结果一致的那一个[1]。它无需重新训练即可嵌入到运行时，相比以往方法最高带来 15% 的精度提升[1]。

向高校与数据集扩展

除了论文，英伟达还在扩充面向机器人研究的大规模公开数据集[1]。NVIDIA Physical AI Dataset 的下载量已超过 1,500 万次，NVIDIA Isaac GR00T X Embodiment Sim 也是下载量名列前茅的数据集之一[1]。此外，卡内基梅隆大学（CMU）、苏黎世联邦理工学院（ETH Zurich）、麻省理工学院（MIT）、得克萨斯大学奥斯汀分校等研究团队，发表了约 50 篇运用英伟达技术的论文[1]。

现实环境中充满了仿真容易忽略的因素，比如表面的凹凸和传感器的误差[1]。本次研究具体给出了弥合这一差距的手段，可以说是让机器人走出实验室、实际投入工作的一步。

总结

英伟达研究院通过在 ICRA 上入选的论文，展示了把仿真训练成果迁移到现实机器人上的技术进展。让多臂协同提速 3 倍的 ScheduleStream、可跨机体使用的 COMPASS、能抓取陌生物体的 Grasp-MPC、用于精密装配的 SPARR 与 Refinery、以及整理视线与动作的 PEEK 与 SEAL，一系列支撑机器人走出实验室运行的具体成果接连亮相。再加上与高校的合作和不断扩大的公开数据集，从仿真到现实的桥梁正逐渐成为机器人开发的共同基础。

来源：https://blogs.nvidia.com/blog/icra-research-robotics-simulation-to-real-world/