NVIDIA 的研究部門公開了在機器人領域國際會議 ICRA（International Conference on Robotics and Automation）上入選論文的成果[1]。在入選的 28 篇論文中，有 8 篇聚焦於將在模擬環境中學到的成果，移轉到現實機器人上的「模擬到現實（sim-to-real）」技術[1]。這些研究旨在讓機器人走出實驗室，在難以預測的現實環境中也能穩定運作，而 NVIDIA 表示，這項移轉技術正逐漸成為支撐此一轉變的共同基礎[1]。

擺脫「照腳本執行的自動化」

機器人領域正從只按既定步驟執行的自動化，轉向能夠依情況自行判斷並行動的階段[1]。本次介紹的論文涵蓋了機器人開發所面臨的全部挑戰：從同時控制多支機械臂、適配不同形態的機體，到在雜亂場景中抓取物體、完成精密組裝，再到「先思考再行動」的視覺-語言-動作模型[1]。

多臂協同、跨機體移動與物體抓取

第一個主題是高效控制多支機械臂。傳統排程是逐一依序處理，而把運算放到 GPU 上執行的 ScheduleStream，讓多支機械臂能夠並行規劃動作[1]。在 NVIDIA Jetson 邊緣 AI 平台等硬體上，多臂規劃速度提升了 3 倍[1]。

在移動控制方面，於某個機體上學到的步態或路徑規劃，換到形態不同的機體上往往會失效[1]。COMPASS 先以模仿學習建立基礎動作，再透過在 NVIDIA Isaac Lab 模擬環境中的強化學習，針對多樣化機體進行調整[1]。所有訓練都在模擬中完成，完全不使用真實機器人的資料[1]。與僅用模仿學習相比，成功率提升了 4.5 倍，在真實環境的移動測試中，20 次試驗裡約 8 成獲得成功[1]。

在抓取動作中，最後幾公分的細微誤差最為關鍵[1]。Grasp-MPC 並非照搬固定方案，而是在靠近目標的過程中持續修正動作[1]。研究者針對 8,000 種物體產生了 200 萬條模擬軌跡進行訓練，使其即使在物體雜亂擺放的貨架與桌面上，也能抓取陌生物體，在真實機器人上的成功率約為 75%（對照組為 41%）[1]。此外，Deformable Cluster Manipulation 展示了如何運用整支機械臂而不僅是夾爪，來撥開像纏繞在輸電線上的樹枝那樣沒有固定形狀的成束物體[1]。

挑戰精密組裝

把螺帽鎖到螺栓上、把插銷插入孔中等精密組裝，僅靠模擬很難重現[1]。SPARR 採用兩段式方法：先在 Isaac Lab 中學習通用步驟，再在真實硬體上以攝影機修正模擬與現實之間的偏差[1]。與從零移轉到現實的方法相比，成功率提升了 38%，作業時間縮短約 30%[1]。在訓練中未曾出現的美國國家標準暨技術研究院（NIST）組裝任務上，成功率提升了近 75%[1]。

Refinery 則處理由多個步驟串接而成的組裝[1]。就像組裝家具時上一步的完成狀態會決定下一步能否進行一樣，它學會把每個步驟都收尾在能銜接下一步的狀態[1]。它在模擬中的成功率達到 91%，現實中也取得了相當的結果，而且其策略可以串接起來處理較長的步驟序列[1]。

「言行一致」的動作模型

攝影機捕捉到的資訊，大多是與任務無關的雜訊[1]。PEEK 讓視覺-語言-動作模型（VLA，根據影像與指令推導動作的 AI）讀取任務指令，只突顯需要關注的對象、淡化其餘部分，藉此把機器人的視線集中到該看的地方[1]。將其與僅在模擬中訓練的策略結合後，現實中的精度提升了 41 倍；對於大型 VLA 與小型策略，提升幅度為 2 倍到 3.5 倍[1]。

另一項研究 SEAL，針對的是 AI 正確推理出該做什麼、實際卻執行了別的動作這項失敗模式[1]。它會產生多個候選動作序列，設想每個序列會走向何處，再選出與其宣稱結果一致的那一個[1]。它無需重新訓練即可嵌入到執行階段，相較以往方法最高帶來 15% 的精度提升[1]。

向大學與資料集擴展

除了論文，NVIDIA 也在擴充面向機器人研究的大規模公開資料集[1]。NVIDIA Physical AI Dataset 的下載次數已超過 1,500 萬次，NVIDIA Isaac GR00T X Embodiment Sim 也是下載量名列前茅的資料集之一[1]。此外，卡內基美隆大學（CMU）、蘇黎世聯邦理工學院（ETH Zurich）、麻省理工學院（MIT）、德州大學奧斯汀分校等研究團隊，發表了約 50 篇運用 NVIDIA 技術的論文[1]。

現實環境中充滿了模擬容易忽略的因素，例如表面的凹凸與感測器的誤差[1]。本次研究具體提出了彌合此一落差的方法，可以說是讓機器人走出實驗室、實際投入運作的一步。

總結

NVIDIA 研究院透過在 ICRA 上入選的論文，展示了把模擬訓練成果移轉到現實機器人上的技術進展。讓多臂協同提速 3 倍的 ScheduleStream、可跨機體使用的 COMPASS、能抓取陌生物體的 Grasp-MPC、用於精密組裝的 SPARR 與 Refinery，以及整理視線與動作的 PEEK 與 SEAL，一系列支撐機器人走出實驗室運作的具體成果接連登場。再加上與大學的合作以及不斷擴大的公開資料集，從模擬到現實的橋樑正逐漸成為機器人開發的共同基礎。

來源：https://blogs.nvidia.com/blog/icra-research-robotics-simulation-to-real-world/