7月22日,NVIDIA 針對醫療機器人開發推出了開源的物理模擬框架 Medical Physics Simulation[1]。其最大特色是採用 GPU 加速,能在虛擬空間中重現人體組織與醫療器械之間的交互作用。在該公司的基準測試中,透過並行執行 8,192 個訓練環境,將機器人行為訓練所需的時間從5小時以上縮短到2分鐘以內[1]。
阻礙醫療機器人發展的資料短缺
醫療機器人要在真實場景中發揮作用,首先必須學會物理世界如何「反作用」於它。人體結構的個體差異很大,器械會彎曲、被按壓、打滑,並與組織產生複雜接觸,影像也可能帶有雜訊或有所缺漏。更棘手的是,開發者最需要理解的罕見極端狀況,並不會剛好在實驗安排的時間點出現[1]。
因此,蒐集訓練、測試與改進機器人行為所需的大量多樣化資料,一直是醫療機器人領域最大的瓶頸[1]。
作為 NVIDIA 醫療開發平台 Isaac for Healthcare 的新功能,Medical Physics Simulation 針對這項課題,能對人體組織與器械的交互作用進行建模,產生難以捕捉的情境,並在電腦上(in silico)進行驗證,讓機器人控制策略得以在進入仰賴硬體的高成本測試之前,先完成訓練與評估[1]。NVIDIA 表示,能夠準備可重複使用的模擬環境,而不必為每個工作流程從頭打造專用場景,正是縮短開發時間的關鍵[1]。
結合古典物理與生成式AI的虛擬訓練場
Medical Physics Simulation 執行於 NVIDIA CUDA 之上,並以該公司的模擬與生成式AI技術 NVIDIA Warp、Newton 及 Cosmos 為基礎[1]。由於能夠並行執行數百個模擬環境,開發團隊可以嘗試更多情境,並在開發早期就找出容易出錯的模式[1]。
作為體現這項規模的數據,NVIDIA 引用了一項基準測試:GPU 原生模擬同時執行 8,192 個機器人訓練環境,將訓練時間從5小時以上縮短至2分鐘以內[1]。不過,這是該公司自行公布的數據,結果會隨比較條件不同而改變。在實際開發場景中能重現到什麼程度,仍有待今後由第三方進行驗證。
在技術層面,該框架的突出之處在於結合了兩種做法。其一是重現接觸、摩擦、運動等已知物理法則的古典模擬;其二是內建於 Medical Physics Simulation 的即時生成式AI物理功能 NVIDIA Cosmos-H Dreams[1]。後者負責重現從手術流程資料中學習到的視覺場景動態[1]。舉例來說,開發者可以把血管結構、導管與導絲等柔性器械、模擬 X 光影像,以及強化學習(透過試誤學習最佳行為的方法)串接起來[1]。該框架的設計可延伸到其他器械、部位、感測器以及醫療機器人的更多領域[1]。
開源為何在醫療領域格外重要
NVIDIA 強調,開源在醫療領域格外重要,因為開發團隊需要對左右系統行為的資料、模型與權重(參數)具備透明度[1]。一旦能夠存取開放的模型與權重,開發者就更容易重現結果、在不同人體結構與情境下評估效能、找出限制,並為法規審查累積依據[1]。
由於是開源的,醫療機器人開發者可以檢視框架的內部實作,將其調整以符合自家的器械與工作流程,並在經過 GPU 加速的基礎之上,結合 NVIDIA 更廣泛的技術堆疊進行開發[1]。該框架作為 Isaac for Healthcare 的一部分釋出,開發者可以參考現成的參考工作流程,著手為自己的器械、部位與應用場景建立模擬環境[1][2]。
手術機器人大廠紛紛採用
已有多家領先的醫療機器人企業投入以模擬為驅動的開發[1]。
CMR Surgical 與 Capgemini 旗下的 Cambridge Consultants 正在使用 Cosmos-H-Dreams 學習軟組織手術中的交互作用物理,並產生針對個別病患的模擬[1]。CMR 將其手術機器人系統 Versius Surgical Robotic System 蒐集的約500小時匿名化臨床資料貢獻給開放資料集 Open-H Embodiment,涵蓋膽囊切除、攝護腺切除、疝氣修補與子宮切除等術式[1]。CMR Surgical 技術長 Chris Fryer 表示:「開源模型讓我們能夠在共享知識的基礎上持續累積,加速負責任的創新,並最終有可能為全球病患帶來更一致的照護與更好的療效。」[1]
Johnson & Johnson MedTech 正結合 Medical Physics Simulation 與以 Cosmos 為基礎的基礎模型,為其泌尿科用管腔內治療平台 MONARCH 建立數位孿生(在虛擬空間中重現真實器械),對複雜人體結構與腎結石情境進行建模[1]。XCath 將其用於血管內治療自主控制策略的訓練,Inner Logic 則以合成資料加速技術開發、驗證器械機械特性,並為法規途徑建立 in silico 依據[1]。Medtronic 的結構性心臟病部門正在探索將其與模擬 X 光感測結合,為導管操作研究產生資料[1]。
總結
NVIDIA 此次推出的 Medical Physics Simulation,試圖以經過 GPU 加速的虛擬模擬,彌補長期制約醫療機器人開發的資料短缺問題。它以結合古典物理與生成式AI、並以開源方式確保透明度為特色,手術機器人大廠的採用也已經展開。所展示的效能奠基於該公司自身的基準測試,但把開發的早期階段轉移到虛擬環境中,或將加快醫療器械的落地。
來源:https://blogs.nvidia.com/blog/medical-physics-simulation-open-source/
