NVIDIA 發表了開發框架 NVIDIA XR AI，用於在 AR 眼鏡與 XR（涵蓋 VR、AR、MR 的統稱）裝置上運行 AI 代理（能自主判斷情況並協助工作的 AI）[1]。它會擷取影片、音訊、深度等現實世界的資訊，與企業內部資料及各類工具相連，在現場協助配戴者完成工作。目前在製造、科研、醫療、設計等領域已開始落地[1]。
NVIDIA XR AI 是什麼
AI 正逐漸超越聊天機器人與副駕駛（協助工作的 AI）階段，朝著在實體空間中與人協同工作的方向邁進。在工廠、實驗室與醫院裡，能理解周遭環境、取得知識並即時行動的 AI 代理正陸續登場[1]。
不過，要把這類代理打造成在現場真正派得上用場的形態並不容易。它們不僅要生成回應，還要從影片、音訊與感測器資料中感知周遭，讀取瞬息萬變的狀況與空間脈絡，從企業系統中檢索所需資訊，思考下一步該採取的行動，並運用軟體工具完成任務。而且這一切都必須在低延遲下進行，同時不能干擾配戴者[1]。
NVIDIA XR AI 正是承接這項難題的開發者函式庫。它將來自 AR 眼鏡與 XR 裝置的輸入，與 AI 模型、企業資料、工具以及高速運算平台連結起來，為能在真實工作流程中感知、推理與行動的代理提供基礎[1]。NVIDIA 也為開發者提供了教學與範例等資料[2]。
把現場資訊接入 AI 的四大支柱
NVIDIA XR AI 大致把四項功能整合在一起[1]。第一項是輸入部分，負責擷取來自 AR 眼鏡與 XR 裝置的影片、音訊、深度、姿態（pose）、感測器等現實世界訊號。
第二項是把代理連接到專業工具與服務的部分。在影片理解方面，可使用 NVIDIA Metropolis，以及負責影片檢索與摘要的 NVIDIA Metropolis for VSS；在企業知識檢索方面，可使用針對 RAG（檢索增強生成，先取出相關資訊再用於回答）的 NVIDIA NeMo Retriever[1]。
第三項是對廣泛 AI 模型的支援。除了用於推理的 NVIDIA Nemotron，以及用於解讀空間與狀況的 NVIDIA Cosmos Reason，還可組合各種相容的基礎模型[1]。第四項則是統籌多個代理協作的編排，以及高速驅動它的執行平台。有了這些，便更容易打造理解空間的多模態（統一處理多種類型輸入的方式）AI 代理[1]。
支撐開發的底層
在組建代理時，可使用 NVIDIA NeMo Agent Toolkit，它能處理工具呼叫、推理流程以及多個代理之間的協作[1]。在硬體方面，提供了 NVIDIA DGX Spark、NVIDIA DGX Station 以及搭載 NVIDIA RTX PRO 的系統，可依組態在雲端、資料中心乃至貼近現場的邊緣運行推理[1]。如此一來，便能實現這樣的代理：理解周遭環境、參照企業內部知識，一邊思考複雜任務，一邊即時給出貼合現場的協助[1]。
從工廠到手術室，再到鐵達尼號
NVIDIA XR AI 已開始在各種現場接受檢驗[1]。
在製造領域，西門子作為一項研究性嘗試，正運用 NVIDIA XR AI 與 DGX Spark，探索如何協助工廠工程師查找維護資訊、釐清故障、確認作業。配戴輕便眼鏡的工程師向 AI 代理詢問 PLC（可程式邏輯控制器，控制工業設備的裝置）的故障，便能當場取得操作步驟的指引[1]。
在科研領域，從事 AI 系統研發的 Rana 推出了運行於 NVIDIA XR AI 之上的 LabOS，試圖把理解空間的智慧直接帶進實驗流程。LabOS 首先被用於史丹佛大學醫學院的 Cong Lab 與普林斯頓大學的 Wang Lab，服務於幹細胞治療與基因編輯研究。它協助研究人員辨別正確的樣本與 CRISPR（基因編輯手法）編輯工具，指引每一個步驟，並留下可重現的紀錄，扮演類似「副駕駛」的角色[1]。LabOS 支援 Meta、Rokid、VITURE 的智慧眼鏡。VITURE 已將 NVIDIA XR AI 嵌入一種穿戴式介面，能在工作現場迅速叫出所需脈絡並引導下一步動作[1]。
在醫療領域，匹茲堡大學醫學中心（UPMC）的 Surreality Lab 展示了一套在 NVIDIA XR AI 與 DGX Station 之上、依情況支援手術團隊的系統。它被設計為理解外科醫師視野中「不可遮擋的部分」，在維持對病患與術式專注的同時，遞出有用的資訊[1]。
此外，從事汽車設計的 Innoactive 借助 DGX Spark，努力把設計審查、產品展廳以及數位分身（在虛擬空間中重現現實設備）中的脈絡完整銜接、不致遺漏。從事影像製作的 Atlantic Studios 則把鐵達尼號如今沉睡之姿的精密掃描，做成可透過語音指令尋找看點、邊走邊看的體驗，把複雜的水下模型變成了可互動的故事[1]。
總結
NVIDIA XR AI 是一套開發框架，它把來自 AR 眼鏡與 XR 裝置的資訊，與 AI 模型、企業資料及高速運算平台相連，用於打造能在真實工作中感知、推理與行動的代理。它把影片理解、企業檢索、推理模型與編排一併備齊，並展示了工廠、實驗室、手術室與沉浸式展示等現場的實例。可以說，這是 NVIDIA 邁向「超越聊天、在實體空間中工作的 AI」的一處新立足點。
