NVIDIAは、ARグラスやXR(VR・AR・MRを包括する総称)デバイスでAIエージェント(自律的に状況を判断して作業を助けるAI)を動かすための開発基盤「NVIDIA XR AI」を公開しました[1]。映像や音声、深度といった現実世界の情報を取り込み、社内データや各種ツールと結び付けて、装着者の作業をその場で支援する狙いです。すでに製造、科学研究、医療、設計などの現場で導入が始まっています[1]。
NVIDIA XR AI とは
AIはチャットボットやコパイロット(作業を補助するAI)の段階を超えて、現実の空間で人と並んで働く方向へ進み始めています。工場や研究室、病院では、周囲の状況を理解し、知識にアクセスし、その場で行動するAIエージェントが登場しつつあります[1]。
ただし、こうしたエージェントを実際の現場で役立つ形に作り込むのは簡単ではありません。応答を生成するだけでなく、映像・音声・センサーの情報から周囲を捉え、刻々と変わる状況や空間の文脈を読み取り、社内システムから必要な情報を引き出し、次に取るべき行動を考え、ソフトウェアのツールを使ってタスクを仕上げる必要があります。しかもこれらを低遅延で、装着者の注意を妨げずに行わなければなりません[1]。
NVIDIA XR AIは、この難しさを引き受ける開発者向けライブラリです。ARグラスやXRデバイスからの入力をAIモデル、社内データ、ツール、高速計算基盤とつなぎ、現実の作業の流れの中で知覚・推論・行動できるエージェントの土台を提供します[1]。NVIDIAは開発者向けに、チュートリアルやサンプルなどの資料も公開しています[2]。
現場の情報をAIにつなぐ4つの柱
NVIDIA XR AIは、大きく4つの機能を1つにまとめています[1]。1つ目は、ARグラスやXRデバイスから映像・音声・深度・姿勢(pose)・センサーといった現実世界の信号を取り込む入力部分です。
2つ目は、エージェントを専門的なツールやサービスへつなぐ部分です。映像の理解には「NVIDIA Metropolis」と、映像の検索・要約を担う「NVIDIA Metropolis for VSS」を、社内知識の検索には、関連情報を引き出して回答に活用するRAG(検索拡張生成)向けの「NVIDIA NeMo Retriever」を利用できます[1]。
3つ目は、幅広いAIモデルへの対応です。推論向けの「NVIDIA Nemotron」や、空間や状況を読み解く「NVIDIA Cosmos Reason」をはじめ、互換性のある各種の基盤モデルを組み合わせられます[1]。そして4つ目が、複数のエージェントの連携を束ねるオーケストレーションと、それを高速に動かす実行基盤です。これらがそろうことで、空間を理解するマルチモーダル(複数種類の入力をまとめて扱う方式)なAIエージェントを作りやすくなります[1]。
開発を支える土台
エージェントの組み立てには「NVIDIA NeMo Agent Toolkit」が使え、ツールの呼び出しや推論の手順、複数エージェントの協調を扱えます[1]。動かす側のハードウェアとしては、「NVIDIA DGX Spark」「NVIDIA DGX Station」「NVIDIA RTX PRO」搭載システムが用意され、クラウドからデータセンター、現場に近いエッジまで、環境に合わせて推論を実行できます[1]。これにより、周囲を理解し、社内の知識を参照し、複雑なタスクを考えながら、その場に応じた支援をリアルタイムで返すエージェントが形になります[1]。
工場から手術室、タイタニックまで
NVIDIA XR AIは、すでにさまざまな現場で試され始めています[1]。
製造分野では、Siemens(シーメンス)が研究的な取り組みとして、NVIDIA XR AIとDGX Sparkを使い、工場の技術者が保守情報を探したり、不具合を切り分けたり、作業を確認したりする使い方を模索しています。軽量なグラスを着けた技術者が、産業機器を制御するPLC(プログラマブルロジックコントローラ)の不具合についてAIエージェントに尋ねると、その場で手順の案内を受けられるといいます[1]。
科学研究では、AIシステムを手がけるRanaが、NVIDIA XR AI上で動く「LabOS」を投入し、空間を理解する知能を実験の流れに直接持ち込もうとしています。LabOSはまず、Stanford University(スタンフォード大学)医学部のCong Labと、Princeton University(プリンストン大学)のWang Labで、幹細胞治療やゲノム編集の研究に使われています。研究者が正しい試料やCRISPR(ゲノム編集の手法)の編集ツールを見分けるのを助け、各手順を案内し、再現可能な記録を残す、いわば「副操縦士」のような役割を担います[1]。LabOSはMeta、Rokid、VITUREのスマートグラスに対応します。VITUREは、作業の現場で必要な文脈をすぐに引き出し、次の一手を導く装着型インターフェースにNVIDIA XR AIを組み込んでいます[1]。
医療では、University of Pittsburgh Medical Center(UPMC、ピッツバーグ大学医療センター)のSurreality Labが、NVIDIA XR AIとDGX Stationの上で、手術チームを状況に応じて支援する仕組みを示しました。外科医の視界で隠してはいけない部分を理解し、患者と手技への集中を保ったまま役立つ情報を差し出すよう設計されています[1]。
ほかにも、自動車設計のInnoactiveはDGX Sparkを使い、設計レビューや製品ショールーム、デジタルツイン(現実の設備を仮想空間に再現したもの)での作業から文脈を取りこぼさずに引き継ぐ取り組みを進めています。映像制作のAtlantic Studiosは、現在の姿のタイタニックの精密スキャンを、音声の指示で見どころを探しながら巡れる体験に仕立て、複雑な水中の模型を対話的な物語へと変えています[1]。
まとめ
NVIDIA XR AIは、ARグラスやXRデバイスからの情報をAIモデルや社内データ、高速計算基盤と結び付け、現実の作業の中で知覚・推論・行動するエージェントを作るための開発基盤です。映像理解や社内検索、推論モデル、オーケストレーションを一通りそろえ、工場・研究室・手術室・没入型の展示といった現場での実例も示されました。チャットの枠を超えて物理空間で働くAIへ向けた、NVIDIAの新たな足がかりと言えそうです。
