NVIDIAは、工場や都市、倉庫といった現場の映像を業務に役立つ判断へ変える「映像AIエージェント」を、開発者がより速く構築できるようにする再利用可能なワークフロー群「Metropolisエージェントスキル」とブループリント(設計図)を公開しました[1]。OpenUSDとNVIDIA Omniverseによる合成データ生成を組み合わせ、データ不足・微調整(ファインチューニング)の専門知識不足・複雑な構築作業という3つの壁を埋める狙いです。RoboflowやLinker Vision、Foxconn(鴻海)などのパートナーが、すでに具体的な成果を報告しています。

映像AIエージェントが抱える3つの壁

映像AIエージェントは、カメラやセンサーが捉えた映像を理解し、現場の状況に合わせて判断や通知へつなげる仕組みです。データの生成場所に近いエッジで動かす流れが強まっており、調査会社Gartnerは、企業が管理するデータの3分の2超が2028年までにデータセンターやクラウドの外で生成・処理されるようになり、エッジAIを導入する企業は2025年の10パーセントから2029年には世界全体の3分の2超へ拡大すると予測しています[1]。一方で、既存のエッジデータの最大90パーセントは未処理のまま活用されていないという指摘もあります[1]。

NVIDIAは、こうしたエージェントの開発でつまずきやすい点を3つ挙げています[1]。1つ目は、学習データの不足による精度の頭打ちです。たとえば製造ラインの検査モデルは、よくある傷やへこみは見つけられても、学習データに含まれない新種の細い亀裂(ヘアラインクラック)を見逃しがちです。2つ目は、微調整のノウハウ不足です。性能の弱点が見つかっても、ラベル付きデータの用意や学習設定、評価といった工程が必要で、多くの企業は社内に大規模な機械学習チームを持っていません。3つ目は、構築作業の複雑さです。映像処理のパイプラインやモデル、検索、通知、レポートなどをつなぎ合わせる必要があり、環境ごとの作り込みに多くの時間と専門知識を要します。

合成データと微調整を再利用可能にする「エージェントスキル」

今回のエージェントスキルとブループリントは、これらの工程を一から作り直さずに済むよう、再利用できる出発点を開発者へ提供します[1]。シミュレーションと合成データの面では、3D空間を共通の枠組みで記述・再利用できるOpenUSD(Universal Scene Description)と、その上に構築されたNVIDIA Omniverseのライブラリーが土台になります。照明や天候、交通の流れ、カメラ角度、遮蔽(オクルージョン)、まれな事象まで、さまざまな条件をデジタルツインで再現し、学習に使えるシナリオの幅を広げられます[1]。

提供されるスキルは用途別に分かれています[1]。合成的な不良画像を作る「Defect Image Generation」スキル、シナリオの網羅性を高める「Video Data Augmentation」スキル、モデルの微調整を担う「NVIDIA TAO」スキル、そして映像の検索や要約を通知・レポート・ストリーム管理といった運用フローへ落とし込む「VSS(映像検索・要約)」スキルです。これらをNVIDIA OmniverseやMetropolisと併用することで、データ生成からモデル改善、エージェントの展開までを通した一連の作業を効率化できるとしています。

製造・スマートシティ・産業現場での成果

製造業では、不良の発生を抑え込むほど、次の検査モデルを学習させるための不良サンプルが集まりにくくなるという矛盾が起きます[1]。Roboflowは、NVIDIAのDefect Image GenerationスキルとNVIDIA Cosmos(世界基盤モデル)を自社の映像AIプラットフォームに統合し、実データが乏しい場合でも合成の不良画像を生成しています。光ファイバーを手がけるCorningの技術チームと実施したベンチマークでは、わずか8枚の実際の不良画像に合成データを足して学習させたモデルが、最も難しい不良の種類で平均適合率95パーセントと完全な再現率を達成し、実データだけで学習させた基準モデルを上回りました。数四半期かかる検査プロジェクトを数日に圧縮できたとしています[1]。

スマートシティの分野では、Linker VisionがVSS向けのNVIDIA Metropolisブループリントを使い、映像を解釈するエージェントを都市インフラ全体へ展開しています[1]。OpenUSDベースのOmniverseデジタルツインで都市環境を再現し、交通や天候、緊急事態への反応を検証できます。台湾の高雄(カオシュン)では、このVSSブループリントの活用で開発工数を85パーセント削減し、事案への対応時間を最大80パーセント短縮しました。後継のAI-GRID拡張では、安全なエージェント型AIに向けてNVIDIA NemoClawブループリントを採用しています[1]。

産業現場では、映像に何が映ったかを検知するだけでなく、作業が正しく行われているかを理解する力が求められます[1]。Foxconn(鴻海)では、DeepHowの「Live SOP(標準作業手順)検証」エージェントが、検索・要約・分析を担う土台としてNVIDIA MetropolisのVSSブループリントを採用し、人の作業手順を文脈とともに解釈する推論にはNVIDIA Cosmosを使っています。NVIDIA GB300サーバーの製造ラインで運用したところ、初回工程での良品率(ファーストパス歩留まり)を3パーセント改善し、重要な作業手順の細かな動作理解で99パーセントの精度を達成、問題を早期に捉えることで手戻りも減らせたとしています[1]。

まとめ

NVIDIAのエージェントスキルとブループリントは、合成データの生成、モデルの微調整、エージェントの展開という映像AIの各工程を再利用可能な形でまとめ、専門チームを持たない企業でも開発を加速できるようにする取り組みです。Roboflowによる8枚の実画像からの高精度化や、高雄での開発工数85パーセント削減、Foxconnでの良品率改善など、現場での成果が具体的な数値とともに示されている点が今回の見どころと言えるでしょう。エッジで動くAIが実用段階へ移る流れのなかで、開発のハードルを下げる基盤づくりが進んでいます。

出典:https://blogs.nvidia.com/blog/vision-ai-agent-skills-omniverse-metropolis/