Palantir 發表了一套全新平台,運用 NVIDIA 的開放模型 NVIDIA Nemotron,為美國政府機關運行安全 AI[1]。該平台把前沿級模型帶入與外部網路完全隔離的「氣隙」(air-gapped)環境,讓各機關得以在自有基礎設施上運行、訓練並擁有這些模型。其思路相當具有反差:開放模型恰恰在封閉環境中最能發揮價值。

把開放模型帶進機密環境

Palantir 這次推出的,是在 NVIDIA Nemotron 開放模型之上,為政府機關建構專用模型的機制[1]。模型運行於 NVIDIA 加速運算平台上,部署在與不安全的外部網路完全隔離的氣隙環境中[1]。

政府業務與民間企業在商業、能源、醫療、農業、教育、交通等領域高度重疊[1]。美國聯邦政府的文職僱員約有 300 萬人,NVIDIA 將其形容為「全球規模最大的企業之一」[1]。其構想是運用 AI 化解這種跨領域的複雜度,並為第一線決策提供支援。

NVIDIA Nemotron 是一個開放模型系列,公開了權重(模型參數)、訓練資料與訓練方法,專為自主運行的 AI 代理(agent)而設計[2]。最新的 Nemotron 3 包含 Nano、Super、Ultra 三個版本,可依用途與處理量靈活選用[2]。由於公開的權重能在部署前由各組織自行檢驗,再帶入機密環境並依自有資料微調,這與本次用途相當契合。

「主權 AI 作業系統」掌握資料與所有權

讓模型安全運行的基礎,是 Palantir 的「Sovereign AI Operating System(主權 AI 作業系統)」[1]。它建構在該公司的 AIP、Ontology、Foundry 與 Apollo 之上,負責在機密環境中部署所需的營運與資料授權層[1]。明確的資料授權、由架構層面強制執行的隔離,以及全程可稽核,正是其核心[1]。

各機關可在自有基礎設施上運行經過調整的 Nemotron,使用自己的資料進行訓練,並完整擁有由此產生的模型,包括其權重[1]。由於權重中銘刻著該組織的營運知識,將其留在內部而非交給第三方,意義並不容小覷。在運行中持續以新資料與回饋改進模型,還會形成「資料飛輪」,在提升效能的同時,讓資料、模型與稽核紀錄始終處於使用方的掌控之下[1]。在企業級正式運行方面,另由「NVIDIA AI Enterprise」軟體套件提供支撐[1]。

開放模型帶來信任、掌控與更低成本

NVIDIA 將開放模型的價值歸納為信任、掌控與成本三點[1]。

首先,信任源自透明。由於第三方能獨立檢驗模型,單一組織容易忽略的漏洞、偏誤與非預期行為更易被發現並加以修正[1]。其次是掌控,企業、政府與開發者可針對自身用途改造與微調模型,即使在金融等封閉模型可能觸及資料保護法規的領域也能部署[1]。最後是成本,NVIDIA 表示已有約三分之二的企業在使用開放模型,並肯定其性價比[1]。在打造能夠規模化而不致崩潰的 AI 時,成本效率已成為重要因素。

開源長期以來是美國技術領導力的支柱,一路貫穿 ARPANET、UNIX、C 語言、Linux、GitHub 與 Docker[1]。此次嘗試,正是把這一脈相承的開放模型,延伸至國家安全這個最為敏感的領域。

總結

Palantir 與 NVIDIA 勾勒出一套平台,將 Nemotron 開放模型帶入氣隙環境,讓美國政府機關得以在自有基礎設施上運行、訓練並完整擁有模型(含權重)。Palantir 的主權 AI 作業系統負責資料授權、隔離與稽核,而其主張則圍繞透明帶來的信任、面向用途的掌控,以及開放模型更低的成本。不過,這畢竟是 Palantir 與 NVIDIA 描繪的構想,能在多大程度上兼顧機密性與成效,仍取決於今後的實際部署。

出典:https://blogs.nvidia.com/blog/palantir-secure-ai-us-agencies-nemotron-open-models/

出典:https://www.nvidia.com/en-us/ai-data-science/foundation-models/nemotron/