NVIDIA在官方部落格中詳細說明了用於生產智慧的新型基礎設施「AI工廠」的理念[1]。一如發電廠過去產出電力，AI工廠被定位為將電力轉化為「token」、全天候持續生產智慧的設施[1]。該公司主張，效能要以每瓦特的token數量與每個token的成本來衡量，而這樣的效率會直接轉化為營收[1]。

什麼是AI工廠

NVIDIA表示，AI已不再只是軟體，而是成為支撐社會運作、不可或缺的基礎設施[1]。位於這場轉變核心的，正是AI工廠(專為生產智慧而打造的大規模運算基礎)[1]。一如工業時代發電廠把能源轉化為電力，NVIDIA將AI工廠定位為把能源轉化為token(推理模型與代理在進行處理時的生產單位)的設施[1]。

這裡看重的指標是每秒的token數、每瓦特的token數、每個token的成本、使用率以及運作時間[1]。NVIDIA指出，每瓦特的效能會直接牽動營收，而每個token的成本決定了每一座AI工廠的經濟效益[1]。每座設施都會從模型、運算、網路、記憶體、軟體、儲存、電力到散熱進行整體最佳化，以持續輸出智慧[1]。

代理型AI改變了工作負載的內容

AI工廠所面向的，是遠不止回答單一提示的常態化推理(inference，已訓練的AI實際得出答案的處理過程)[1]。代理型AI(自主編排步驟並推進工作的AI)不僅負責推理與規劃，還包括搜尋、運用工具、取得資料、撰寫程式以及實際操作[1]。這些系統甚至會建立專屬的子代理、學習特定領域工具的用法，使處理變得更長、更深，運算負載也更高[1]。

要支撐這些工作，需要把高速記憶體、用來保存脈絡的儲存、用於協調的網路、負責調度的軟體以及負責執行的處理器，與加速運算結合在一起[1]。NVIDIA表示，讓整個工作流程不間斷地運轉，才是決定效能的關鍵，並把推理形容為如今貫穿整台機器的「即時調度」挑戰[1]。

競爭力以每瓦特效能來衡量

NVIDIA主張，衡量AI工廠競爭力的最終標準，已變成「每瓦特的效能」[1]。該公司援引研究機構SemiAnalysis的InferenceX基準測試表示，其Blackwell Ultra世代的GPU把每個token的成本壓到了最低[1]。

具體數據也一併公布。根據NVIDIA說明，採用Blackwell Ultra的「NVIDIA GB300 NVL72」系統，每百萬瓦(MW)可生成的token數量比上一代最多多出50倍，相較先前的Hopper世代可把每個token的成本降到三十五分之一[1]。長文本推理以及大量推理處理的調度，由名為「NVIDIA Dynamo」的軟體基礎來完成，扮演維持高使用率的角色[1]。在下一代「NVIDIA Vera Rubin」平台上，NVIDIA表示這股趨勢會更進一步，透過「LPX」把每瓦特效能最高提升至35倍，並藉由更深入的全端最佳化進一步壓低token成本[1]。

從晶片走向整體設計，由夥伴與數位孿生支撐

NVIDIA表示，從GPU起步的這項工作，已擴展為涵蓋加速運算、高速互連、液冷系統、推理軟體、自主代理以及參考架構的「全端AI工廠」[1]。為了把這些帶進企業資料中心，該公司與思科、戴爾、HPE、聯想、美超微(Supermicro)等系統夥伴密切合作[1]。NVIDIA提到，自家也營運面向企業的AI工廠，有數百個自主代理協助其工程與維運團隊，並以此作為實際佐證[1]。

該公司也指出，要建設大規模設施，光靠最佳化的運算並不足夠[1]。「NVIDIA DSX」參考設計，目標是以每百萬瓦最低的token成本來打造吉瓦(GW)級的AI工廠[1]。「NVIDIA Omniverse DSX Blueprint」則運用連接設施、硬體與軟體的數位孿生(把現實中的設施在虛擬空間中重現的技術)，支援從建置前的設計驗證到上線後的營運改善[1]。NVIDIA總結道：上一次工業革命把能源轉化為勞動，而這一次則把能源轉化為智慧[1]。

NVIDIA還表示，將由創辦人暨執行長黃仁勳在預定於台北時間6月1日上午11點舉行的「NVIDIA GTC Taipei at COMPUTEX」主題演講中，詳細說明這些AI工廠的整體樣貌[2]。

總結

NVIDIA提出的，是把資料中心從「存放檔案的地方」重新理解為「生產token的工廠」的思路。以每瓦特的token數量與每個token的成本為核心，不只看單顆晶片，而是把電力與散熱也納入其中進行整體最佳化來衡量競爭力——這樣的思路，顯然是著眼於生成式AI普及所帶來、不斷膨脹的運算需求。6月1日的主題演講會揭露多少具體內容，將是下一個值得關注的焦點。

來源：https://blogs.nvidia.com/blog/ai-factories-the-new-infrastructure-of-intelligence/

來源：https://blogs.nvidia.com/blog/nvidia-gtc-taipei-computex-2026-news/