隨著 AI 從試行走向生產級的「AI 工廠」，衡量效能的標準正從晶片的尖峰規格，轉向「每個 token 的成本」。NVIDIA 表示，藉由與自家 GPU、CPU 和網路協同設計的全堆疊推論軟體，僅用一個月就在 Blackwell 平台上，把 DeepSeek V4 模型的 token 成本最多降到原本的五分之一[1]。為什麼決定推論經濟性的不只是硬體，還有軟體，本文整理重點。

每個 token 的成本成為新指標

過去的指標以單顆晶片的尖峰效能為中心。NVIDIA 指出，在生產環境中，真正重要的是系統能在每一美元、每一瓦特以及所需的延遲範圍內，交付多少有用的 token[1]。

這項轉變的背後，是代理型 AI 的興起。傳統的網頁、搜尋與 SaaS 工作負載是可預測的：一次請求可能載入頁面，或對資料庫進行讀寫，依循相似的軟體路徑，靠增加同類伺服器即可擴充。而代理型 AI 不同，它會推論、規劃、呼叫工具、啟動專門的子代理，並在多輪工作流程中管理龐大的上下文[1]。

如此一來，單次請求會變成一個分散式運算問題，可能橫跨數百個子代理、數千項任務和多個大型語言模型，運行在 GPU、CPU、DPU 與儲存之上。NVIDIA 認為，決定這種複雜性會淪為浪費的算力、還是轉化為更低的 token 成本，關鍵就在於軟體[1]。

提升效能的三個層次

NVIDIA 的推論軟體被描述為連接三個層次，從而把單點最佳化轉化為系統級的效能[1]。

第一層是生產營運，負責協調分散式服務、編排、自動擴縮與記憶體管理，讓推論運行在合適的算力與儲存之上。第二層是應用加速，透過運算與通訊重疊、核心融合等執行時最佳化，以高效能運行模型，同時為開發者保留調校與客製的空間。第三層是基礎設施存取，讓開發者無須逐一處理每個裝置的指令集與資料傳輸協定，就能運用 GPU、網路、記憶體與系統的能力[1]。

當這些層次作為一個系統協同運作時，單點最佳化便會疊加放大。NVIDIA 表示，分離式服務、透過 NVLink 實現的大規模專家平行處理、NVFP4 精度以及多 token 預測，各自單獨都有效果，組合起來則可將吞吐量提升最多 20 倍[1]。正是這種軟體的層層疊加，支撐了在 Blackwell 上一個月內，把 DeepSeek V4 的 token 成本最多降至五分之一的成果[1]。

採用者與開源飛輪

實際部署已在推進。Baseten 使用開源的 NVIDIA TensorRT-LLM 函式庫，在 Blackwell 上為推論、程式撰寫與長上下文工作負載提供 DeepSeek V4 Pro，並加上自有的執行時最佳化，使每秒 token 數最多提升 50%。Cognition 藉由推論框架 NVIDIA Dynamo 管理推論 GPU，取得了擴展強化學習工作負載的途徑。Deep Infra 在 Blackwell 上自首日起就高效能地提供前沿開源模型，Together AI 則以 TensorRT-LLM 協助 Cursor 把模型最佳化快速推進到生產環境，支撐其即時程式撰寫體驗[1]。

這項基礎因開源生態而進一步放大。如今廣泛使用的眾多 AI 框架與推論專案都建立在 NVIDIA CUDA 之上，因此新的研究與最佳化能在 NVIDIA GPU 上自首日起以領先效能運行[1]。PyTorch 就是典型代表：它於 2016 年以原生 CUDA 支援問世，與 NVIDIA 的架構同步演進，讓開發者得以使用 Tensor Core、Transformer Engine 和 NVFP4 等技術[1]。

這種效果也體現在具體數字上。NVIDIA 介紹，投機解碼技術 DFlash 在現有硬體上將吞吐量提升最多 15 倍，FastVideo 可在不到五秒內生成 1080p 影片。當新的開源模型 DeepSeek V4 發布時，推論框架 vLLM 與 SGLang 自首日起就備妥了面向 Blackwell 的部署方案，約一個月內 Blackwell 上的效能提升最多 5 倍，token 成本降至先前的約五分之一[1]。開發者越是打磨 CUDA 原生的推論路徑，這些改進就越會透過生產部署回饋整個生態。NVIDIA 把這個循環稱為「開源飛輪」[1]。

須說明的是，文中引用的倍數與成本降幅，皆由 NVIDIA 自行公布。讀者在判斷實際效果時，應結合第三方驗證，以及不同模型與工作負載條件帶來的差異來看待。

總結

NVIDIA 認為，推論的競爭力已從晶片的原始效能，轉向由軟體帶來的每個 token 成本。連接三個層次的全堆疊設計，加上以 CUDA 為核心的開源生態，支撐了它在 Blackwell 上一個月內把 DeepSeek V4 成本最多降至五分之一的說法。除了硬體的世代更替，持續的軟體改進如今正成為推論經濟性的關鍵。

出典:https://blogs.nvidia.com/blog/inference-software-lowest-token-cost/