Microsoft 於美國時間 2026 年 11 月 19 日,在官方「Microsoft USB Blog」發表「RDMA over USB4」功能。只要以 USB4 線材直接連接 2 台以上的 Windows PC,即可整合各台的記憶體與 GPU 運算能力,將單一 AI 模型拆分到多台電腦上執行。Microsoft 表示,這項功能將以開發者預覽版的形式,於近期在 Windows Insider Program 的「Experimental」頻道(Future Platforms)推出。截至本文撰寫時,對應的組建版本尚未釋出。
資料來源:Microsoft USB Blog「Introducing RDMA over USB4® on Windows: run larger local AI models across PCs」
不需專用網路設備,多台 PC 即可組成一套推論環境
RDMA(Remote Direct Memory Access,直接讀寫其他電腦記憶體的技術)過去主要用於資料中心的網路卡。這次的新功能則是讓 RDMA 在 PC 內建的 USB4 連接埠上運作。Microsoft 表示,使用者不必購買支援 RDMA 的網路卡,也不必設定交換器或安裝第三方驅動程式。
運作方式如下。首先,Windows 的 USB4 連線管理員會在每一組 PC 之間建立點對點通道。接著,新的 RDMA 提供者會在 USB4 主機路由器的 DMA 環上,以軟體實作 RDMA。對應用程式而言,它呈現為 Windows 過去用於資料中心網路卡的 RDMA API「NetworkDirect」,因此相容的推論框架不需要知道底層是 USB4。
往返延遲約為 Ethernet over USB4 的四分之一
Microsoft 這次最重視的是延遲。採用張量平行(將模型運算分散到多個裝置的方法)時,每產生 1 個 token,PC 之間就要多次交換資料。因此該公司說明,決定速度的與其說是頻寬,不如說是延遲。
根據 Microsoft 以 2 台 PC 進行的量測,小型訊息的往返延遲約為 28~50 微秒,約是在同一條 USB4 連線上使用 Ethernet(UDP)時的四分之一。延遲在 40Gbps 與 80Gbps 連接埠上沒有差別;另一方面,Thunderbolt 5 等 80Gbps 連接埠的頻寬則是 2 倍。
在 AMD 與 Intel 平台上執行超過 100B 的模型
驗證工作是與 AMD 和 Intel 合作進行。Microsoft 公布的主要配置與結果如下。
| 項目 | AMD 平台 | Intel 平台 |
|---|---|---|
| 處理器 | Ryzen AI Max+ 395 | Core Ultra Series 3 |
| 每台記憶體 | 128GB(統一記憶體) | 64GB(9,600MT/s) |
| 連線 | USB4 40Gbps,3 台全網狀連接 | Thunderbolt 4,3~4 台全網狀連接 |
| 模型 | Qwen3-235B-A22B(4 位元量化) | GPT-OSS-120B |
| 生成速度 | 約 18.5 token/秒(Microsoft 實測) | 49.4 token/秒(3 台)、54.2 token/秒(4 台) |
在 AMD 平台上,3 台迷你 PC 執行了 2,350 億參數的 MoE 模型「Qwen3-235B-A22B」。在 AMD 量測的條件下(上下文 1,600 token、生成 2,048 token),生成速度為 21.98 token/秒。Intel 平台的數據由 Intel 量測,上下文為 1K token。Microsoft 也說明,GPT-OSS-120B 無法放進單台 64GB 的 PC。
Microsoft 表示,這些只是目前已驗證的平台,並不代表其他平台無法運作;實際結果會因模型、框架組建版本與平台而異。
使用時須讓所有 PC 直接相連,並啟用測試用設定
若要連接 N 台 PC,每台 PC 需要 N-1 個 USB4 連接埠。每一組 PC 之間以 1 條 USB4 線材直接相連;Microsoft 指出,若採用菊鏈串接,效能會大幅下降。所有 PC 也必須使用相同的 RDMA 對應 Insider 組建、預覽版驅動程式與 NetworkDirect 提供者。
設定時需啟用一項登錄值,並開啟測試簽章模式。由於測試簽章必須關閉安全開機(Secure Boot)才能使用,Microsoft 建議使用專用的測試 PC,而非日常使用的電腦。已知的限制是傳輸層沒有重試機制,連線中斷時須由應用程式重新建立。
NetworkDirect 提供者、範例,以及檢查連線用的工具「ndping」已以開放原始碼形式公開。Microsoft 也公開了將 llama.cpp 的 RPC 後端改為透過 NetworkDirect(而非 TCP)運作的範例程式碼。
筆者觀點
只要串接幾台迷你 PC,就能在手邊執行單台裝不下、超過 100B 參數的模型,這一點意義重大。由於不必準備昂貴的網路卡或交換器,對想嘗試本機 AI 的開發者而言,門檻應該會降低。
不過,現階段必須關閉安全開機並啟用測試簽章,因此仍只是供驗證用的功能。公布的速度也是廠商在特定配置下量測的結果,使用者手邊的 PC 未必能得到相同表現。
儘管如此,Microsoft 表示正在研究將支援擴大到更多 PC 與晶片合作夥伴,並納入未來的 Windows 版本。能否成為容易使用的正式功能,可能將決定它的普及程度。
總結
Microsoft 發表了「RDMA over USB4」,可讓以 USB4 線材直接相連的多台 Windows PC 分攤執行單一 AI 模型。這項功能與想在本機執行大型模型的開發者,以及擁有多個 USB4 連接埠迷你 PC 的使用者相關。開發者預覽版預計近期在 Windows Insider Program 的 Experimental 頻道推出,具體日期與組建版本尚未公布。