Microsoft 于美国时间 2026 年 11 月 19 日在官方博客“Microsoft USB Blog”上发布了“RDMA over USB4”功能。用 USB4 线缆直接连接 2 台及以上 Windows PC 后,即可汇集各台设备的内存和 GPU 算力,把单个 AI 模型拆分到多台电脑上运行。据 Microsoft 介绍,该功能将以开发者预览版的形式,近期在 Windows Insider Program 的“Experimental”频道(Future Platforms)上线。截至发稿时,对应的版本尚未发布。
信息来源:Microsoft USB Blog“Introducing RDMA over USB4® on Windows: run larger local AI models across PCs”
无需专用网络设备,多台 PC 即可组成一套推理环境
RDMA(Remote Direct Memory Access,直接读写其他计算机内存的技术)以往主要用于数据中心的网卡。此次的新功能则让 RDMA 在 PC 自带的 USB4 接口上运行。Microsoft 表示,用户无需购买支持 RDMA 的网卡,也不必配置交换机或安装第三方驱动程序。
其工作原理如下。首先,Windows 的 USB4 连接管理器会在每一对 PC 之间建立点对点隧道。随后,新的 RDMA 提供程序在 USB4 主机路由器的 DMA 环上,以软件方式实现 RDMA。对应用而言,它呈现为 Windows 一直用于数据中心网卡的 RDMA API“NetworkDirect”,因此兼容的推理框架无需关心底层是否为 USB4。
往返延迟约为 Ethernet over USB4 的四分之一
Microsoft 此次最看重的是延迟。采用张量并行(把模型计算分摊到多个设备上的方法)时,每生成 1 个 token,PC 之间都要多次交换数据。因此该公司认为,决定速度的与其说是带宽,不如说是延迟。
据 Microsoft 在 2 台 PC 上的实测,小消息的往返延迟约为 28~50 微秒,大约是在同一 USB4 连接上使用 Ethernet(UDP)时的四分之一。延迟在 40Gbps 与 80Gbps 接口上并无差别;不过,Thunderbolt 5 等 80Gbps 接口的带宽是前者的 2 倍。
在 AMD 与 Intel 平台上运行超过 100B 的模型
验证工作由 Microsoft 与 AMD、Intel 合作完成。Microsoft 公布的主要配置和结果如下。
| 项目 | AMD 平台 | Intel 平台 |
|---|---|---|
| 处理器 | Ryzen AI Max+ 395 | Core Ultra Series 3 |
| 单台内存 | 128GB(统一内存) | 64GB(9,600MT/s) |
| 连接方式 | USB4 40Gbps,3 台全互联 | Thunderbolt 4,3~4 台全互联 |
| 模型 | Qwen3-235B-A22B(4 位量化) | GPT-OSS-120B |
| 生成速度 | 约 18.5 token/秒(Microsoft 实测) | 49.4 token/秒(3 台)、54.2 token/秒(4 台) |
在 AMD 平台上,3 台迷你主机运行了 2350 亿参数的 MoE 模型“Qwen3-235B-A22B”。在 AMD 的测试条件下(上下文 1600 token、生成 2048 token),生成速度为 21.98 token/秒。Intel 平台的数据由 Intel 测得,上下文为 1K token。Microsoft 还指出,GPT-OSS-120B 无法装入单台 64GB 的 PC。
Microsoft 表示,这些只是目前已经测试过的平台,并不意味着其他平台无法使用;实际结果会因模型、框架版本和平台而异。
使用时需让所有 PC 两两直连,并启用测试设置
若要连接 N 台 PC,每台 PC 需要 N-1 个 USB4 接口。每一对 PC 之间用 1 根 USB4 线缆直连;Microsoft 提醒,如果采用菊花链串接,性能会大幅下降。所有 PC 还必须使用相同的支持 RDMA 的 Insider 版本、预览版驱动程序和 NetworkDirect 提供程序。
设置时需要启用一项注册表值,并开启测试签名模式。由于测试签名必须关闭安全启动(Secure Boot)才能使用,Microsoft 建议使用专门的测试电脑,而不是日常使用的设备。已知限制方面,传输层没有重试机制,连接断开后需要由应用重新建立。
NetworkDirect 提供程序、示例以及用于检测连接的工具“ndping”已经开源发布。Microsoft 还公开了把 llama.cpp 的 RPC 后端改为通过 NetworkDirect(而非 TCP)运行的示例代码。
笔者观点
只需连接几台迷你主机,就能在本地运行单台装不下、超过 100B 参数的模型,这一点意义重大。由于不必准备昂贵的网卡或交换机,对想尝试本地 AI 的开发者来说,门槛应该会降低。
不过,现阶段必须关闭安全启动并启用测试签名,因此它仍只是一项验证用的功能。公布的速度也是厂商在特定配置下测得的,用户自己的 PC 未必能达到同样的结果。
尽管如此,Microsoft 表示正在探索将支持扩展到更多 PC 和芯片合作伙伴,并纳入未来的 Windows 版本。它能否成为易于使用的正式功能,或将决定其普及程度。
总结
Microsoft 发布了“RDMA over USB4”,可让通过 USB4 线缆直连的多台 Windows PC 拆分运行单个 AI 模型。该功能与希望在本地运行大型模型的开发者,以及拥有多个 USB4 接口迷你主机的用户密切相关。开发者预览版预计近期在 Windows Insider Program 的 Experimental 频道上线,具体日期和版本尚未公布。