AT&T 通过按任务选用不同模型，大幅压缩了内部 AI 的开销。在部分与编程相关的工作中，成本最多下降 56%，而质量仅下滑 2%。该公司的内部 AI 平台目前每天处理约 450 亿个 token，其中约 40% 已经流向开源模型。
从"哪个模型最强"转向"哪个模型够用"
企业引入 AI 时，长期以来的问题是哪个模型性能最好。AT&T 的思路几乎相反：在能可靠完成眼前任务的前提下，最便宜的模型是哪一个。自动回答这个问题，正是所谓模型路由器的全部用途。
AT&T 先用 LiteLLM 等路由基础设施接住员工发来的请求，判断任务难度之后再分发。文档摘要、已提交代码的摘要等负载较轻的处理，交给 Meta 的 Llama、Google 的 Gemma 等开源模型；复杂代码生成这类出错代价高的任务，则交给 Anthropic 和 OpenAI 的最新模型。对员工来说都是"用 AI"，但背后运行的模型单价完全不同。
结果是，部分编程任务的费用下降 56%，质量只下滑 2%。56 与 2 之间的落差，也说明把所有请求都丢给前沿模型的做法此前有多昂贵。
每天 450 亿 token，四成走开源模型
规模数据同样具体。AT&T 的内部 AI 平台每天处理约 450 亿个 token，员工 AI 请求中约 40% 被分流到开源模型。该公司计划把这一比例进一步提高到 60% 至 70%。
AT&T 副总裁 Mark Austin 表示，在许多业务场景中，开源模型与 Anthropic、OpenAI 此前提供的模型相比不相上下甚至更好。这里的比较对象是"此前的模型"而非最新模型，这一点不能忽略。其含义并不是开源模型追平了最前沿，而是相当于一年前最前沿的性能，如今已经能以开放权重的形式取得。而对大量内部业务而言，这样的性能已经够用。
意图也很清楚：在 AI 总使用量持续增长的同时，把高端 AI 服务上的支出保持在同一水平。
便宜模型普及，未必让前沿厂商吃亏
从表面看，这股趋势对销售昂贵模型的一方并不友好。不过，Goldman Sachs 股票研究部门负责人 Jim Covello 指出了另一种可能。
在 Covello 看来，小型廉价开源模型的进步，对亚马逊、微软、谷歌等超大规模云厂商反而是顺风。如果开源模型让企业更容易把 AI 做到有利可图，值得落地的 AI 应用数量就会增加；应用变多，处理的 token 就变多，支撑这些应用的数据中心需求也随之上升。他特别提到，这提高了把持续扩建的算力以有利可图的方式填满的可能性。
背景是市场情绪的变化。过去很长一段时间里，只要宣布提高资本开支，公司股价就会得到回报；而在最近一个季度左右，市场已经开始更强烈地质疑这一前提。Covello 说，问题不再是大型科技公司能否建成基础设施，而是能否用可盈利的需求把已建成的部分填满。
他还把"模型优化层"——把代价高的请求送往昂贵模型、把日常请求送往廉价模型——视为企业 AI 的技术瓶颈。在他看来，解开这一环，是释放企业内 AI 经济价值的关键之一。
总结
AT&T 的案例说明，按任务分流模型不是纸上谈兵，而是经得起实际运行考验的做法。部分编程任务费用下降 56%，质量下滑 2%；每天 450 亿 token 中已有四成流向开源模型，目标是 60% 至 70%。如果选型标准从性能排名转向性价比，企业的 AI 采购或许会从集中于单一供应商，转向多模型并用。
