开源 LLM 推理引擎“llama.cpp”的开发方 ggml-org 于 2026 年 11 月 13 日在 GitHub 发布页面推出首个大版本“v1.0.0”。作为底层的张量库“ggml”也同步升级至 v1.0.0,并确立了今后通过主版本号升级来标示破坏兼容性变更的方针。与此同时,FP8 格式的 KV 缓存和面向 MoE 模型的缓存等推理相关功能也一并加入。

精简公开 API,移除 35 个废弃函数

v1.0.0 的重点是对 C 语言公开 API(llama.h)进行整理。发布说明称,新版移除了 35 个已废弃的函数和 llama_set_warmup,并去掉了 defrag_thold(命令行中为 --defrag-thold)。

另一方面,原先位于独立头文件 llama-ext.h、用于投机解码的 NextN API 已并入 llama.h。llama_set_embd_state_src 则更名为 llama_set_ctx_state_src。将 llama.cpp 作为库集成的应用在升级时需要适配这些变化。

今后只有破坏兼容性的变更才会提升主版本号

ggml-org 在 Hugging Face 上发布的官方博客按照语义化版本(Semantic Versioning)说明了今后的版本号规则:

  • 主版本(MAJOR):破坏 ./include 中公开 C API 兼容性的变更
  • 次版本(MINOR):向后兼容的功能新增、后端更新、新模型支持、API 新增
  • 修订版本(PATCH):不改变 API 的缺陷修复

博客表示,llama.cpp 和 ggml 都将通过主版本号升级来反映 API 与 ABI 的不兼容。llama.cpp 此前一直频繁发布以“b”加序号命名的构建版本。发布页面上目前仍在持续列出每日构建版本,日常更新与里程碑版本将并行发布。

新增 FP8 KV 缓存和 MoE 专用缓存

推理方面,KV 缓存现在可以采用 OCP 标准的 FP8 格式存储,只需在 -ctk 和 -ctv 选项中指定 f8_e4m3。KV 缓存是随上下文增长而变大的内存区域,用位数更少的格式存储,就能减少所需的内存。

针对 MoE(Mixture of Experts)模型,新版加入了把专家权重放在主机内存中的缓存。用户可以设置缓存未命中时交由 CPU 处理的比例,替换策略则提供 LRFU 和 ClassLRU 两种。llama_context_params 中也新增了 moe_cache_size 和 moe_cache_cpu_share 两个字段。

ggml 的 v1.0.0 除移除废弃 API 外,还加入了 YaRN 截断(truncation)和 FP8 支持。

支持新模型、改版 Web UI 并加强服务器安全

新支持的模型包括 Kimi-K3.1-Pro、Ripple-65B-Preview(ricursive)、xing4_0,以及语音合成模型 drama-3 TTS(fishaudio)。借助多模态组件 mtmd,MageVL-Cowork 和 Kimi-K3.1 的图像输入也得到支持。服务器还新增了用于语音合成的 /v1/audio/speech 端点。

内置 Web UI 经过重新设计,加入了侧边栏折叠与分组、可实时预览的 Markdown 编辑器、移动设备布局、右键菜单,以及 PDF 附件缩略图显示。

服务器安全方面,新版增加了 --allow-unauthenticated-tools 和 --media-allow-private-urls 两个选项,并包含与 CORS、DNS 重绑定(DNS rebinding)及 SSRF 相关的修复。

笔者观点

llama.cpp 被广泛用于在本地电脑上运行 LLM,也常作为推理引擎集成到其他应用中。笔者认为,这次更新最大的意义在于版本号规则有了明文,集成方能更容易评估每次升级带来的影响。

不过,v1.0.0 本身就包含废弃 API 的移除,仍依赖旧函数的应用需要进行迁移。主版本号会以怎样的频率提升,还要视今后的发布情况而定。

总结

llama.cpp 与 ggml 于 11 月 13 日同步升级至 v1.0.0,完成了公开 API 的整理,并制定了通过版本号体现兼容性的规则。功能层面的变化同样广泛,涵盖 FP8 KV 缓存、主机内存 MoE 专家缓存、新模型支持、Web UI 改版以及服务器安全加强。详细变更可参阅 GitHub 的发布说明和 ggml-org 的博客。