開發開源 LLM 推論引擎「llama.cpp」的 ggml-org 於 2026 年 11 月 13 日,在 GitHub 發布頁面推出首個主要版本「v1.0.0」。作為底層的張量函式庫「ggml」也同步升至 v1.0.0,並確立今後以主版本號的更新來標示破壞相容性變更的方針。此外,FP8 格式的 KV 快取與 MoE 模型專用快取等推論相關功能也一併加入。

整理公開 API,移除 35 個已棄用函式

v1.0.0 的核心是整理 C 語言公開 API(llama.h)。發布說明指出,此版本移除了 35 個已棄用的函式與 llama_set_warmup,也拿掉了 defrag_thold(命令列為 --defrag-thold)。

另一方面,原本放在另一個標頭檔 llama-ext.h 中、供推測式解碼使用的 NextN API,已移入 llama.h。llama_set_embd_state_src 則更名為 llama_set_ctx_state_src。將 llama.cpp 作為函式庫嵌入的應用程式,在更新時需要因應這些變更。

今後只有破壞相容性的變更才會提升主版本號

ggml-org 在 Hugging Face 上的官方部落格,依照語意化版本(Semantic Versioning)說明了今後的版本號規則:

  • 主版本(MAJOR):破壞 ./include 中公開 C API 相容性的變更
  • 次版本(MINOR):具回溯相容性的功能新增、後端更新、新模型支援、API 新增
  • 修補版本(PATCH):不變更 API 的錯誤修正

部落格表示,llama.cpp 與 ggml 都將以主版本號的提升來反映 API 與 ABI 的不相容。llama.cpp 過去一直頻繁發布以「b」加流水號命名的建置版本。發布頁面上至今仍持續列出每夜建置版本,日常更新與里程碑版本將並行發布。

新增 FP8 KV 快取與 MoE 專用快取

在推論方面,KV 快取現在可採用 OCP 規格的 FP8 格式儲存,只要在 -ctk 與 -ctv 選項指定 f8_e4m3 即可使用。KV 快取是隨著處理的上下文變長而增大的記憶體區域,以位元數較少的格式儲存,便能降低所需的記憶體。

針對 MoE(Mixture of Experts)模型,新增了將專家權重放在主機端記憶體的快取。使用者可設定快取未命中時交由 CPU 處理的比例,替換策略則提供 LRFU 與 ClassLRU 兩種。llama_context_params 也新增了 moe_cache_size 與 moe_cache_cpu_share 兩個欄位。

ggml 的 v1.0.0 除了移除已棄用的 API,也加入了 YaRN 截斷(truncation)與 FP8 支援。

支援新模型、改版 Web UI 並強化伺服器安全

新支援的模型包括 Kimi-K3.1-Pro、Ripple-65B-Preview(ricursive)、xing4_0,以及語音合成模型 drama-3 TTS(fishaudio)。透過多模態元件 mtmd,也新增了 MageVL-Cowork 與 Kimi-K3.1 的影像輸入支援。伺服器另外加入了語音合成用的 /v1/audio/speech 端點。

內建的 Web UI 經過重新設計,加入側邊欄收合與分組、可即時預覽的 Markdown 編輯器、行動裝置版面配置、右鍵選單,以及 PDF 附件縮圖顯示。

在伺服器安全方面,此版本新增 --allow-unauthenticated-tools 與 --media-allow-private-urls 兩個選項,並包含與 CORS、DNS 重新綁定(DNS rebinding)及 SSRF 相關的修正。

筆者觀點

llama.cpp 被廣泛用於在個人電腦上執行 LLM,也常作為推論引擎嵌入其他應用程式之中。筆者認為,此次最大的意義在於版本號規則明文化之後,整合它的開發者更容易評估每次更新帶來的影響。

不過,v1.0.0 本身就包含已棄用 API 的移除,仍依賴舊函式的應用程式將面臨移轉工作。主版本號會以什麼樣的頻率提升,還需觀察今後的發布情況才能判斷。

總結

llama.cpp 與 ggml 於 11 月 13 日同步升至 v1.0.0,完成公開 API 的整理,並訂出以版本號標示相容性的規則。功能面的變更同樣廣泛,涵蓋 FP8 KV 快取、主機記憶體 MoE 專家快取、新模型支援、Web UI 改版與伺服器安全強化。詳細變更內容可參閱 GitHub 的發布說明與 ggml-org 的部落格。