オープンソースのLLM推論エンジン「llama.cpp」を開発するggml-orgは2026年11月13日、初のメジャーバージョンとなる「v1.0.0」をGitHubのリリースページで公開した。土台のテンソルライブラリ「ggml」も同時にv1.0.0となり、今後は互換性を壊す変更をメジャー番号の更新で示す方針を打ち出している。FP8形式のKVキャッシュやMoEモデル向けのキャッシュなど、推論まわりの機能も加わった。
公開APIを整理し、非推奨の35関数を削除した
v1.0.0の大きな柱は、C言語の公開API(llama.h)の整理である。リリースノートでは、非推奨となっていた35の関数とllama_set_warmupを削除し、defrag_thold(コマンドラインでは--defrag-thold)も取り除いたと説明している。
一方で、これまで別のヘッダーllama-ext.hにあったNextN(投機的デコード向け)のAPIをllama.hへ移した。llama_set_embd_state_srcはllama_set_ctx_state_srcに名前が変わっている。llama.cppをライブラリとして組み込んでいるアプリは、更新の際にこれらの変更への対応が要る。
今後は互換性を壊す変更だけがメジャー番号を上げる
Hugging Face上のggml-orgの公式ブログは、今後の番号の付け方をセマンティックバージョニングに沿って示した。区分は次のとおりだ。
- メジャー:
./includeにある公開C APIの互換性を壊す変更 - マイナー: 後方互換のある機能追加、バックエンドの更新、新しいモデルへの対応、APIの追加
- パッチ: APIを変えないバグ修正
ブログは、llama.cppとggmlの両方で、APIとABIの非互換をメジャー番号の更新で示すとしている。llama.cppはこれまで「b」と通し番号を付けたビルドを頻繁に公開してきた。リリースページには今も夜間ビルドが並んでおり、日々の更新と節目のリリースを並行して出す形となる。
FP8のKVキャッシュとMoE向けキャッシュを追加した
推論の中身では、OCP規格のFP8形式でKVキャッシュを持てるようになった。-ctkと-ctvのオプションにf8_e4m3を指定して使う。KVキャッシュは扱う文脈が長いほど大きくなるメモリー領域で、ビット数の少ない形式で持てれば必要なメモリーを抑えられる。
MoE(Mixture of Experts)モデル向けには、エキスパートの重みをホスト側のメモリーに置くキャッシュが加わった。キャッシュに無かった分をCPUで処理する割合を設定でき、入れ替えの方式としてLRFUとClassLRUを用意する。llama_context_paramsにはmoe_cache_sizeとmoe_cache_cpu_shareの2項目が追加された。
ggml側のv1.0.0では、非推奨APIの削除に加えて、YaRNの切り詰め(truncation)とFP8への対応が入った。
新モデルへの対応、Web UIの刷新、サーバーの安全対策も含む
新たに対応したモデルは、Kimi-K3.1-Pro、Ripple-65B-Preview(ricursive)、xing4_0、音声合成のdrama-3 TTS(fishaudio)である。マルチモーダル処理のmtmdを通じて、MageVL-CoworkとKimi-K3.1の画像入力にも対応した。サーバーには音声合成用の/v1/audio/speechが加わっている。
付属のWeb UIは作り直された。サイドバーの折りたたみとグループ分け、Markdownの表示をその場で確かめられる編集画面、スマートフォン向けの配置、右クリックメニュー、PDF添付のサムネイル表示が入っている。
サーバー機能の安全面では、--allow-unauthenticated-toolsと--media-allow-private-urlsの2つのオプションを設けた。CORS、DNSリバインディング、SSRFに関する修正も含まれる。
組み込む側にとって更新の判断がしやすくなる
llama.cppは手元のPCでLLMを動かす用途で広く使われ、ほかのアプリの内部に推論エンジンとして組み込まれる例も多い。筆者は、番号の付け方が明文化されたことで、組み込む側が更新の影響を見積もりやすくなる点にこそ今回の意味があると見る。
ただし、v1.0.0そのものは非推奨APIの削除を含むため、古い関数に頼るアプリには移行の作業が生じる。メジャー番号がどの程度の間隔で上がっていくのかは、今後のリリースの積み重ねを見て判断することになりそうだ。
まとめ
llama.cppとggmlは11月13日にそろってv1.0.0となり、公開APIの整理と、互換性の扱いを番号で示すルールが定まった。機能面でもFP8のKVキャッシュ、MoE向けのホストメモリーキャッシュ、新モデルへの対応、Web UIの刷新、サーバーの安全対策と、変更は幅広い。細かな変更点はGitHubのリリースノートとggml-orgのブログにまとまっている。