可在本地运行大语言模型的 Ollama，在最新的 0.31 版本中大幅提升了谷歌开源模型 Gemma 4 的生成速度[1]。在搭载苹果芯片的 Mac 上，据称在一项模拟编程工作的基准测试中，token 生成速度平均加快了约 90%[1]。该提速在默认设置下即已启用，而模型返回的输出内容本身并不改变。支撑这一提速的，是一种被称为"多 token 预测（MTP）"的机制。

Gemma 4 在 Ollama 0.31 中大幅提速

本次改进的对象是谷歌发布的轻量级开源模型 Gemma 4。在 Ollama 0.31 及之后的版本中，该模型的推理针对苹果芯片进行了优化，官方实测 token 生成速度平均提升约 90%[1]。

关键在于，速度提升的同时输出内容不会发生变化。这纯粹是为了"以更快的速度返回相同答案"而做的改进，并未牺牲准确性或响应质量。也无需修改任何设置，只要安装受支持的版本，就能自动获得提速带来的收益[1]。

支撑提速的"多 token 预测（MTP）"

速度提升的核心是多 token 预测（Multi-Token Prediction，以下简称 MTP）。Gemma 4 附带了一个与主模型并行运行、体积小且速度快的"草稿模型（起草者）"，由它一次性预测接下来的多个 token[1]。主模型随后在一次处理中统一验证这些预测方案，只保留判断为正确的 token。由于草稿模型远小于主模型，其预测成本很低，一旦命中，就能以处理一个 token 的代价一次确定多个 token[1]。

据称，这种方式与生成代码尤其契合。程序代码中有大量的闭合括号、反复出现的标识符以及模板化的写法，使得后续内容更容易被预测[1]。编程智能体在读取文件、运行工具的过程中会不断调用模型。每一次生成变快后，这类智能体的响应在体感上也更为流畅。

顺带一提，通过预测并验证多个 token 来实现提速的方法被称为"投机解码"，谷歌自身也介绍过为 Gemma 4 采用草稿模型实现的类似加速[2]。

三项技术上的巧思

Ollama 表示，为了榨出这一速度，它组合了三个要素[1]。

第一是起草 token 数量的自动调整。一次预测的最佳 token 数会随模型、量化方式、硬件以及生成过程中文本的可预测程度而变化。预测太少会留下性能余量，预测太多则会把时间耗在验证被拒绝的方案上，反而更慢。Ollama 在运行时跟踪预测的采纳率和每次验证所花的时间，随时选择每秒生成 token 数最高的长度。当预测不再被采纳时，它会自动退回到逐个 token 生成的方式[1]。

第二是处理流程的改进。从草稿模型的预测，到主模型的批量验证，这一整套流程都在 GPU 上一并执行。被拒绝的 token 在处理途中已写入缓存，但只需回退到事先记录的"回滚点"即可，因此撤销的成本很低[1]。

第三是 GPU 计算本身的效率提升。负荷最集中的是验证而非起草这一环节。验证需要处理 2 到 8 个 token 这种略显尴尬的批量大小，而传统计算方式要么针对"单个 token"、要么针对"大批量 token"进行优化，恰恰不擅长处理这个中间地带。Ollama 为这一场景向苹果的机器学习框架"MLX"贡献了相应的处理。它只需读取一次权重数据便可在整个批次中复用，在 M5 Max 与 nvfp4 的组合下，Gemma 4 最大的矩阵运算提速了 2 至 2.5 倍[1]。

如何开始使用

使用需要 macOS 版的 Ollama 0.31 或更高版本。安装完成后，可用以下命令启动由 Gemma 4 驱动的编程智能体。

ollama launch claude --model gemma4:12b-mlx

如果此前已获取过 Gemma 4，请重新拉取模型以获得支持 MTP 的版本。

ollama pull gemma4:12b-mlx

这一启动方式同样适用于 Codex、Droid、OpenCode、Copilot 等其他编程辅助工具[1]。据 Ollama 介绍，Gemma 4 是首个获得该提速的模型，后续还会有更多模型跟进[1]。

总结

Ollama 0.31 将多 token 预测与面向 MLX 的计算优化相结合，在苹果芯片上把 Gemma 4 的生成速度平均提升了约 90%。它在不改变输出的前提下变快，无需任何设置，尤其在编程智能体这类连续调用的场景中效果更为明显。在本地运行模型这件事上，其易用性又向实用迈进了一步。

出典:https://ollama.com/blog/faster-gemma-4-mlx-mtp

出典:https://blog.google/innovation-and-ai/technology/developers-tools/multi-token-prediction-gemma-4/