日本 AI 初创公司 higurashi 株式会社于 2026 年 11 月 13 日(日本时间)发布了可同时聆听与说话的“全双工(full-duplex)”语音对话基础模型“Haru-4B”。这是一款以语音作为输入、以语音作出回应的 speech-to-speech 模型,主要训练语言共 9 种,其中包括日语。模型权重已在 Hugging Face 开放,代码则发布在 GitHub,二者均采用 Apache License 2.0 许可。
单个模型即可处理附和与插话
以往的语音助手大多采用轮流发言的机制,需要等用户说完才会回应。Haru-4B 则可以同时进行“听用户说话”和“自己发出声音”两项处理。该公司表示,其目标是让用户感觉像在与真人交谈,而不是在操作智能体或助手。
模型每 133 毫秒同时处理一次输入和输出语音。在内部,模型将用户语音、模型语音和模型文本三路数据流相加,交由一个共享的语言模型处理。据该公司介绍,与把三者交替排列的方式相比,这种设计可将上下文长度压缩到三分之一。语音以 7.5 Hz 的连续潜在表示来表达,没有使用离散码本。
基于 Qwen3.5-4B,使用超过 4,000 万小时语音训练
语言模型底座采用 Alibaba Cloud 开放的 Qwen3.5-4B。该公司称,选择的是多语言能力更强的新一代 LLM。
预训练使用了覆盖 160 多种语言、总计超过 4,000 万小时的语音。主要语言为英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语和韩语共 9 种。该公司指出,由 LLM 或语音合成生成的轮流式对话数据已被排除在训练之外。此外还使用了超过 1,300 万小时、按说话人分离的全双工对话数据,其中包括最长 60 分钟的对话。算力方面,预训练使用 256 块 NVIDIA B200 GPU,耗时约 8 天。
为制作全双工训练数据,该公司还开发了可同时完成语音分离与修复的模型“FastDialogueSidon”,并在 GitHub 上开放。此次开发得到了日本经济产业省与 NEDO 推动的生成式 AI 开发支持项目“GENIAC”以及 Amazon Web Services 的支持。
在 MacBook 上也能运行,延迟约 65 毫秒
该公司公布的延迟数据为:在搭载 Apple M1 Max 的 MacBook 上约 65 毫秒。测试条件是使用经自研 Metal 内核优化的 Swift 原生应用、int8 权重,并连接有线麦克风和耳机。该数值涵盖语音编码、语言模型推理、语音解码以及设备输入输出,但不包括将语音切分为帧所产生的延迟。该公司明确指出,分帧还会额外带来最多 133 毫秒的算法延迟。
模型同样支持在 GPU 上运行,可通过 vLLM-Omni 部署。该公司表示,在 NVIDIA B300 上,语音编码、解码加上语言模型的一个步骤合计约 15 毫秒。
本地试用需要约 12GB 显存的 GPU 或 Apple silicon Mac
GitHub 代码仓库中包含 PyTorch 实现和网页演示服务器、面向 Apple silicon 的 MLX 实现和 macOS 应用,以及 vLLM-Omni 插件。根据模型卡,在 NVIDIA GPU 上运行约需 12GB 内存。由于蓝牙设备会增加 100 毫秒以上的延迟,官方建议使用有线耳机和麦克风。
模型没有附带预设音色,用户需要自行准备 3 秒至 3 分钟的参考语音。模型卡还要求用户只使用自己有权使用的声音。
需要注意的是,Haru-4B 的定位是面向研究用途的预训练基础模型。模型卡明确表示,它并不是可靠的事实信息来源,也不会像助手那样遵循指令。该公司也承认,由于语言模型规模相对较小,回应质量存在局限,而且在说话重叠的部分可能残留分离错误或噪声。
笔者观点
笔者认为,Haru-4B 的价值与其说在于“聪明程度”,不如说在于对话的节奏感。如果 4B 级别的小模型能够在笔记本电脑上运行,并自然地完成包括附和与插话在内的交流,语音 AI 的使用体验将会发生很大变化。权重和代码以 Apache License 2.0 开放,对研究日语语音对话的团队来说也是相当友好的条件。
另一方面,该模型尚未经过遵循指令的调优,目前还不能直接作为日常助手使用。该公司表示,正在进行参数量超过 100B 的更大规模全双工模型的预训练,并计划公开更详细的技术报告和训练代码。小模型实现的低延迟架构在大模型上能保持到什么程度,将是下一个看点。
总结
higurashi 的 Haru-4B 是以包括日语在内的 9 种语言为主要训练语言的全双工语音对话基础模型。它在 MacBook 上实现了约 65 毫秒的低延迟,权重和代码均以 Apache License 2.0 开放。虽然它属于研究用基础模型,回应质量有限,但作为能在自己的电脑上体验“像与人交谈一样”的语音 AI 的素材,值得关注。
规格与数据依据 higurashi 于 2026 年 11 月 13 日(日本时间)在官方技术博客发布的内容,以及该公司公开的页面。