日本公司株式会社 higurashi 发布了可以边听边说的全双工(Full-Duplex)语音对话模型 Haru 4B。这一经过预训练、参数规模为 4B(40 亿)的基座模型,其权重已在 Hugging Face 上开放,推理代码则发布在 GitHub,二者均以 Apache License 2.0 免费提供。日本科技媒体 PC Watch 于 11 月 13 日报道了这一消息。

直接处理语音,可应对附和与插话

Haru 4B 的特点在于,其设计目标是像人与人交谈那样“边听边说”。以往大多数语音对话系统采用级联式架构:先用语音识别把声音转为文字,再由大语言模型(LLM)生成回复,最后通过语音合成朗读出来,各环节依次执行。这种方式必须等对方说完才开始处理,因此很难适时附和,也难以在说话中途被打断时作出反应。

根据 higurashi 官方页面的介绍,Haru 4B 不再把流程拆分为这些阶段,而是直接处理语音的端到端(End-to-End)模型,连“何时、如何回应”也一并学习。它将用户语音、模型自身语音和文本这 3 路流置于同一时间轴上,大约每 133 毫秒(7.5Hz)整合一次,交由单一语言模型处理。官方称,这使模型能够以低延迟应对附和与插话。

基于 Qwen3.5-4B,支持 9 种语言

根据 Hugging Face 上的模型卡,文本部分以 Qwen3.5-4B 为骨干,音频编码则采用以连续数值表示语音的 VibeVoice 声学分词器。音频输入输出采用 24kHz。

支持的语言共 9 种:日语、英语、中文、韩语、西班牙语、葡萄牙语、德语、法语和俄语。用户还可以用文本指定角色设定,或通过参考音频片段设置声音。

可在本地 GPU 或 Mac 上运行

GitHub 上发布的推理代码包括基于 PyTorch 的实现、可在网页浏览器中试用的演示,以及离线推理功能。运行环境需要显存约 12GB 的 NVIDIA GPU。此外还提供了可在搭载 Apple silicon 的 Mac 上通过 MLX 运行的实现、macOS 应用的构建步骤,以及面向推理服务器 vLLM-Omni 的插件。

代码和模型权重均采用 Apache License 2.0 许可,包括商业用途在内均可广泛使用。

属于研究用基座模型,使用时需谨慎

此次发布的是面向研究的预训练基座模型。模型卡指出,它虽然能够自然地对话,但并不是可靠的事实信息来源,也不会像助手那样遵循指令。higurashi 官方页面同样提到 4B 属于有限的模型规模,提醒用户不要对其智能水平抱有过高期望。

此外,由于模型可以模仿参考音频中的声音,模型卡要求用户只使用自己有权使用的声音。未经许可使用他人声音,可能引发侵权或冒充他人等问题。

higurashi 表示,今后也将着手开发更大规模的模型。官方页面还预告,将配合此次模型发布,于 11 月 26 日在日本东京本乡三丁目一带举办交流活动。

笔者观点

能够用语音自然交流的 AI 是各家厂商重点投入的领域,但全双工语音对话模型连同权重与推理代码一起以如此宽松的许可公开的例子仍不多。它支持包括日语在内的多种语言,个人也能在价格可接受的 GPU 或 Mac 上试用,对研究人员和开发者而言,有望成为验证想法的起点。另一方面,仅凭基座模型,应答质量仍有局限,若要集成到实际服务中,还需要额外训练和安全方面的措施。

总结

株式会社 higurashi 以 Apache License 2.0 开放了可边听边说的全双工语音对话模型 Haru 4B 的权重和推理代码。它直接处理语音,大约每 133 毫秒整合 3 路流,从而以低延迟应对附和与插话。由于这是研究用基座模型,在事实准确性和声音使用方面都需要格外注意。