日本的株式会社 higurashi 公開了可以邊聽邊說的全雙工(Full-Duplex)語音對話模型「Haru 4B」。經過預訓練、具備 4B(40 億)參數的基礎模型權重已在 Hugging Face 釋出,推論程式碼則放在 GitHub,兩者皆依 Apache License 2.0 免費公開。日本科技媒體 PC Watch 於 11 月 13 日報導了這則消息。

直接處理語音,能回應附和與插話

Haru 4B 的特色在於,它的設計目標是像人與人交談一樣「邊聽邊說」。過去多數語音對話系統採用串接(cascade)架構:先以語音辨識把聲音轉成文字,再由大型語言模型(LLM)產生回覆,最後用語音合成念出來,各步驟依序進行。這種方式要等對方說完才開始處理,因此很難適時附和,或在說話途中被打斷時做出反應。

根據 higurashi 官方網頁的說明,Haru 4B 不再把流程拆成這些階段,而是直接處理語音的端對端(End-to-End)模型,連「何時、如何回應」也一併學習。它把使用者的語音、模型自身的語音與文字這 3 條串流放在同一條時間軸上,約每 133 毫秒(7.5Hz)整合一次,交由單一語言模型處理。官方表示,這讓模型能以低延遲回應附和與插話。

以 Qwen3.5-4B 為基礎,支援 9 種語言

根據 Hugging Face 上的模型卡,文字部分以 Qwen3.5-4B 為骨幹,語音編碼則採用以連續數值表示聲音的 VibeVoice 聲學 tokenizer。語音的輸入與輸出採用 24kHz。

支援的語言共 9 種:日語、英語、中文、韓語、西班牙語、葡萄牙語、德語、法語與俄語。使用者也能用文字指定角色設定,或從參考音訊片段設定聲音。

可在自己的 GPU 或 Mac 上執行

GitHub 上公開的推論程式碼包含以 PyTorch 撰寫的實作、可在網頁瀏覽器中試用的展示,以及離線推論功能。執行環境需要記憶體約 12GB 的 NVIDIA GPU。此外也提供可在搭載 Apple silicon 的 Mac 上以 MLX 執行的實作、macOS App 的建置步驟,以及供推論伺服器 vLLM-Omni 使用的外掛程式。

程式碼與模型權重皆採用 Apache License 2.0 授權,包含商業用途在內都能廣泛使用。

屬於研究用基礎模型,使用時需留意

這次公開的是供研究使用的預訓練基礎模型。模型卡說明,它雖然能自然地對話,但並不是可靠的事實資訊來源,也不會像助理那樣遵循指示。higurashi 官方網頁同樣指出,4B 屬於有限的模型規模,提醒使用者在智慧程度上不要抱持過高期待。

此外,由於模型能模仿參考音訊中的聲音,模型卡要求使用者只使用自己有權使用的聲音。未經同意擅用他人聲音,可能衍生侵權或冒名的問題。

higurashi 表示,今後也將投入更大規模模型的開發。官方網頁並宣布,配合模型公開,預計於 11 月 26 日在日本東京本鄉三丁目一帶舉辦交流活動。

筆者觀點

能以語音自然交談的 AI 是各家業者積極投入的領域,但全雙工語音對話模型連同權重與推論程式碼,以如此寬鬆的授權公開的例子仍不多見。它支援包含日語在內的多種語言,個人也能在負擔得起的 GPU 或 Mac 上試用,對研究人員與開發者而言,可望成為驗證構想的立足點。另一方面,若只是基礎模型,回應品質仍有其極限,要整合進實際服務,勢必還需要額外訓練與安全面的對策。

總結

株式会社 higurashi 以 Apache License 2.0 公開了可以邊聽邊說的全雙工語音對話模型「Haru 4B」的權重與推論程式碼。它直接處理語音,約每 133 毫秒整合 3 條串流,藉此以低延遲回應附和與插話。由於這是研究用基礎模型,在事實正確性與聲音的使用上都需要特別留意。