日本 AI 新創公司 higurashi 株式會社於 2026 年 11 月 13 日(日本時間)公開了可同時聆聽與說話的「全雙工(full-duplex)」語音對話基礎模型「Haru-4B」。這是一款以語音為輸入、以語音回應的 speech-to-speech 模型,主要訓練語言共 9 種,其中包含日語。模型權重已在 Hugging Face 公開,程式碼則放在 GitHub,兩者皆採用 Apache License 2.0 授權。
單一模型即可處理附和與插話
過去多數語音助理採用輪流發言的方式,必須等使用者說完才會回應。Haru-4B 則能同時處理「聽使用者說話」與「自己發出聲音」兩件事。該公司表示,目標是讓使用者感覺像在與真人交談,而不是在操作代理程式或助理。
模型每 133 毫秒同時處理一次輸入與輸出語音。內部將使用者語音、模型語音與模型文字三條資料流相加,交由單一共用的語言模型處理。據該公司說明,相較於將三者交錯排列的方式,此設計可將上下文長度壓縮至三分之一。語音以 7.5 Hz 的連續潛在表示呈現,並未使用離散碼本。
以 Qwen3.5-4B 為基礎,使用逾 4,000 萬小時語音訓練
語言模型的基礎採用 Alibaba Cloud 公開的 Qwen3.5-4B。該公司表示,選擇的是多語能力較強的新一代 LLM。
預訓練使用了涵蓋 160 種以上語言、總計超過 4,000 萬小時的語音。主要語言為英語、西班牙語、葡萄牙語、德語、法語、中文、日語、俄語與韓語共 9 種。該公司指出,以 LLM 或語音合成產生的輪流式對話資料已排除在訓練之外。此外還使用了超過 1,300 萬小時、依說話者分離的全雙工對話資料,其中包含最長 60 分鐘的對話。運算資源方面,預訓練以 256 張 NVIDIA B200 GPU 進行約 8 天。
為了製作全雙工訓練資料,該公司另外開發了能同時進行語音分離與修復的模型「FastDialogueSidon」,並在 GitHub 公開。此次開發獲得日本經濟產業省與 NEDO 推動的生成式 AI 開發支援計畫「GENIAC」,以及 Amazon Web Services 的支援。
在 MacBook 上也能執行,延遲約 65 毫秒
該公司公布的延遲數據,是在搭載 Apple M1 Max 的 MacBook 上約 65 毫秒。測量條件為使用以自製 Metal 核心最佳化的 Swift 原生應用程式、int8 權重,並連接有線麥克風與耳機。此數值涵蓋語音編碼、語言模型推論、語音解碼及裝置輸入輸出,但不包含將語音切分為影格所產生的延遲。該公司明確指出,影格化另會帶來最多 133 毫秒的演算法延遲。
模型也支援在 GPU 上運作,可透過 vLLM-Omni 執行。該公司表示,在 NVIDIA B300 上,語音編碼、解碼加上語言模型一個步驟合計約 15 毫秒。
在本機試用需約 12GB 記憶體的 GPU 或 Apple silicon Mac
GitHub 儲存庫內含 PyTorch 實作與網頁示範用伺服器、適用於 Apple silicon 的 MLX 實作與 macOS 應用程式,以及 vLLM-Omni 外掛。根據模型說明頁,在 NVIDIA GPU 上執行約需 12GB 記憶體。由於藍牙裝置會增加 100 毫秒以上的延遲,官方建議使用有線耳機與麥克風。
模型並未附帶預設聲音,使用者需自行準備 3 秒至 3 分鐘的參考語音。模型說明頁也要求使用者只能使用自己有權使用的聲音。
值得注意的是,Haru-4B 的定位是供研究用途的預訓練基礎模型。模型說明頁明確表示,它並非可靠的事實資訊來源,也不會像助理那樣遵循指令。該公司也坦承,由於語言模型規模相對較小,回應品質有其極限,且在說話重疊的部分可能殘留分離錯誤或雜訊。
筆者觀點
筆者認為,Haru-4B 的意義與其說在於「聰明程度」,不如說在於對話的節奏感。若 4B 等級的小型模型能在筆電上運作,並自然地進行包含附和與插話在內的交談,語音 AI 的使用體驗將大幅改變。權重與程式碼以 Apache License 2.0 釋出,對研究日語語音對話的團隊而言也是相當友善的條件。
另一方面,模型尚未經過遵循指令的調整,目前還無法直接當作日常助理使用。該公司表示,正在進行參數量超過 100B 的更大型全雙工模型預訓練,並預計公開更詳細的技術報告與訓練程式碼。小型版本所實現的低延遲架構,能在大型版本中維持到什麼程度,將是下一個觀察重點。
總結
higurashi 的 Haru-4B 是以含日語在內的 9 種語言為主要訓練語言的全雙工語音對話基礎模型。它在 MacBook 上實現約 65 毫秒的低延遲,權重與程式碼皆以 Apache License 2.0 公開。雖然屬於研究用基礎模型、回應品質有限,但作為能在自己電腦上體驗「像與人交談般」語音 AI 的素材,值得關注。
規格與數據依據 higurashi 於 2026 年 11 月 13 日(日本時間)在官方技術部落格發表的內容,以及該公司公開的頁面。