Google 宣布推出全新語音翻譯模型「Gemini 3.5 Live Translate」，可將說出口的話語幾乎即時地轉換成另一種語言的語音[1]。該模型能自動辨識超過 70 種語言，並在保留說話者語調、語速與音高的同時，生成自然流暢的翻譯語音[1]。它將透過 Google 翻譯應用程式、Google Meet 以及面向開發者的 API 陸續開放使用[1]。

「邊說邊譯」的連續翻譯機制

Gemini 3.5 Live Translate 是 Google 最新的語音對語音(speech-to-speech)即時翻譯音訊模型[1]。根據 Google 說明，它能從輸入語音中自動偵測超過 70 種語言，並生成流暢自然的翻譯語音[1]。

過去不少做法採用「輪流式」，要等說話者說完才開始翻譯[1]。相較之下，3.5 Live Translate 會連續不斷地生成語音[1]。它在「等待更多脈絡以提升品質」與「立即翻譯以跟上說話者」之間取得平衡，因此不會出現尷尬的停頓，整段對話期間輸出僅比說話者落後數秒[1]。

Google 表示，翻譯自其機器學習的早期階段起就是一項重要工作，如今每月透過旗下各項產品為數十億使用者翻譯超過 1 兆個詞[1]。

面向開發者、企業與一般使用者的分階段推出

Gemini 3.5 Live Translate 自當日起透過 Google 旗下各項產品陸續推出，不同類型的使用者開放方式有所不同[1]。

面向開發者，它透過 Gemini Live API 與 Google AI Studio 以公開預覽形式提供[1]。面向企業，本月起在 Google Meet 中開放私人預覽[1]。而一般使用者則可透過 Android 版與 iOS 版的 Google 翻譯應用程式使用[1]。

抗噪能力強，支援多語言輸入

對開發者而言，其優勢在於能直接處理以串流方式傳輸的語音[1]。無需手動切換設定即可處理多語言輸入，且具備抗噪能力，可讓應用程式在嘈雜、難以預測的環境中正常運作[1]。Google 表示，它可用於多語言通話、會議、授課、轉播等場景中的即時口譯[1]。

藉由 Gemini Live API，Agora、Fishjam、LiveKit、Pipecat、Vision Agents 等開發者平台讓語音翻譯應用程式的建置與發布變得更為容易[1]。這些整合方案承擔了即時媒體串流基礎設施這一複雜部分，使開發者能專注於打磨使用體驗[1]。

實證測試也已展開。叫車服務商 Grab 正在試用該模型，以便在上車會合時讓司機與乘客能近乎即時地進行多語言溝通[1]。Grab 的使用者每月透過該服務進行的語音通話超過 1,000 萬次[1]。此外，CJ ENM、LiveKit 等公司也給予正面回饋，讚賞其翻譯品質、準確度以及較低的延遲[1]。

在 Google Meet 與 Google 翻譯應用程式中的體驗

Google Meet 的語音翻譯不久後也將採用 3.5 Live Translate[1]。支援的語言從先前的 5 種擴增到超過 70 種，一場會議可支援超過 2,000 種語言組合[1]。過去翻譯僅限於與英語之間互譯，如今這項限制被取消[1]。介面也經過更新，以便快速使用語音翻譯[1]。這項更新本月起面向部分企業版 Google Workspace 客戶以私人預覽形式提供，更大範圍的推出預計於今年稍晚進行[1]。

在 Google 翻譯應用程式中，該功能將在 Android 與 iOS 上面向全球推出[1]。使用 Live translate 功能時，只需連接任一副耳機，即可體驗在超過 70 種語言間反映說話者語氣的翻譯[1]。

在 Android 上，Google 也開始推出全新的「聆聽模式(listening mode)」[1]。該功能可讓翻譯語音直接透過手機聽筒播放[1]。像一般通話那樣將手機貼近耳朵，翻譯後的語音便會直接傳來，在手邊沒有耳機、又想快速且不被旁人聽到地確認翻譯的場景中格外實用[1]。

生成語音帶有 SynthID 浮水印

Gemini 3.5 Live Translate 生成的所有語音都會帶有電子浮水印「SynthID」[1]。這是一種直接嵌入語音輸出、人耳無法察覺的浮水印[1]。Google 表示，透過讓 AI 生成的內容維持可偵測，目的在於協助防止不實資訊擴散[1]。關於安全與負責任地提供服務的理念，該公司在模型卡(model card)中作了說明[1]。

總結

Gemini 3.5 Live Translate 是 Google 推出的全新語音翻譯模型，能在保留說話者語氣的同時，連續翻譯超過 70 種語言。它透過開發者 API、Google Meet 與 Google 翻譯應用程式分階段提供，可望在會議、通話以及旅途中的對話等存在語言隔閡的場景中投入實用。生成的語音帶有 SynthID 浮水印，是一項兼顧安全性的設計。

來源：https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-live-3-5-translate/