Google 於 10 月 1 日為 AI 助理 Gemini 的即時對話功能 Gemini Live,新增了面向視障與低視力使用者的無障礙功能「Guided Vision」。它透過手機鏡頭以語音描述周遭環境,使用者可以邊對話邊確認看不清楚的文字或物品位置。此功能支援 Android 9 以上版本,也能從 TalkBack 啟動。

透過鏡頭用語言描述周遭環境

在 Gemini Live 中分享鏡頭後,Guided Vision 會讓 AI 描述眼前的情況。聽完描述後,使用者還可以繼續追問,例如「再說得詳細一點」「右邊是什麼?」。

當鏡頭的角度或距離不合適時,AI 也會給出重新取景的語音提示,例如「請再靠近一些」。在看不見的情況下很難對準畫面,因此這項引導在實際使用上相當重要。

設想的使用情境

Google 列出的用途以日常生活中的小困擾為主。

例如讀出食品包裝上的成分標示,或家電旋鈕上的小字。也可以用來尋找放錯位置的物品、在架上找到目標物品、確認衣物的顏色與花紋,以及了解陌生空間的配置。

對話支援多種語言,可用的地區與語言以 Gemini Live 支援的範圍為準。

支援環境與開啟方式

此功能自 10 月 1 日起開始提供,支援 Android 9 以上版本的裝置。

開啟方式有 3 種:第一是在 Gemini 應用程式的個人資料設定中開啟「Use Guided Vision in Live」;第二是透過 Android 設定中的無障礙捷徑呼叫;第三是從 TalkBack 的三指點按選單啟動。平常使用螢幕朗讀的使用者,可以沿用熟悉的 TalkBack 操作來開始使用。

與 Aira 合作調整模型

開發過程中獲得了提供視障者視覺協助服務的 Aira 協助。據稱模型運用了 Aira 累積的數萬小時視覺口譯資料,並有超過 1,000 名 Aira 可信測試者參與改進。

由具有實際使用經驗的測試者試用並調整,這一點對於判斷功能的實用性相當值得留意。

使用前需要了解的限制

Google 明確表示,不要將 Guided Vision 用於步行導航、障礙物偵測或安全移動引導,它也無法取代白手杖等行動輔具。AI 可能出錯,也不是醫療器材。

它應被視為補足難以看清資訊的「眼睛」,涉及安全的判斷仍須搭配傳統方式。

總結

Guided Vision 是針對視障與低視力使用者打磨的 Gemini Live 鏡頭分享功能。自 10 月 1 日起,可在 Android 9 以上裝置、Gemini Live 支援的地區與語言中使用。它適合用來讀取標籤、尋找物品等日常小情境,但並不負責行動安全。由於可以透過 TalkBack 與無障礙捷徑啟動,不妨先從身邊的讀取任務開始嘗試。