谷歌于 10 月 1 日为 AI 助手 Gemini 的实时对话功能 Gemini Live 新增了面向盲人和低视力用户的无障碍功能“Guided Vision”。它通过手机摄像头用语音描述周围环境,用户可以边对话边确认看不清的文字或物品位置。该功能支持 Android 9 及以上版本,也可以从 TalkBack 中调用。

通过摄像头用语言描述周围环境

在 Gemini Live 中共享摄像头后,Guided Vision 会让 AI 描述眼前的情况。听完描述后,用户还可以继续追问,比如“再详细一点”“右边是什么?”。

当摄像头的角度或距离不合适时,AI 还会给出重新取景的语音提示,例如“请再靠近一些”。看不见的情况下很难对准画面,因此这种引导在实际使用中很有价值。

设想的使用场景

谷歌列出的用途以日常生活中的小困扰为主。

例如读出食品包装上的成分表,或家电旋钮上的小字。也可以用来寻找放错位置的物品、在架子上找到目标物品、确认衣服的颜色和花纹,以及了解陌生空间的布局。

对话支持多种语言,可用的地区和语言以 Gemini Live 支持的范围为准。

支持环境与开启方法

该功能自 10 月 1 日起开始提供,支持 Android 9 及以上版本的设备。

开启方式有 3 种:一是在 Gemini 应用的个人资料设置中打开“Use Guided Vision in Live”;二是通过 Android 设置中的无障碍快捷方式调用;三是通过 TalkBack 的三指点按菜单启动。平时使用屏幕朗读的用户,可以沿用熟悉的 TalkBack 操作来开始使用。

与 Aira 合作调整模型

开发过程中得到了为视障者提供视觉辅助服务的 Aira 的协助。据称模型利用了 Aira 积累的数万小时视觉口译数据,并有超过 1,000 名 Aira 可信测试者参与了改进。

由有实际使用经验的测试者试用并调整,这一点对判断功能的实用性很值得关注。

使用前需要了解的限制

谷歌明确表示,不要将 Guided Vision 用于步行导航、障碍物检测或安全出行引导,它也不能替代盲杖等出行辅助工具。AI 可能出错,也不是医疗器械。

它应当被视为补充难以看清的信息的“眼睛”,涉及安全的判断仍需配合传统手段。

总结

Guided Vision 是针对盲人和低视力用户打磨的 Gemini Live 摄像头共享功能。自 10 月 1 日起,可在 Android 9 及以上设备上、Gemini Live 支持的地区和语言中使用。它适合读取标签、寻找物品等日常小场景,但并不负责出行安全。由于可以通过 TalkBack 和无障碍快捷方式调用,不妨先从身边的读取任务开始尝试。