Googleは10月1日、AIアシスタント「Gemini」のリアルタイム会話機能「Gemini Live」に、視覚障害・ロービジョンのユーザー向け機能「Guided Vision」を追加しました。スマートフォンのカメラを通じて周囲の様子を音声で説明し、見えにくい文字や物の位置を会話しながら確かめられる機能です。Android 9以降が対象で、TalkBackからも呼び出せます。
カメラ越しに周囲を言葉で伝える
Guided Visionは、Gemini Liveでカメラを共有すると、AIが目の前の状況を言葉で説明してくれる仕組みです。説明を聞いたあとに「もう少し詳しく」「右にあるものは何?」といった追加の質問もできます。
カメラの向きや距離が合っていないときは、AIが「もう少し近づけてください」のように、構え直すための声かけをしてくれる点も特徴です。見えない状態でカメラの画角を合わせるのは難しいため、この案内が実用面で効いてきます。
想定されている使い道
Googleが挙げている用途は、日常の細かな困りごとが中心です。
食品パッケージの成分表示や、家電のダイヤルに書かれた小さな文字を読み上げる使い方があります。部屋の中で置き忘れた物を探したり、棚の中から目的の物を見つけたりする場面も想定されています。このほか、服の色や柄の確認、見慣れない空間のレイアウトの把握にも使えるとされています。
会話は複数の言語で行えます。利用できる地域と言語は、Gemini Liveが対応している範囲に準じます。
対応環境と有効化の方法
提供は10月1日に始まりました。対象はAndroid 9以降の端末です。
有効にする方法は3通りあります。1つ目はGeminiアプリのプロフィール設定から「Use Guided Vision in Live」をオンにする方法です。2つ目はAndroidの設定にあるユーザー補助のショートカットから呼び出す方法です。3つ目はTalkBackの3本指タップのメニューから起動する方法です。普段から画面読み上げを使っている人は、TalkBackの操作の延長で使い始められます。
Airaとの協業でモデルを調整
開発には、視覚障害者向けの視覚サポートサービスを提供するAiraが協力しています。Aira側が蓄積してきた数万時間規模の視覚通訳のデータを活用したとされ、Airaのトラステッドテスターのうち1,000人以上がモデルの改善に参加しました。
当事者のテスターが実際の使い方を試して調整した点は、機能の実用性を考えるうえで見ておきたいポイントです。
使う前に知っておきたい制限
Googleは、Guided Visionを歩行時のナビゲーションや障害物の検知、安全な移動の案内には使わないよう明記しています。白杖などの移動補助の代わりにはならないという位置づけです。AIは誤りを含む可能性があり、医療機器でもありません。
あくまで「見えにくい情報を補う目」として使い、安全に関わる判断は従来の手段と併用することが前提になります。
まとめ
Guided Visionは、Gemini Liveのカメラ共有を視覚障害・ロービジョンのユーザーに合わせて作り込んだ機能です。10月1日から、Android 9以降の端末で、Gemini Liveが使える地域と言語で提供されています。ラベルの読み取りや探し物など、日常の小さな場面で役立つ一方、移動の安全を担う機能ではない点には注意が必要です。TalkBackやユーザー補助のショートカットから呼び出せるため、まずは身近な読み取りから試してみるとよいでしょう。
