カナダ・トロント発のスタートアップsmartARMが、AIによる物体認識で握り方を自動で選ぶ義手を開発しています。手のひらに埋め込んだカメラで対象物を見て、握るべき形をその場で判断する仕組みで、Metaが公開しているオープンソースの視覚モデルや同社のスマートグラスも活用しながら実用化を進めています。

握り方を毎回切り替える負担をなくす

従来の義手の多くは、コップとスプーンのように形の違う物を持ち替えるたびに、利用者がボタン操作などで握り方のパターンを手動で切り替える必要がありました。一見単純な動作でも、実際には複数の手順を踏む作業になってしまいます。smartARMはこの負担そのものを取り除くことを狙い、手のひら部分に組み込んだカメラで周囲の物体を認識し、対象に応じた握り方をAIが自動で選ぶソフトウェアを開発しました。同社はこの制御ソフトを「Dexterity OS」と呼んでおり、公式サイトによると日常的な物体の認識対象は365種類を超え、今後もアップデートを通じて拡張していく方針です。

Metaの視覚モデルとスマートグラスを組み合わせる

物体認識の中核には、Metaが公開しているオープンソースの視覚モデル「DINOv2」を採用しています。少数の参考写真を読み込ませるだけで新しい物体を認識できるのが特徴で、以前なら数週間はかかっていたはずの適応が、写真数枚を登録するだけで済むようになったといいます。義手単体でも動作しますが、Meta AIグラスとMetaのWearables Device Access Toolkitを組み合わせることで、装着者の視点に近い映像データを追加で取り込み、認識精度をさらに高められる設計です。利用者はスマートフォンのアプリから新しい物体を登録でき、こうして蓄積されたデータはコミュニティ全体で共有され、それぞれの生活に合わせて義手を育てていけるようになっています。手順としては、カメラで見て、Dexterity OSが考え、指を動かして掴むという3段階で完結し、事前のトレーニングなしに直感的に使えることを重視しています。

元NFL選手も認めた使用感、現在はカナダでベータ提供中

長年smartARMを使用している元NFL選手のシェイクム・グリフィン氏は、拡張性とアクセシビリティこそが自分にとって最も重要だと述べ、これがコンシューマー向け義手の今後の姿になるとの見方を示しています。smartARMの創業者兼CEOであるハマヤル・チョードリー氏も、手を高性能にするだけでなく直感的に使えることが同じくらい重要だとし、物体認識と握り方の自動選択によって、利用者が操作方法ではなくやりたいことそのものに集中できる体験を目指していると説明しています。現在はカナダ国内でベータ提供の段階にあり、価格は正式発売が近づいた時点で公表するとされています。保険適用に向けて保険会社や医療機関との調整も進めているとのことで、一般提供に向けた優先アクセスの登録受付も行われています。

まとめ

smartARMは、手のひらのカメラとMetaの視覚モデルDINOv2を組み合わせることで、対象物に応じた握り方をAIが自動で選ぶ義手を開発しています。Meta AIグラスとの連携による認識精度の向上や、利用者自身が物体を追加登録できる仕組みも特徴です。現時点ではカナダでのベータ提供にとどまりますが、事前のトレーニングなしに直感的に使える義手として、一般提供に向けた動きが注目されます。