グーグルが顔のジェスチャーを利用したショートカットやスイッチでアシスティブ技術を強化

次の記事

D-IDが写真を独自のフォトリアルな動画に変換する「Speaking Portrait」の提供を開始

スマートフォンをもっとアクセシブルにすることは、常に大切な考えだ。Google(グーグル)の最新機能では、主に表情で周囲とコミュニケーションをとる人がすばやくアクションを実行したり操作したりすることができるようになる。同社のProject Activateアプリやカメラスイッチ設定を使うと、ユーザーはカスタムのフレーズを話したりスイッチインターフェイスで操作するといったタスクを顔のジェスチャーだけで実行できる。

Project Activateアプリやカメラスイッチ設定の新機能では、スマートフォンの前面カメラが使われる。前面カメラがリアルタイムで、微笑む、眉を上げる、口を開ける、左を見る、右を見る、上を見るの6種類の表情のいずれかを認識する。完全にデバイス上の処理で実行され、画像データは保存されず、一般に「顔認識」と考えられていることもしていない。ここで利用されている機械学習は、例えば眉を識別してカスタマイズ可能な一定のしきい値を超えたときに信号を送るといった機能に特化されている。

それぞれの表情に異なる動作を割り当てることができる。Androidはすでにジョイスティックや息を吹き込むチューブなどのアシスティブ技術を使って操作できるようになっているが、カメラスイッチはこうしたスイッチの互換性と統合されている。これにより周辺機器を何も使わずに操作できるようになり、ユーザーは選択を繰り返す、選択項目を確認する、戻るなどの操作にさまざまな顔のジェスチャーを使うことができる。

画像クレジット:Google

Project Activateアプリを使うと、フレーズを話すというような単独で完結するアクションと表情を紐づけることができる。障がいのある人の多くはさまざまな理由で介助者のサポートを必要とするが、介助者にはできないことがある。それは、介助者に話しかけることだ。だから眉を上げるとデバイスが「ねえ!」とか「お願いします」とか「ありがとう!」と言葉を発するように割り当てられるアプリは便利だ。

ジェスチャーを使ってオーディオファイルを再生したり、テキストメッセージを送信したり、あらかじめ決めておいた番号に電話をかけたりすることもできる。表情や機能を増やすのはこれからだが、言語についてもこれからだ。顔にはもちろん言語はないが、アプリや対応するドキュメントには言語がある。Project Activateアプリはまず英語圏の国を対象とし、そこから広げていく。一方のカメラスイッチの設定は最初から80言語に対応する。

Project Activateアプリとカメラスイッチ設定は同時に使用できないことを付記しておく。両方ともカメラへのアクセスと表情の識別が必要だからだ。したがって、ユーザーは操作をするための予備の方法を用意しておく必要がある。両方とも、ここ5年ほどで販売されたAndroidスマートフォンでかなりきちんと動作するはずだ。

最後に、視覚障がいのある人向けにラベルなどを読み上げるGoogleのLookoutアプリがアップデートされ、印刷物と同じように手書きの文字もスキャンして読めるようになる。付箋、店頭にある「釣りに行っています」の貼り紙、贈り主からのメッセージが書かれたグリーティングカードなどに便利だ。このアプリはこの1年間で利用者が大幅に増えて機能が強化されている(新たにユーロとインドのルピーの紙幣を識別できるようになることも成長を加速させるだろう)。

紹介した新機能はすべて今週中に無料で使えるようになる予定だ。

関連記事:グーグルの視覚障がい者向けAIアプリ「Lookout」で食品ラベルや長文のスキャンが可能に

画像クレジット:Google

原文へ

(文:Devin Coldewey、翻訳:Kaori Koyama)