DeepMind、Pixel 11で手話テキスト変換を提供開始

Google DeepMindのSL2Tは、Pixel 11のGboardのディクテーションおよびLive Transcribeにおいて、アメリカ手話を直接英語テキストに翻訳する。同モデルは50以上の手話にわたる10万時間以上のデータで学習され、FLEURS-ASLでのゼロショット評価で70 BLEURTを記録した。従来の研究の限界となっていたグロスアノテーションを省略することで人為的な語彙の上限を排除し、品質がデータ量に比例して向上するようになった。また、デバイス上のMediaPipe Holistic処理により骨格座標のみをサーバに送信するため、生の動画データがネットワークに送信されることはない。手話翻訳が研究デモではなく消費者向け製品に搭載されるのは史上初となる。開発は常設のろう者諮問委員会と共同で行われ、同委員会はモデルの限界に関する公開報告書を共同執筆している。

出典： deepmind.google ↗

ASLでの手話は、英語でタイピングするよりも速く、より自然で、より楽しい。

Google DeepMindのテスター

なぜ重要か

→ 7000万人の聴覚障がい者が、初めて電話、メッセージ、検索に母語である手話でアクセスできるようになった。
→ 端末内でのポーズ追跡（未加工動画は送信されない）と直接翻訳（逐語訳なし）により、これまでの品質の限界を打ち破る。
→ 聴覚障がい者諮問委員会と共同で構築され、影響報告書も公開。ガバナンスモデルは研究デモの段階を超えた。

スマートフォンで手話が利用可能に