Старшеклассники из США разработали приложение, которое в распознаёт язык жестов и озвучивает перевод через умные очки

Двое старшеклассников из Северного Техаса Шивен Велагапуди и Аади Сангхви разработали приложение Hand Wave, которое в режиме реального распознаёт американский язык жестов или амслен (American Sign Language, ASL) и озвучивает перевод пользователю через смарт-очки со встроенной камерой.

Школьники потратили на разработку этого приложения несколько месяцев. По словам подростков, они подхватили эту идею ради забавы и решения реальных проблем. Проект возник из личного опыта. У Сангхви есть дядя, который говорит на ASL, а отец Велагапуди внезапно потерял слух на одно ухо. Велагапуди рассказал, что технология призвана помочь большему числу людей понять сообщество, говорящее на амслене.

Велагапуди и Сангхви использовали машинное обучение для программирования букв и фраз амслена. Жесты отображаются в виде руки и переводятся с помощью умных очков. Сангхви заявил, что рассматривает этот проект как способ сблизить людей.

Друзья считают, что дополнительное время и финансирование позволят создать прототип, готовый к использованию за пределами их домашнего офиса.

В прошлом году Сангхви рассказал, что собрал переводчик языка жестов в реальном времени при помощи очков Meta* AI. Несмотря на отсутствие официального SDK и ограничений Bluetooth, Сангхви и Велагапуди разработали рабочий процесс. Они транслировали видео в Instagram**, настроили на ноутбуке приёмник, переводили данные (менее чем за 50 мс), а затем передавали их через WebSocket на iPhone, чтобы система зачитывала перевод вслух.

Модель построили на архитектуре YOLOv11, дообученной на наборе данных с несколькими распространёнными фразами.

Весной прошлого года американские исследователи представили кольцо на базе ИИ — SpellRing, которое помогает переводить с ASL в режиме реального времени. Также гаджет использует микросонар для отслеживания дактилологии. На тот момент SpellRing можно было применять для ввода текста на ПК и смартфоне при помощи дактилологии, которая используется в амслене для написания слов без таких знаков, как имена собственные и технические термины.

_{Meta Platforms*, а также принадлежащие продукты Facebook** и Instagram**:
*признана экстремистской организацией, её деятельность в России запрещена;
*запрещены в России.}