Инженер добавил микронавес с сонаром на очки для цифрового озвучивания беззвучных команд человека

Американский инженер и аспирант Корнеллского университета Жуйдун Чжан создал очки с сонаром под названием EchoSpeech. Устройство предназначено для цифрового анализа и озвучивания беззвучных команд человека, которые отдаются с помощью лицевой артикуляции.

На очках установлены специальные миниатюрные динамики, микрофоны и небольшая батарейка, которой хватает на 10 часов автономной работы. Также там есть система беспроводной связи для передачи данных по беспроводному каналу на смартфон, где приложение-компаньон обрабатывает речь пользователя с помощью специальных алгоритмов на базе ИИ и преобразует в команды или проводит их запись.

Принцип работы EchoSpeech:

• два направленных вниз миниатюрных динамика установлены на нижней стороне левой рамки очков, а два небольших микрофона расположены под правой частью оправы;
• динамики излучают неслышимые ухом звуковые волны, которые отражаются от движущегося рта пользователя и фиксируются микрофонами;
• эхо-сигналы от лица анализируются в режиме реального времени специальным алгоритмом на смартфоне, подключённом по беспроводной сети. Этот алгоритм обучен связывать определённые звуковые колебания с точными движениями лица и преобразовывать безмолвные команды в цифровые элементы.

Для использования очков EchoSpeech на разных людях необходимо проводить калибровку устройства в течение нескольких минут, чтобы система адаптировалась к мимике конкретного пользователя. Разработчик проекта оценил точность преобразования команд в 95% в случае выполнения правильной первоначальной настройки. В текущей версии приложения система понимает до 31 безмолвной или очень тихой команды от пользователя.

Передача данных в мобильное приложение и обработка всех команд на смартфоне позволяет очкам EchoSpeech оставаться компактными. Все вычисления в рамках анализа данных происходят локально на устройстве и не требуют выхода в интернет.

Чжан рассказал, что его устройство имеет несколько вариантов применения, включая беззвучное управление различными устройствами, возможность диктовки сообщений при громком заднем фоне, а также в режиме совместной работы с голосовым синтезатором речи.

В настоящее время университет работает над коммерциализацией этой технологии и идеи Чжана.