Управление звуком: мозг выбирает — аппарат усиливает

Поддерживать разговор в многолюдном общественном месте бывает сложно, особенно при потере слуха. Но что, если бы вы могли усиливать только того человека, которого хотите слышать, и подавлять всех остальных? Что, если бы компьютер мог делать это автоматически, считывая информацию из вашего мозга?

Декодирование слухового внимания

Когда мы сосредотачиваемся на конкретном говорящем, мы подсознательно отслеживаем постепенные изменения громкости речи, которая у каждого человека своя. Этот характерный паттерн проявляется в мозговой активности слушателя. В последние годы исследователям удалось обнаружить этот речевой паттерн в записях мозговой активности, а затем идентифицировать голос, на котором сосредоточен слушатель. И в основе — метод, называемый декодированием слухового внимания (ДСВ).

Эта фундаментальное знание теперь проникает в область практической медицины. Проверяя реальные ощущения слушателей, исследователи делают шаг к тому, чтобы внедрить управление на основе внимания в слуховые аппараты. В исследовании, опубликованном 11 мая в журнале Nature Neuroscience, учёные предъявляли слушателям два конкурирующих голоса, а затем в реальном времени регулировали громкость, ориентируясь на активность мозга. Изменённый звук улучшил восприятие речи, снизил усилия при прослушивании и просто оказался предпочтительнее для слушателей.

Исследование служит важным подтверждением концепции. 

«Оно подтверждает основную идею о том, что управляемое мозгом улучшение слуха может повысить качество восприятия, а также проясняет, какие проблемы ещё предстоит решить, прежде чем это станет практически применимым для пациентов», — говорит Инён Чой, инженер и психоакустик из Университета Айовы, который не принимал участия в исследовании.

Усиление голосов, которые вы хотите услышать

По данным Всемирной организации здравоохранения, более 400 миллионов человек во всём мире страдают от инвалидизирующей потери слуха. В США примерно 15% взрослых живут с той или иной формой потери слуха, часто связанной со старением. Нарушения слуха могут иметь серьёзные социальные последствия и последствия для психического здоровья. 7 мая Агентство перспективных исследовательских проектов в области здравоохранения (ARPA-H) объявило о новой программе финансирования исследований в области слуховых аппаратов, заявив о целях, включающих нейронное управление или обратную связь.

«Слуховые аппараты сегодня технологически более совершенны, чем когда-либо, — говорит Бхарат Чандрасекаран, нейробиолог, изучающий слух и мозг в Северо-Западном университете в Чикаго. — Но они по-прежнему испытывают трудности в шумной обстановке с несколькими говорящими — в тех сложных ситуациях, когда людям помощь нужна больше всего. В таких случаях требуется небольшая помощь. Именно здесь помогает декодирование слухового внимания».

В ходе исследования регистрировалась мозговая активность четырёх испытуемых с нормальным слухом, которым были имплантированы электроды, способные собирать высококачественные данные электроэнцефалографии (ЭЭГ); эти электроды изначально предназначались для мониторинга эпилепсии. Сидя перед компьютером, испытуемых просили внимательно слушать одного из говорящих, в то время как записи воспроизводились одновременно из двух разных динамиков. Система ДСВ отслеживала их внимание, а затем начинала регулировать громкость через несколько секунд.

Несмотря на разброс результатов, все четыре испытуемых чаще отмечали, что при включённом ДСВ лучше понимают речь. Слуховые усилия, о снижении которых свидетельствовал размер зрачков, уменьшились у двух испытуемых, у которых проводилось это измерение. И все испытуемые предпочитали, чтобы ДСВ был включён не менее 75% времени.

Затем группа из 40 участников с нарушениями слуха прослушала те же голоса с регулировкой громкости и без неё, причём регулировка основывалась на данных ЭЭГ одного из основных участников. Это также улучшило их понимание речи и сформировало предпочтения.

Исследователи также изучали, как испытуемые переключают своё внимание между двумя говорящими — как по команде, так и по собственному выбору. Система быстро переключалась на предпочитаемого говорящего примерно за 5 секунд. Поскольку слушатели чувствительны к задержкам, обработка мозговых и аудиоданных в реальном времени должна была происходить менее чем за полсекунды.

На пути к усовершенствованию слуховых аппаратов

«Это очень важный шаг. Но если задуматься: „Как это может стать устройством?“, — тут возникает множество проблем», — говорит соавтор исследования Нима Месгарани, инженер из Колумбийского университета.

Например, современные технологии регистрации мозговой активности с поверхности кожи головы могут не обеспечивать достаточно качественных данных для приложений, работающих в реальном времени. Возможно, у некоторых людей с нарушениями слуха слух может улучшиться настолько, что оправдаются инвазивные процедуры для получения более качественной записи мозговой активности, но это ограничит более широкое применение. Кроме того, оборудование с более высокими вычислительными возможностями может не поместиться в обычные слуховые аппараты.

Эксперты заявили, что хотели бы увидеть дальнейшие исследования с бо́льшим количеством участников, включая людей с нарушениями слуха, а также больше работ по изучению неинвазивной ЭЭГ. Более сложные сценарии прослушивания могли бы стать более точной проверкой реальных условий — когда говорящих может быть больше двух, они перемещаются или говорят с перерывами, и всё это на фоне шума.

Месгарани также интересуется тем, как записи мозговой активности могут быть использованы в сочетании с искусственным интеллектом для улучшения слуха и коммуникации в более широком смысле.

В начале своей карьеры Месгарани работал с хорьками, используя их в качестве модели для изучения слуха. «Преимущество работы с людьми в том, что они могут описать свои ощущения», — говорит он. В отзывах, опубликованных вместе со статьёй, участники исследования описывали свои впечатления от звуков, которые модулировались в ответ на активность их собственного мозга.

«Это похоже на научную фантастику», — сказал один из участников.

—

История с мозговым управлением звуком в очередной раз подсвечивает неудобную правду: пока критичная информация — деловая переписка, финансовые документы, базы клиентов — физически лежит на ноутбуках и смартфонах, даже самая современная система усиления голоса не спасёт от утечки данных. Забытое в такси устройство, кража из коворкинга, потерянная в командировке техника — и конфиденциальные аудиозаписи совещаний или медицинские данные оказываются доступными посторонним.

Один из проверенных способов снизить такие риски — выносить рабочие сервисы, базы данных и файловые хранилища из локальной инфраструктуры в защищённое облако. На самом устройстве остаётся минимум информации, а основной массив данных размещается в ЦОД с физическим контролем доступа, резервированием питания и каналов, круглосуточным мониторингом — то есть там, где сценарий «украли ноутбук с чувствительной информацией» перестаёт быть катастрофой.

Современные задачи ставят перед бизнесом требования наличия мощной и отказоустойчивой инфраструктуры. Компания Cloud4Y предоставляет пользователям Habr скидку 20% на аренду облачных серверов для бизнеса. Серверы Cloud4Y обеспечивают SLA 99.982%, размещаются в ЦОД уровня TIER III и работают в режиме 24/7. Вы можете выбрать готовую конфигурацию или собрать индивидуальное решение под ваши задачи.

Не упустите шанс реализовать потребности бизнеса на максимум — ускорьте свои проекты и сэкономьте до 20% уже сегодня по промокоду HABR20.

Предложение действительно для новых клиентов компании Cloud4Y