Исследование: мозг понимает язык с помощью «автокоррекции»

Исследователи Массачусетского технологического института применили модели искусственного интеллекта для изучения того, как и почему наш мозг понимает язык. Выяснилось, что человеческий мозг может работать примерно так же, как и функция автокоррекции на смартфоне.

Новое исследование опубликовано в Proceedings of the National Academy of Sciences.

Авторы работы заявляют, что функции языковых моделей ИИ напоминают метод языковой обработки в человеческом мозгу. Так, последнее поколение языковых моделей было разработано для предсказания следующего слова в тексте, как и функция автозамены в iMessage, но наблюдатели заметили, что они в некотором роде понимают значение текста.

«Чем лучше модель предсказывает следующее слово, тем больше она соответствует человеческому мозгу», — говорит Нэнси Канвишер, профессор когнитивной нейробиологии и автор нового исследования.

Новая модель предсказания следующего слова является частью усилий по глубокому обучению нейронных сетей. За последнее десятилетие эти модели использовались для воссоздания функций мозга, а именно для распознавания объектов.

Нейросети могут функционировать аналогично человеческому мозгу, потому что они смоделированы по его образцу. Они включают тысячи узлов обработки, которые передают информацию друг другу.

Группа исследователей из МТИ проанализировала 43 различных языковых модели, многие из которых были оптимизированы для предсказания следующего слова, в том числе GPT-3. Они предложили каждой модели словесную строку для измерения активности ее нейронных узлов. Затем они сравнили эти паттерны с активностью человеческого мозга, измеренной, когда испытуемые выполняли языковые задачи, такие как слушание, чтение полных предложений и чтение по одному слову за раз.

Исследование показало, что наиболее эффективные модели предсказания следующего слова имели паттерны активности, которые больше всего напоминали паттерны человеческого мозга. Кроме того, активность в этих моделях также коррелировала с поведенческими показателями человека, такими как скорость чтения текста.

Результаты исследования показывают, что предсказание следующего слова является одной из ключевых функций языковой обработки.

В дальнейшей работе ученые планируют создать варианты моделей предсказания следующего слова, чтобы увидеть, как небольшие изменения между каждой моделью влияют на их способность к обработке. Они также планируют объединить эти языковые модели с компьютерными, разработанными для выполнения других задач восприятия физического мира.

Конечной целью исследователей является понимание того, как возникает общий интеллект.

Ранее исследователи применили модель машинного обучения для преобразования сканов изображений мозга в изображения. Модель успешно восстановила увиденные человеком сцены путем анализа его мозговой активности.