Декодирование изображений из мозга человека

Сегодня в журнале Science публикована научная работа (pdf) с описанием нового метода автоматической реконструкции изображений из мозга человека. Авторы научной работы считают, что их метод более точный, чем предыдущие работы в этой области: уже точно распознаются символы алфавита и простые контрастные фигуры.

Пока что декодер распознаёт только картинки, которые реально видит человек в данный момент, но в будущем она должна работать и на воображаемых картинках. В этом случае станет возможным, например, набирать текст с закрытыми глазами.

Распознавание изображений осуществляется вероятностным методом, с помощью байесового классификатора. При этом декодер изображений не нуждается в тренировке.

Для снятия сигнала используется метод функциональной магнитно-резонансной томографии (fMRI) — разновидность магнитно-резонансной томографии, которая проводится с целью измерения изменения в токе крови. Между нейронной активностью и изменением кровотока происходит небольшая задержка, что хорошо видно на демонстрационном видео.

Испытать программу распознавания изображений может каждый желающий: она выложена на Github.
Данные магнитно-резонансного сканирования и конвертер можно взять здесь.

Результат работы декодера показан на скриншотах.