Учёным удалось разработать искусственную нейросеть, которая с точностью 83% определяет виды деятельности в повседневной жизни человека, анализируя подборку фотографий с «пассивной эгоцентричной носимой камеры», текущие дату и время. Более того, программа с высокой точностью прогнозирует будущие действия пользователя.
Это довольно важное исследование, которое даёт новые возможности для лайфлоггинга и работы персональных цифровых ассистентов — если программа знает, что вы собираетесь сделать в ближайшем будущем, то может заранее показать контекстную информацию, распорядиться о подготовке еды/транспорта/одежды, посоветовать пораньше выехать на работу из-за пробок и т.д.
На иллюстрации показан пример отдельных кадров из выборки, с соответствующими пометками тематического классификатора.
Для постоянного сбора фотографий в фоновом режиме не требуется специального и дорогого оборудования. Достаточно повесить на шею смартфон со специальной программой для фотографирования по таймеру. Возможно, в будущем такие программы войдут в стандартный комплект смартфонов.
В данном эксперименте носимая камера сделала 40 103 фотографий за период в шесть месяцев.
Вместо смартфона можно использовать и стандартные носимые камеры или очки дополненной реальности, подходят Narrative Clip, MeCam, Google Glass, GoPro и прочие.
Разработку классификатора и обучение нейросети выполнила группа исследователей из технологического института Джорджии (США). Сначала происходила ручная настройка классификатора, когда сделанные фотографии приписывались к одной из 19 тематических категорий, включая вождение автомобиля, просмотр ТВ, общение с семьёй, личная гигиена, приём пищи и др. При обучении нейросети учитывалось время суток и день недели, так что эти метаданные тоже влияли на точность распознавания отдельных видов деятельности.
После обучения нейросети она показала точность распознавания видов деятельности 83,07%. В таблице показана точность распознавания по категориям.
Отдельные виды деятельности наиболее легко было спутать с конкретными другими видами деятельности, как видно в матрице ошибок.
Такие программы могут найти применение в приложениях для лайфлоггинга, которые автоматически отслеживают активность человека и замечают изменения в его рутинных делах. Например, подобный цифровой помощник может заметить изменения в приёме пищи или выполнении физических упражнений — и дать компетентный совет. Более того, программа может посоветовать, как изменить график повседневных дел, чтобы более эффективно использовать время.
Анализ многолетнего архива повседневных фотографий способен дать много полезной информации. Например, программа позволит отследить развитие болезни или прогресс в семейных отношениях с годами, изменение стиля жизни человека. Это ценнейшая информация не только для врачей и полиции, но и, например, для автоматического подбора жены/мужа с идеальной совместимостью.
Научная работа "Predicting Daily Activities From Egocentric Images Using Deep Learning" представлена на конференции ACM (pdf).
ссылка на оригинал статьи http://geektimes.ru/post/264584/
Добавить комментарий