Распознавание эскизных изображений

Группа исследователей из американского университета Браун и Берлинского технического университета опубликовали свои результаты, связанные с проблемой компьютерного распознавания эскизов — таких, какие показаны на картинке ниже. При этом в качестве результата приведен не только длинный и скучный документ, а и готовые образцы ПО, которые можно скачать и попробовать.

Цель исследования заключалась в том, чтобы сделать возможным «semantic understanding» эскиза для компьютера, который должен понять, что на рисунке изображено и предложить варианты. Задача серьёзно осложнялась тем обстоятельством, что даже человеческое восприятие для такой идентификации зачастую работает не очень хорошо: из созданной выборки в 20 000 эскизов, которая применялась для обучения системы, люди смогли правильно разобраться что на картинке только в 73% случаев.

Как, к примеру, на картинке ниже — что здесь изображено?

Для распознавания эскизов исследователями было разработано специальное представление эскизов с целью облегчения их классификации. В итоге было установлено, что разработанный метод может с точностью 56% распознать нарисованное, что, в принципе, сравнимо с человеческим результатом в 73%.

Попробовать как это работает можно с помощью трёх приложений — Windows, MacOS и iOS.

Работает это приблизительно так — в принципе, неплохо, если стараться передать действительно характерные черты рисуемого объекта даже при незавидных способностях к рисованию:

Здесь можно посмотреть PDF-документ, представляющий результаты исследования и тестовые наборы эскизов, применяемые исследователями.