Группа учёных опубликовала датасет для 3D-реконструкции изображений

Международная группа учёных из Института искусственного интеллекта AIRI, «Сколтеха», МИФИ, Нью‑Йоркского университета и Технического университета Мюнхена рассказала о крупномасштабном мультисенсорном наборе данных для многоракурсной 3D‑реконструкции, рассказали информационной службе Хабра в пресс‑службе AIRI. Статья с описанием процесса подготовки датасета была опубликована на конференции Computer Vision and Pattern Recognition 2023. Группа выложила в открытый доступ 1,39 млн изображений. Большинство 3D‑объектов представляют собой восстановленные трёхмерные модели реальных предметов, зданий или людей.

Специалисты по всему миру работают над ИИ‑алгоритмами, позволяющими сократить количество сложных манипуляций с датчиками и создавать 3D‑объекты из фотографий. Типы сенсорных данных для 3D‑реконструкции варьируются от изображений узкоспециализированных и компьютерных томографов или лазерных сканеров и до видео с камер мобильного телефона и датчиков глубины беспилотного авто. Вычислительные методы трёхмерной реконструкции разрабатываются под определённый тип данных, и это ограничивает их возможности. Например, по данным фото можно получить трёхмерную геометрию высокой точности, но проблематично восстановить визуально однородную поверхность, такую как одноцветная стена. Реконструкция по данным с датчиков глубины лишена этой проблемы, но ей недостаёт точности. Для получения полных и точных реконструкций нужно совмещение разных типов сенсорных данных с помощью алгоритмов ИИ.

Чтобы упростить разработку этих алгоритмов, а также для их оценки и обучения, учёные выложили в открытый доступ новый набор данных, содержащий изображения с различных датчиков RGB и глубины: смартфонов, Intel RealSense, Microsoft Kinect, промышленных камер и сканера структурированного света.

 Евгений Бурнаев 

Ведущий научный сотрудник Института AIRI, профессор, директор Центра прикладного искусственного интеллекта «Сколтеха»

«Мы ожидаем, что наш набор данных будет полезен для оценки и обучения алгоритмов 3D-реконструкции и для связанных задач. Благодаря проделанной работе появилась возможность выявить случаи, когда существующие алгоритмы ИИ-реконструкции не справляются, и описать причины такого поведения алгоритмов. Эта информация крайне ценна и уже сейчас позволяет улучшать алгоритмы ИИ-реконструкции, чтобы в итоге разработать эффективные и точные ИИ-системы для моделирования 3D-форм объектов в произвольных условиях».

Разработчики настроили контролируемое освещение и с помощью специализированной установки собрали 1,39 млн изображений и 107 небольших объектов. Каждый объект был снят со 100 различных ракурсов на сфере радиусом 70 см вокруг него и при 14 типах освещения. По заявлению исследователей, такое количество снимков необходимо, чтобы обеспечить стабильность обучения алгоритмов, корректно работающих с отражениями, тенями и текстурами. Объекты выбирали так, чтобы включить в набор сложные и проблемные для существующих методов реконструкции примеры.

Кроме того, в ходе исследования авторы обнаружили корреляцию между свойствами отражательной способности поверхности и качеством реконструкции, получаемой ИИ‑алгоритмом. Получить доступ к датасету можно здесь.

Олег Войнов

Научный сотрудник Института AIRI и инженер-исследователь Центра прикладного искусственного интеллекта «Сколтеха»

«Этот проект крайне сложный не только с методологической точки зрения, но и потому, что пришлось решить огромное число инженерных задач, связанных с построением установки на основе робоманипулятора, который использовался для точного позиционирования сенсоров и автоматизации процесса получения данных. К счастью, мы преодолели все трудности, и сейчас за счёт приобретённого опыта можем такого рода работу ставить на поток. Более того, разработанная установка может использоваться для сбора 3D-данных об объекте для последующей очень точной реконструкции его 3D-формы».