Удаление лишних людей из видеоролика

Специалисты из Института информатики общества Макса Планка разработали технологию качественного удаления лишних людей из видеоролика, снятого движущейся камерой. Подобные спецэффекты раньше применялись только в Голливуде, но в будущем соответствующий софт будет доступен для любого компьютера или смартфона.

Программа анализирует последовательность видеокадров и вычисляет пикселы статичного фона. После этого она изменяет пикселы в кадрах с ненужным объектом, заимствуя фон из других кадров. Что характерно, программа грамотно справляется и с восстановлением теней, и отражающих поверхностей, таких как зеркальные полы.

Научная работа с описанием технологии была представлена на Европейской конференции по компьютерному зрению ECCV 2012. Новый метод значительно эффективнее предыдущих разработок в этом направлении. Например, похожая технология используется для удаления объектов в сервисе Google Street View (по причинам приватности), но новый метод работает гораздо лучше. Сравнение с одной из предыдущих разработок показано на иллюстрациях.

Как и программу Remove годичной давности, эту технологию можно использовать не только для редактирования видеороликов, но и для удаления лишних людей на фотографиях. Программа Remove требовала, чтобы фотоаппарат сделал десяток кадров из статичного положения, из которых автоматически удаляются все движущиеся пикселы — и генерируется итоговое фото со статичными объектами. Новая же технология способна вычислять фон даже с движущейся камеры, как показано в демонстрационном ролике.