World Labs представил ИИ-сервис для генерации 3D-сцен из одного изображения

Стартап исследовательницы в области искусственного интеллекта Фэй-Фэй Ли World Labs представил ИИ-систему, которая может генерировать похожие на видеоигры 3D-сцены из одного изображения.

Многие подобные системы уже способны превращать фотографию в 3D-модель или среду. Но сцены World Labs уникальны тем, что они интерактивны и изменяемы.

«Наша технология позволяет вам войти в любое изображение и исследовать его в 3D», — отмечается в сообщении стартапа. 

Сцены визуализируются в реальном времени в браузере и имеют управляемую камеру с регулируемой имитируемой глубиной резкости (DoF). Чем сильнее эффект DoF, тем более размытыми выглядят фоновые объекты.

Система World Labs является частью новой категории ИИ, называемой «моделями мира». Многие из этих моделей могут имитировать игры и 3D-среды, но с проблемами артефактов и согласованности. Например, модель мира Oasis от стартапа Decart, имитирующая Minecraft, имеет низкое разрешение и быстро «забывает» схему уровней.

Напротив, подход World Labs гарантирует, что сцены остаются неизменными после генерации и подчиняются основным законам физики, то есть создают ощущение цельности и глубины.

Система World Labs также может применять интерактивные эффекты и анимацию к сценам, например, изменять цвет объектов и динамически освещать фоны. «Большинство инструментов генеративного ИИ создают 2D-контент, такой как изображения или видео. Вместо этого генерация в 3D улучшает контроль и согласованность. Это изменит то, как мы создаем фильмы, игры, симуляторы и другие цифровые проявления нашего физического мира», — рассказали представители стартапа. 

Пока сцены World Labs не полностью исследуемы, а ограничены небольшой областью. Также встречаются случайные ошибки рендеринга — например объекты, которые смешиваются неестественным образом. Но в World Labs утверждают, что пока инструмент находится на стадии «предварительного просмотра».

«Мы усердно работаем над улучшением размера и точности наших сгенерированных миров и экспериментируем с новыми способами взаимодействия пользователей с ними», — обещает стартап. 

World Labs, запущенный в начале этого года, привлёк $230 млн венчурного капитала от инвесторов, включая Intel Capital, AMD Ventures и Эрика Шмидта. «Единорог» оценивается более чем в $1 млрд. World Labs надеется представить свой первый продукт в 2025 году.

Помимо интерактивных сцен, стартап планирует создавать инструменты, которые могут быть полезны профессионалам, таким как художники, дизайнеры, разработчики, режиссёры и инженеры. Он нацелен на клиентов, начиная от разработчиков видеоигр и заканчивая киностудиями.

«У нас уже есть возможность создавать виртуальные, интерактивные миры, но это стоит сотни и сотни миллионов долларов и кучу времени на разработку. Модели мира позволят не просто получить изображение или клип, но полностью смоделированный, яркий и интерактивный 3D-мир», — сказал соучредитель World Labs Джастин Джонсон.