Runway представила Gen-3 Alpha — очередную нейросеть для генерации видео

Разработчики Runway представила модель машинного обучения Gen-3 Alpha, предназначенную для генерации коротких видео. В блоге компании отметили, что обновлённая нейросеть лучше справляется с обработкой сложных запросов и более точно изображает движение в кадре.

Модель обучали на изображениях и видеороликах, данные для обучения сопровождали аннотациями с кратким описанием происходящего. Благодаря этому пользователи могут генерировать ролики в режимах Text-to-Video, Text-to-Image и Image-to-Video. Кроме того, доступны дополнительные инструменты для редактирования:

• Motion Brush. Кисть для выделения объектов на изображении, которые нейросеть анимирует.

• Advanced Camera Controls. Позволяет настраивать положение камеры и получать эффект прохода кинокамеры.

• Director Mode. Специальный интерфейс для удобного управления параметрами генерации и моментального просмотра результата с возможностью редактирования.

Разработчики проекта подчеркнули, что нейросеть Gen-3 Alpha снабжена системой модерации визуального контента и соответствует обновлённым внутренним правилам безопасности. Это сделано для предотвращения случаев генерации противоправного контента.

Ещё одной особенностью обновления стала функция генерации реалистичных людей, поддерживающая широкий спектр передаваемых эмоций и движений.

Вместе с моделью машинного обучения Runway предлагает услуги по интеграции и файнтюнингу. Инженеры компании помогут обучить нейросеть на дополнительных наборах данных. Это полезно для кинокомпаний и мультипликационных студий, которые планируют использовать генеративные нейросети в своей работе.

В середине июня 2024 года Luma AI выпустила нейросеть Dream Machine для генерации роликов длительностью до пяти секунд. Модель машинного обучения уже доступна пользователям. Вместе с этим разработчики опубликовали руководство по составлению запросов.