Google DeepMind выпустила Gemini Omni 1.2 Flash. Это модель для генерации и редактирования видео, наследница Omni 1.1. Разработчики обещают клипы до 15 секунд вместо прежних 10, управление длительностью по секундам, меньше «плывущих» лиц и дешёвую цену: $0,07 за секунду видео в 720p.
Разберём, что изменилось по сравнению с прошлой версией, как модель работает с референсами и правками, сколько стоит и где ей пока рано доверять.
Что это за модель
Gemini Omni 1.2 Flash создаёт видео по тексту, картинкам, коротким видеофрагментам и аудио. Она же правит готовый ролик: меняет фон, свет, погоду, товар в кадре или формат кадра. Идентификатор в Gemini API: gemini-omni-1.2-flash.
Модель доступна через Google AI Studio и Gemini API, в консоли Google Cloud (Vertex AI Studio) и через корпоративный API с Provisioned Throughput. Из продуктов Google она подключена к Flow, Google Vids, Google Ads и приложению Gemini. В приложении доступ раскатывают постепенно, сначала для подписчиков Google AI Ultra.
Если вы хотите сравнить подход Google с другими видеомоделями, не открывая пять сервисов подряд, посмотрите, как устроена Студия Спешу АИ: там видео, фото и аудио собраны в одном интерфейсе, а для типовых задач есть готовые пресеты.
Что нового по сравнению с Omni 1.1
Список изменений из анонса, без украшений:
-
длина клипа выросла с 10 до 15 секунд;
-
длительность задаётся с шагом в одну секунду, от 3 до 15;
-
цена за секунду в 720p снижена на 30%;
-
лучше держится внешность персонажей, одежда, надписи на упаковке и фирменные цвета при смене ракурса;
-
речь звучит естественнее, губы двигаются точнее, голоса распределяются между несколькими героями;
-
сложные движения камеры получаются с меньшим числом нежелательных склеек.
Длина клипа и контроль длительности
Десять секунд хватало на рекламную вставку или короткую сцену, но для сюжета с репликами нужно больше. Пятнадцать секунд позволяют уложить в один ролик завязку, действие и реплику героя без склейки двух генераций.
Шаг в секунду пригодится тем, кто собирает видео под конкретный хронометраж. Например, под слот рекламы на 6 секунд или под вертикальный ролик на 12. Раньше приходилось генерировать с запасом и обрезать, теперь можно сразу заказать нужную длину и не платить за лишнее: цена считается за секунду.
Референсы: персонаж, товар, стиль
Модель принимает три вида референсов:
-
картинки с персонажем, товаром или стилем;
-
короткие видеофрагменты движения, до трёх секунд;
-
аудио: голосовые образцы и звуковые подсказки.
По заявлению Google, лица, одежда, типографика на упаковке и бренд-цвета остаются узнаваемыми при смене ракурса камеры. Для рекламы и каталожных роликов это самое важное свойство: товар, у которого на втором плане поплыл логотип, в работу не пойдёт.
Примеры из анонса:
-
примерка одежды на 15 секунд по одному фото модели и снимкам трёх образов спереди и сзади;
-
анимация постера слой за слоем, причём Google пишет, что совпадение с референсом стало точнее, чем в 1.1;
-
сцена на 15 секунд с четырьмя персонажами по референсам и односекундными образцами голосов.
Все примеры показаны самим Google. Как модель поведёт себя на вашем каталоге или вашем персонаже, нужно проверять руками.
Правка без перегенерации
В Omni 1.2 Flash можно вести диалог с готовым роликом. Вы пишете, что изменить, и модель правит клип целиком, не создавая его заново с нуля. Google называет такие сценарии:
-
заменить товар в руках героя;
-
сменить фон или время суток;
-
поменять освещение или погоду;
-
перевести ролик в другой формат кадра.
Правки работают на полных 15-секундных клипах. Для сравнения: обычный путь у видеомоделей такой. Вы перегенерируете ролик с исправленным промптом и каждый раз получаете чуть другого героя и чуть другую сцену. Здесь заявлена именно правка, которая не ломает остальное.
Пример запроса для такой правки (промпты лучше писать на английском, модели лучше понимают формулировки и ничего не теряется при переводе):
Keep the same character, outfit and camera movement.
Change the background to a rainy evening street with neon reflections on the asphalt.
Keep the product label sharp and readable.
Ещё одна заявка: стабильность от первого кадра до последнего. Модель умеет интерполировать между ключевыми кадрами и продлевать готовый клип, а дрейф и «морфинг» (когда один предмет в кадре плавно превращается в другой) стали случаться реже. Насколько реже, Google в цифрах не указывает.
Речь и звук
Для роликов с говорящими героями Google улучшил три вещи: естественность диалога, синхронизацию губ и многоголосые сцены. Раньше при двух героях в кадре голоса легко перепутать, и реплика звучала не из тех уст. В Omni 1.2 Flash каждый голос привязан к своему персонажу.
На практике это значит, что короткий диалог двух героев можно собрать в одном клипе, не накладывая озвучку отдельно. Качество синхронизации Google демонстрирует примерами, независимых тестов в анонсе нет.
Камера
-
непрерывный пролёт FPV-дрона без единой склейки;
-
резкий отъезд от крупного плана береговой линии к виду с высоты, 10 секунд;
-
облёт вокруг объекта.
Раньше модели любили «подрезать» длинное движение жёсткой склейкой, и пролёт превращался в монтаж из трёх кусков. Если Google не преувеличивает, это пригодится для презентаций недвижимости, туристических роликов и демонстраций товара.
Рабочий процесс: черновик в низком разрешении, финал в высоком
-
сгенерировать черновик в 360p или 720p;
-
внести правки в диалоге;
-
когда всё устраивает, увеличить ролик до 1080p или 4K.
Подход разумный и по деньгам: проверять идею на дешёвом разрешении, а за 4K платить один раз. Если вы уже делаете видео по такой схеме в других сервисах, привычка сохранится.
Сколько это стоит
Цена в Gemini API: $0,07 за секунду видео в 720p. Это на 30% дешевле, чем было в Omni 1.1, то есть прежняя ставка по расчёту составляла около $0,10 за секунду.
Посчитаем:
-
ролик на 15 секунд в 720p: 15 × $0,07 = $1,05;
-
ролик на 6 секунд: $0,42;
-
десять черновиков по 15 секунд: $10,50.
Цены на 1080p и 4K в анонсе не приведены, смотрите их на странице тарифов Gemini API. В Google Vids клипы на 15 секунд создаются без дополнительной платы при наличии аккаунта Google или подписки Google Workspace.
Для самого частого сценария, пробы идеи, такая цена приемлема. А вот тот, кто собирает рекламную кампанию на сотни роликов с десятками итераций каждый, быстро увидит в смете крупную строку. Поэтому полезно считать не цену одной секунды, а стоимость готового ролика с учётом всех правок.
Для кого подходит
-
рекламные ролики и карточки товаров с одним и тем же предметом в разных сценах;
-
виртуальная примерка одежды;
-
анимация постеров и иллюстраций;
-
короткие диалоги героев;
-
презентационные пролёты камеры.
Для видео с быстрым экшеном, спортивных сцен и динамичной физики лучше сделать пробу заранее и сравнить с другими генераторами.
Как не переплачивать за видеомодели
У многих сегодня подписки на несколько нейросетей одновременно. ChatGPT стоит $30, Claude ещё $30, Kling или Seedance ещё $40. Выходит почти 10 000 рублей в месяц, хотя при нормальном использовании хватило бы 500 ₽. Дело в том, что подписка списывает деньги за доступ, а пользуетесь вы не каждой моделью каждый день.
Спешу АИ работает по принципу pay-as-you-go: вы платите за то, что реально сгенерировали, а не за абстрактный пакет. Попробовать видео-модели можно с помощью пресетов Студии, а для новых пользователей действует скидка 50% на подписку по промокоду HABRSPESHUAI .
Подробнее о том, как собирать ролики по шагам, есть в бесплатном гайде по генерации видео.
Итог
Omni 1.2 Flash добавляет то, чего видеомоделям не хватало для рабочих задач: 15 секунд, правки поверх готового ролика и внятный контроль внешности героев. Цена $0,07 за секунду делает пробы недорогими. Остаётся проверить заявленное самостоятельно: независимых замеров пока нет.
Если хотите разбираться в видеомоделях и промптах дальше, в нашем телеграм-канале собрано больше 100 готовых промптов и гайдов для новичков и профи, а в комьюнити почти 20 000 участников обсуждают, что у них получается.
ссылка на оригинал статьи https://habr.com/ru/articles/1106196/