Представьте, что вы вместе с близким человеком гуляете по Парижу. Сначала оказываетесь у Лувра, затем проходите мимо Триумфальной арки, гуляете по вечерним улицам, а заканчивается путешествие поцелуем на фоне Эйфелевой башни.

Обычно для такого видео понадобились бы билеты во Францию, несколько съёмочных дней, оператор и монтажёр. Но сегодня похожую историю можно создать с помощью генеративного ИИ, используя фотографии двух людей.
При этом задача сложнее, чем обычное оживление портрета. Нейросети необходимо сохранить внешность обоих персонажей, перенести их в разные локации, согласовать движения и сделать переходы между сценами визуально убедительными.
Разберём, как работают такие генерации, почему модели иногда путают лица и как создать романтическое ИИ-видео с помощью пресета «Путешествие вдвоём» в SpeShu.AI.
Как нейросеть создаёт путешествие, которого не было
В основе подобных роликов лежат технологии генерации изображений и видео по референсам.
Референс — это исходная фотография, по которой модель определяет внешность человека. Она анализирует видимые черты лица, причёску, пропорции и другие особенности, после чего использует эту информацию при создании новой сцены.
Например, у нас есть два портрета. На первом девушка с тёмными волосами, на втором светловолосый парень. Мы хотим создать видео, в котором они вместе путешествуют по Парижу.
Для этого генеративной модели необходимо решить несколько задач:
-
Сохранить идентичность персонажей. Люди должны оставаться узнаваемыми независимо от ракурса и освещения.
-
Создать окружение. Парижские улицы, архитектура и другие элементы фона должны выглядеть естественно.
-
Согласовать движения. Персонажи должны идти рядом, взаимодействовать и менять положение в кадре.
-
Обеспечить временную согласованность. Внешность, одежда и детали сцены не должны произвольно изменяться между соседними кадрами.
Последний пункт особенно важен.
При генерации отдельной фотографии нейросети достаточно создать один убедительный результат. В видео она должна поддерживать согласованность на протяжении всей последовательности кадров.
Именно поэтому иногда возникают ситуации, когда на первом кадре персонаж выглядит правильно, а через несколько секунд меняются его причёска, форма лица или одежда.
Почему путешествие вдвоём сложнее одиночной ИИ-фотосессии
Когда в кадре появляется второй человек, количество потенциальных ошибок увеличивается.
Представим, что модель получила два портрета и описание: «Пара гуляет по Парижу».
Такой запрос оставляет слишком много неопределённости. Нейросеть самостоятельно выбирает расположение героев, их одежду, действия и движение камеры.
В результате могут возникнуть три характерные проблемы.
1. Персонажи теряют узнаваемость
При поворотах головы нейросети приходится восстанавливать детали, которых не было видно на исходном снимке.
Например, если загружен только фронтальный портрет, модель не знает точно, как человек выглядит в профиль.
Поэтому на протяжении ролика форма лица или причёска могут изменяться.
2. Модель путает персонажей
При работе с двумя референсами модель иногда смешивает черты внешности.
Один герой может частично перенять особенности второго. Особенно это заметно при быстрой смене планов, пересечении персонажей или крупных планах их лиц.
Для ручной генерации полезно закреплять роли: указывать, какой человек соответствует первому референсу, а какой второму.
3. Взаимодействие выглядит неестественно
Сгенерировать двух людей, стоящих рядом, относительно просто. Сложнее создать убедительное физическое взаимодействие.
Когда персонажи держатся за руки, обнимаются или целуются, модель должна согласовывать положение их тел, рук и лиц.
Если генерация недостаточно точная, могут появляться лишние пальцы, неестественные движения или нарушения пропорций.

Поэтому романтические сцены, несмотря на внешнюю простоту, предъявляют довольно высокие требования к качеству видеогенерации.
«Путешествие вдвоём»: готовый сценарий романтического видео
Один из способов упростить создание подобного ролика — использовать заранее подготовленный сценарий.
В каталоге видеопресетов SpeShu.AI есть пресет «Путешествие вдвоём», посвящённый романтической поездке по Парижу.
Это сценарий из категории «Тот самый тренд», в котором два персонажа становятся главными героями небольшого кинематографичного путешествия.
Вместо одной статичной локации зритель видит несколько узнаваемых мест французской столицы.
Лувр. Герои оказываются рядом с одним из самых известных музеев мира. Архитектура создаёт атмосферу путешествия, а персонажи становятся центральными фигурами кадра.
Триумфальная арка. Следующий эпизод переносит пару к знаменитому парижскому монументу. Смена локации помогает создать ощущение прогулки по разным частям города.
Вечерние улицы Парижа. Городское освещение и окружающая архитектура делают сцену более камерной, постепенно подготавливая романтический финал.
Эйфелева башня. История заканчивается поцелуем двух героев на фоне главного символа Парижа.

В этом сценарии важна последовательность событий. Видео воспринимается как небольшая история с началом, развитием и завершением.
Готовый пресет позволяет использовать уже подготовленную идею без самостоятельного составления подробного сценария для каждой парижской локации.
Как сделать романтическое ИИ-видео вдвоём по фотографиям
Для повторения сценария можно воспользоваться готовым шаблоном, а для самостоятельной версии собрать последовательность сцен вручную.
Шаг 1. Подготовьте исходные фотографии
От качества референсов зависит, насколько узнаваемыми останутся персонажи.
Лучше использовать фотографии, на которых:
-
лица хорошо различимы;
-
глаза открыты, а черты лица не скрыты волосами;
-
нет сильных фильтров, искажающих пропорции;
-
освещение позволяет рассмотреть основные детали;
-
люди сняты без сильного размытия.
Для двух героев удобно подготовить отдельные портреты сопоставимого качества.

Если один снимок сделан при хорошем дневном освещении, а второй слишком тёмный, модели может быть сложнее одинаково точно восстановить внешность обоих людей.

Шаг 2. Выберите сценарий
Откройте SpeShu.AI, перейдите к видеопресетам и найдите «Путешествие вдвоём».
Перед генерацией посмотрите демонстрационный результат и требования к изображениям. Количество исходных файлов, доступные параметры и стоимость следует уточнять непосредственно в карточке.

В отличие от ручной генерации, где каждую сцену необходимо описывать самостоятельно, готовый пресет уже содержит основную постановку путешествия.
Шаг 3. Загрузите изображения и запустите генерацию
Добавьте фотографии в предусмотренные поля и запустите создание ролика.

На этом этапе особенно важно использовать подходящие исходники. Даже качественная модель может исказить лицо, если на референсе оно закрыто или плохо освещено.
Шаг 4. Проверьте получившееся видео
После генерации обратите внимание на три момента.
Во-первых, сохраняются ли черты лица при смене локаций.
Во-вторых, насколько естественно двигаются персонажи. Особенно важно проверить сцены, где они находятся близко друг к другу.
В-третьих, не возникают ли заметные визуальные артефакты: изменение формы рук, исчезновение деталей одежды, нарушения перспективы или неожиданные изменения фона.
Если результат не устраивает, можно попробовать более качественные исходные фотографии.
Где можно использовать такие ИИ-видео
Парное путешествие по Парижу подходит для нескольких форматов.
Романтический подарок. Видео можно подготовить ко дню рождения, годовщине или другой памятной дате.

Совместный ролик для социальных сетей. Вместо обычного коллажа из фотографий получается короткая история, в которой оба человека становятся главными героями.
Визуализация будущей поездки. Если пара планирует посетить Париж, ролик может стать творческой интерпретацией будущего путешествия.
Небольшой видеоклип. Отдельные сцены можно дополнить музыкой, титрами или поздравлением.

При публикации реалистичных ИИ-видео желательно указывать, что они созданы нейросетью, особенно если зритель может принять изображённую поездку за реальное событие.
А при использовании фотографии другого человека важно получить его согласие.
Итог
Создание романтического ИИ-видео с двумя персонажами — интересная задача для генеративных моделей. Здесь необходимо одновременно работать с сохранением внешности, взаимодействием героев, сменой окружения и последовательностью событий.
Для самостоятельной генерации можно использовать связку из графической и видеомодели: сначала подготовить изображения для отдельных сцен, затем добавить движение и собрать ролик на монтаже.
Такой способ позволяет изменять локации, управлять камерой и экспериментировать с сюжетом, но требует внимательной работы с референсами.
Если задача состоит в создании готовой романтической истории, удобнее воспользоваться пресетом.
«Путешествие вдвоём» в SpeShu.AI предлагает сценарий путешествия по Парижу: Лувр, Триумфальная арка, вечерние улицы и поцелуй возле Эйфелевой башни.
Это хороший пример того, как генеративные технологии позволяют создавать небольшие кинематографичные истории на основе обычных фотографий, даже если у героев никогда не было возможности оказаться вместе в показанных местах.
ссылка на оригинал статьи https://habr.com/ru/articles/1108626/