Чтобы сделать короткое видео из фотографии, обычно нужно сначала придумать сцену: что будет происходить в кадре, как двигается человек или предмет, куда смотрит камера и что должно остаться неизменным. Даже простой сюжет приходится описывать достаточно точно, иначе модель начинает додумывать детали сама.
Если не хочется собирать такой запрос с нуля, можно взять готовый пресет. В нём уже задан сценарий генерации: пользователю остаётся выбрать подходящую идею и загрузить фотографию.
В видеопресетах SpeShu.AI есть сценарии для автомобиля, поздравления, семейного кадра, пары и фантазийного превращения. Разберём пять разных вариантов, а к каждому добавим готовый промт на русском — на случай, если захочется повторить идею самостоятельно и изменить сюжет.
Как работает видеопресет
При обычной генерации видео сценарий приходится описывать вручную. Нужно указать исходный объект, действие, движение камеры, окружение и ограничения.
В пресете основная сцена уже подготовлена. На странице видно, что именно нужно загрузить: одну фотографию человека, два портрета или снимок автомобиля. Там же указаны параметры будущего ролика.
Поэтому пресет удобен прежде всего для понятной задачи: увидел подходящий эффект, добавил исходник и запустил генерацию.
Промты из этой статьи нужны для другого сценария. Их можно использовать как основу, если готовый вариант понравился, но хочется поменять место действия, движение или детали сцены.
Полёт Тесла Roadster: ролик из фотографии автомобиля
В пресете «Полёт Тесла Roadster» нужен чёткий снимок автомобиля целиком. На странице в качестве модели указана Seedance 2.5, результат сохраняется в MP4.
Такой сценарий подойдёт для своей машины или фотографии автомобиля близкого человека. В отличие от обычной анимации снимка, здесь есть конкретная идея: машина становится главным героем короткой динамичной сцены.
Если похожий ролик хочется собрать самостоятельно, можно начать с такого запроса.
Промт:
Используй загруженную фотографию автомобиля как основной референс.
Сохрани модель автомобиля, цвет кузова, форму фар, диски и остальные узнаваемые детали.
Автомобиль быстро разгоняется по тёмной дороге, затем плавно отрывается от земли и продолжает движение в воздухе. Под колёсами остаётся лёгкий дым, фары включены.
Камера сначала находится низко перед автомобилем, а затем плавно отдаляется и сопровождает его движение.
Сцена реалистичная и кинематографичная. Не меняй внешний вид автомобиля между кадрами, не добавляй новые элементы кузова и не искажай его пропорции.
В таком промте полезно отдельно фиксировать внешний вид машины. Иначе во время движения могут измениться мелкие, но заметные детали.
День рождения в Гелике: вместо обычной открытки
Для пресета «День рождения в Гелике» требуется чёткая фотография человека анфас или с небольшим поворотом головы.
По параметрам на странице ролик вертикальный, длится 9 секунд, создаётся в разрешении 720p и содержит звук. В качестве модели указана Bytedance Seedance 2 Fast.
Здесь готовый сценарий особенно удобен: не нужно самостоятельно описывать автомобиль, расположение человека и праздничную сцену.
Если хочется сделать собственную версию поздравления, основу можно оставить, а детали поменять.
Промт:
Используй загруженную фотографию человека как референс внешности.
Сохрани лицо, возраст, причёску и основные черты человека.
Герой сидит в салоне большого внедорожника возле открытого окна. Машина медленно останавливается перед камерой. Человек поворачивается к окну и улыбается.
В кадре появляется аккуратная праздничная надпись «С днём рождения!».
Камера остаётся снаружи автомобиля и слегка приближается к окну.
Не меняй внешность человека между кадрами, не искажай лицо и не добавляй в салон других людей.
Не стоит добавлять в девятисекундный ролик ещё пять действий. Одного поворота к камере и короткой реакции здесь достаточно.
Естественная фотосессия: когда фотографию нужно просто оживить
Не каждому ролику нужен фантастический сюжет.
Пресет «Естественная фотосессия» рассчитан на фотографию человека в полный рост, снятого анфас или с небольшим поворотом. На странице отдельно указано, что лицо и причёска должны быть хорошо видны, а фон и освещение желательно выбирать спокойные.
Пример на странице показывает семейный снимок. Сам ролик вертикальный, длится 8 секунд и создаётся в разрешении 720p.
Здесь задача другая: не придумать новое событие, а добавить исходному кадру немного естественного движения.
Промт:
Оживи загруженную фотографию, сохранив людей и исходную обстановку.
Не меняй лица, причёски, одежду и пропорции.
Добавь небольшие естественные движения: моргание, лёгкую улыбку, едва заметный поворот головы и мягкое движение волос или одежды.
Камера очень медленно приближается.
Сохрани исходное освещение и фон. Видео должно выглядеть как короткий момент, снятый обычной камерой.
Не добавляй новых людей и предметы.
Чем спокойнее исходный кадр, тем меньше действий стоит добавлять. Здесь несколько небольших движений выглядят естественнее сложной постановки.
Вдвоём на трибунах: соединяем двух людей в одной сцене
Для пресета «Вдвоём на трибунах» нужны уже две фотографии.
На странице прямо указано: первый и второй исходники должны быть чёткими портретами, на которых хорошо видно лицо. После генерации два человека оказываются рядом среди зрителей на трибунах.
По указанным параметрам видео вертикальное, длится 9 секунд и создаётся в разрешении 720p.
Такой формат пригодится, если хочется сделать общий ролик с другом, родственником или партнёром, но подходящей совместной фотографии нет.
При самостоятельной генерации важно явно разделить два референса.
Промт:
Используй две загруженные фотографии как отдельные референсы внешности.
Первый человек должен сохранить внешность с первой фотографии, второй — со второй.
Помести их рядом на зрительской трибуне во время спортивного события.
Сначала они спокойно разговаривают, затем одновременно переводят взгляд в сторону площадки.
Движения небольшие и естественные: поворот головы, улыбка, изменение взгляда.
Камера находится перед героями немного сбоку и медленно приближается.
Не смешивай черты лиц двух людей. Не меняй их возраст, причёски и основные черты внешности.
Если референсов несколько, модели лучше прямо объяснять, какой человек относится к какому изображению.
Маленький рыцарь: когда реализм можно отложить
«Маленький рыцарь» уже работает как фантазийное превращение.
В демонстрации на странице человек появляется в рыцарском образе рядом с маленьким персонажем в похожих доспехах. Продолжительность ролика — 9 секунд, формат MP4, разрешение 480p, в качестве модели указана Seedance 2.5.
Такой сценарий можно использовать как шуточный ролик для себя или отправить близкому человеку без отдельного повода.
Собственную версию можно описать так:
Промт:
Используй загруженную фотографию человека как референс внешности.
Перенеси героя на туманное средневековое поле. Он стоит в реалистичных рыцарских доспехах и держит большой меч вертикально перед собой.
Рядом находится маленький рыцарь в похожем образе и повторяет позу главного героя.
Ветер слегка двигает траву и элементы одежды. Главный герой сначала смотрит вперёд, затем переводит взгляд на маленького рыцаря и слегка улыбается.
Камера медленно движется вперёд.
Сохрани лицо и узнаваемые черты человека. Не меняй внешность между кадрами и не добавляй лишних персонажей.
Если хочется придумать собственный образ, лучше менять саму сцену, но сохранять её простую структуру: один герой, одно действие и одно движение камеры.
Как выбрать исходную фотографию
По страницам самих пресетов хорошо видно, что требования зависят от сценария.
Для автомобильного ролика нужен снимок машины целиком. Для портретных эффектов — хорошо различимое лицо. Для «Вдвоём на трибунах» понадобятся два отдельных портрета. «Естественная фотосессия» предъявляет больше требований к исходному кадру: человек должен быть хорошо виден, а фон и свет не должны отвлекать от него.
Для большинства таких генераций достаточно соблюдать несколько правил:
-
главный объект должен быть резким;
-
лицо лучше не закрывать волосами, рукой или крупными аксессуарами;
-
не стоит брать сильно пересвеченный или слишком тёмный кадр;
-
если нужен человек в полный рост, лучше не обрезать руки и ноги;
-
для двух референсов желательно использовать фотографии сопоставимого качества.
Студийная съёмка при этом не обязательна. Главное — чтобы модель могла нормально считать исходный объект.
Что лучше: пресет или собственный промт
Если нужен конкретный эффект из каталога, проще использовать пресет. В нём уже собраны сценарий и параметры, поэтому не приходится угадывать, как сформулировать запрос.
Собственный промт имеет смысл, когда хочется изменить идею.
Например, людей из сценария с трибунами можно перенести в другую обстановку. Поздравительный ролик — сделать не в автомобиле. А вместо рыцаря придумать другой образ.
Проще всего сначала попробовать готовый вариант, а уже потом решать, действительно ли его нужно переделывать.
Почему один короткий ролик лучше строить вокруг одного действия
Большинство показанных пресетов рассчитаны на несколько секунд.
За это время модель должна сохранить внешность человека или предмета, показать действие и выдержать выбранную сцену.
Поэтому промт вроде:
Человек выходит из автомобиля, бежит на стадион, превращается в рыцаря и потом улетает вместе с машиной.
создаёт больше проблем, чем возможностей.
Для одного ролика лучше выбрать что-то одно:
человек поворачивается к камере и улыбается;
автомобиль разгоняется и отрывается от дороги;
два человека сидят рядом и смотрят на площадку.
Если нужен длинный сюжет, его проще собрать из нескольких отдельных генераций.
Частые ошибки
Плохой исходник. Если лицо или главный объект плохо видны уже на фотографии, видео не исправит эту проблему автоматически.
Слишком много событий. Чем короче ролик, тем проще должна быть сцена.
Отсутствие ограничений на внешность. В собственном промте лучше прямо указать, какие черты нельзя менять.
Слишком сложное движение камеры. Одного плавного приближения, отдаления или сопровождения обычно достаточно.
Два человека без разделения референсов. При нескольких фотографиях нужно явно указать, кто должен сохранить внешность с какого изображения.
Частые вопросы
Нужно ли писать промт для готового пресета?
Нет. Основной сценарий уже подготовлен. Пользователь выбирает пресет и загружает требуемый исходник.
Промты из этой статьи нужны, если хочется повторить похожую идею самостоятельно или изменить её.
Подойдёт фотография со смартфона?
Да, если объект хорошо различим и снимок соответствует требованиям выбранного пресета.
Можно ли сделать ролик сразу с двумя людьми?
Да. Например, «Вдвоём на трибунах» рассчитан именно на две отдельные фотографии.
Все пресеты делают видео одинаковой длины?
Нет. Среди показанных примеров есть варианты на 8 и 9 секунд. Параметры лучше смотреть на странице конкретного пресета перед запуском.
Обязательно ли превращать фотографию во что-то необычное?
Нет. «Естественная фотосессия» построена на обратной идее: фотография остаётся узнаваемой, а нейросеть добавляет небольшое движение.
С чего начать
Для первой попытки проще взять сценарий с понятным исходником: оживить хорошую фотографию человека или использовать снимок автомобиля.
Для близкого человека можно выбрать эффект под ситуацию: поздравление, совместную сцену или фантазийное превращение.
В видеопресетах SpeShu.AI эти сценарии уже собраны отдельно: достаточно выбрать подходящий вариант, загрузить фотографии и запустить генерацию. Если готового сюжета окажется мало, его можно использовать как основу для собственного промта.
ссылка на оригинал статьи https://habr.com/ru/articles/1096944/