В рамках работы в Центре дизайна и мультимедиа Университета ИТМО мы написали интересную статью о применении технологий виртуальной реальности для сохранения культурного наследия. Описали множество собственных «кейсов» — музеи, концерты, культурно-массовые мероприятия, а также рассказали об уникальном проекте интерактивной экскурсии по крепости «Корела» (Ленинградская область), где впервые совместили 3D-реконструкцию и интерактивное «видео 360».
В английском варианте материалы будут представлены в мае на международной конференции «ArtsIT, Interactivity & Game Creation» (Эсбьерг, Дания). Здесь же приводим русский, незначительно адаптированный оригинал.
Виртуальная реальность и ее применение
В настоящее время интенсивно развиваются технологии виртуальной реальности и их приложения. Большие возможности открывает использование таких технологий в культуре и искусстве, так как они обеспечивают эффект присутствия зрителя в центре культурных событий. Одним из перспективных и активно развиваемых в настоящее время подходов к созданию контента для систем виртуальной реальности является технология видео 360°, которая позволяет создавать панорамные видеоролики с различной степенью интерактивности, где зритель по своему желанию управляет ракурсом просмотра видео. Такое видео можно посмотреть как в шлеме виртуальной реальности (например, в Oculus Rift, Samsung Gear VR, HTC Vive и др.), так и с помощью специального приложения на смартфоне, при этом картинка изменяется в соответствии с поворотами головы пользователя. Возможен просмотр видео 360° на дисплее персонального компьютера. В последнем случае пользователь управляет ракурсом с помощью мыши или клавиатуры.
Просмотр видео в формате 360° в гарнитуре Samsung Gear VR
Многие крупные компании (Facebook, Nokia, Samsung, Google и др.) в настоящее время ведут разработки камер для съемки видео в формате 360°, гарнитур виртуальной реальности для различных смартфонов и стационарных компьютеров, а также различных звукозаписывающих устройств, обеспечивающих создание объемного (бинаурального) звука и позволяющих реализовать целый комплекс технологий «мультимедиа 360°».
Особенно актуально применение технологии видео 360° в сфере образования. В интерактивном видео 360° может быть обеспечено взаимодействие с конечным пользователем, поэтому данный метод можно широко применять для обучения специалистов в различных областях, где для освоения опыта практической работы требуется присутствие в центре события. Технология видео 360° позволяет анализировать командную работу персонала во время выполнения разнообразных задач, что приводит к повышению качества образовательного процесса.
Немалую роль играет панорамное видео 360° для сохранения и обеспечения доступа к культурному наследию. Эта технология предоставляет уникальную возможность увидеть с эффектом погружения не только закрытые для посещения архивы музеев, но также и реконструированные исторические памятники, которые были разрушены временем или обстоятельствами (трехмерная виртуальная реконструкция). Кроме того, виртуальная реальность — уникальная возможность для совершения путешествий и прогулок по разным уголкам планеты людям с ограниченными возможностями.
Говоря о сфере развлечений в аспекте технологий видео 360° — зрители могут побывать на крупнейших культурных фестивалях, очутиться на сцене рядом с любимыми музыкантами или посмотреть театральное представление из королевской ложи.
В Центре дизайна и мультимедиа Университета ИТМО реализуется проект развития и применения технологий видео 360° в культуре и искусстве Video360Production.com. В рамках этого проекта удалось добиться определенных результатов, необходимых для получения качественного контента, начиная с разработки оригинальных устройств записи видео 360° и звука и заканчивая разработкой программного обеспечения для решения ряда задач в данной области.
Технологии мультимедиа 360°
В настоящий момент разрабатываются специальные камеры, с помощью которых можно было бы снимать видео в формате видео 360°. Однако, с помощью специальных приспособлений и программного обеспечения, можно использовать существующие камеры для съемки видео 360°.
Ярким примером такого подхода является целый ряд проектов, предлагающих специальные риги для камер GoPro HERO 4. Количество камер в риге – от 6 до 14 (стерео-варианты), в зависимости от задач. После съемки видео потоки сшиваются в общую видеосферу с помощью отдельно поставляемых программ.
Кроме того, несколько крупных IT-компаний и производителей электроники анонсировали собственные полностью автоматизированные решения для съемки контента для виртуальной реальности – Google Jump + GoPro Odyssey, Samsung Beyond, Nokia Ozo.
GoPro Odyssey, Nokia OZO и Samsung Project Beyond
Наши личные впечатления от камеры Nokia OZO мы описали здесь.
Видео 360° – новое и прогрессивно развивающееся направление, которое пока не имеет стандартов режиссуры, что предоставляет широкий простор для творчества и развития новых идей и подходов. Эффект полного погружения достигается за счет камеры с несколькими объективами, которая позволяет снимать все, что происходит вокруг. Однако, это влечет за собой множество сложностей, ведь многие законы режиссуры не действуют при съемках в формате видео 360°. Основным кардинальным отличием просмотра видео 360° в гарнитурах виртуальной реальности является тот факт, что у зрителя появилась возможность смотреть контент вокруг себя, а это означает, что режиссер должен будет предоставить зрителю возможность динамического выбора ракурса просмотра, а не фокусировать взгляд на конкретной части экрана.
Решением такой проблемы является детальная продуманность сценария с точки зрения смены парадигмы – уход в 3D видео пространство. Каждая съемка требует как стандартной подготовки (настройка света, наиболее выгодные точки для камеры, сценарий и расположение сцены), так и нестандартных подходов (специальные и часто уникальные для каждого случая крепления камеры, режиссура с учетом особенностей записи видео 360°, правильная ориентация камеры, запись объемного звука). При записи концертов, для достижения большей реалистичности звук с камеры или со стерео микрофона часто совмещается со звуком с режиссерского пульта.
Представление культурных событий с помощью технологии мультимедиа 360°
Коллекция отснятых видеоматериалов проекта video360production.com для гарнитур виртуальной реальности насчитывает более пятидесяти различных роликов: концерты и музыкальные фестивали, экскурсии по историческим местам, экскурсии в музеях, театральные представления, разнообразные культурные мероприятия и технологические процессы.
Группа «Браво», «Любовь не горит» в формате панорамного видео
Группировка «Ленинград» в формате панорамного видео
Технология укладки асфальта «Экохитер», панорамный промо-ролик
При записи концертов необходимо передать в высоком качестве, как изображение, так и звук. Более того, необходимо продумать местоположение камеры, так как при записи на камеру 360° становятся неактуальными такие понятия как «передний» и «задний» план. К тому же иногда сцене одновременно находились до двадцати человек, что усложняло установку камеры. Отснятый материал позволил музыкантам посмотреть на себя со стороны, оценить расположение музыкантов во время концерта, а так же увидеть реакцию публики на выступление. Зрители, в свою очередь, с помощью данной съемки смогли детально рассмотреть игру каждого музыканта и погрузиться в атмосферу, создаваемую оркестром или группой.
Концерт группы «Пикник» в формате панорамного видео
Во время съемки известной российской группы «Пикник» возникли трудности следующего порядка – концерт проходил в темном помещении концертного зала при ярком свете софитов. Эти условия являются сложными и для обычных камер, так как даже при максимальном разрешении передача реалистичной глубины цвета является довольно сложной задачей.
Видеозаписи концертов в формате 360° имеют огромное преимущество над стандартными видео записями, так как зритель ощущает эффект присутствия в пространстве сцены и обладает полной автономией самостоятельно решать, куда смотреть в данный момент– наблюдать ли за игрой гитариста или смотреть на солиста, а может вовсе увидеть концерт «глазами» музыкантов, развернувшись спиной к сцене, и наблюдать за живой реакцией публики.
Для достижения эффекта полного погружения необходима не только качественная картинка, но и «живой» звук. Для музыкантов и частых посетителей концертов не является секретом тот факт, что «технический» звук на сцене далек от того, что слышно в зале. Звукорежиссеры проекта совместили звук со стерео-микрофона со студийной записью. В результате звук остался высокого качества, но сохранил «живость»: во время просмотра записи можно услышать, как реагирует и подпевает зал.
Помимо музыкальных коллективов, исполнители проекта video360production.com взаимодействует с крупнейшими санкт-петербургскими театрами, где был снят ряд спектаклей и музыкальных представлений. Уникальную возможность предоставляют съемки исторических достопримечательностей в городах и экскурсий в музеях. В Музее антропологии и этнографии им. Петра Великого (Кунсткамера) в формате видео 360°, перед началом реконструкции был снят большой академический (Готторпский) глобус — дипломатический подарок царю Петру I от Голштинского герцога Карла Фридриха в ходе Северной войны.
Съемка большого академического (Готторпского) глобуса в формате видео 360°
Начата реализация совместного проекта Университета ИТМО и Государственного Эрмитажа «Точки присутствия», в рамках которого планируется представить события в различных помещениях музея с помощью технологий панорамной видео съемки.
Съемка в Государственном Эрмитаже видеосюжета «Часы Павлин» в формате видео 360°
Повышенным интересом среди посетителей канала YouTube, созданного авторами проекта, пользуется также виртуальная прогулка по рекам и каналам Санкт-Петербурга.
Особое внимание было уделено съемкам в формате видео 360° различных событий в Соловецком монастыре. Соловецкий монастырь сыграл исключительную роль в истории и культуре России. Зародившись в XV в. как место пустынножительства духовных последователей «отца русского монашества» прп. Сергия Радонежского, за короткое время он превратился в духовную, культурную, политическую и экономическую столицу Севера России. Трудами соловецких иноков, давших Русской Церкви целую плеяду святых подвижников, христианская вера распространилась на бескрайних пространствах русского Приполярья.
Деятельность Соловецкого монастыря в решающей степени способствовала притоку русского населения в район Белого моря. Морской монастырь оказал решающее воздействие на развитие экономики и морской части Поморья. Это стало предпосылкой освоения русскими мореходами Северного Ледовитого океана и превращения России в великую арктическую державу.
Географическая удаленность Соловецкого монастыря затрудняет для многих возможность принять личное участие в происходящих там событиях. Съемка таких событий в технологии видео 360° и обеспечение доступа к ним через интернет позволяет, при использовании гаджетов виртуальной реальности, почувствовать себя участником таких событий.
В результате проведенных работ было снято на Соловецком Архипелаге более 10 сюжетов: Экскурсия в Храм Вознесения на Секирной горе, Служба в храме Соловецкого монастыря, Рождественская Литургия, Всенощная, Детский рождественский праздник в Соловецком монастыре, Монастырское колядование, различные виды монастыря и Большого Соловецкого острова.
Служба в храме Соловецкого монастыря в формате видео 360°
Экскурсия в Храм Вознесения на Секирной горе (Соловецкие острова) в формате видео 360°
Интерактивность в формате Видео 360°
Не смотря на то, что просмотр объемного видео 360° в различных гарнитурах виртуальной реальности обеспечивает качественное виртуальное погружение в видео контент, следующим шагом является возможность внедрения в видеоматериал формата видео 360° различных интерактивных элементов.
Такими элементами могут выступать:
• Активные метки внутри виртуального пространства для движения по различным траекториям, предварительно отснятым в технологии видео 360°;
• Внедрение в видео 360° различного дополнительного контента (изображения, видео, гиперссылки и т.д.) – функция «картинка в картинке»;
• Переход из видеоизображения в формате видео 360° в смоделированное 3D-пространство реконструированной реальности.
На базе системы Unity3D в Центре дизайна и мультимедиа Университета ИТМО была реализована интерактивная экскурсия в формате видео 360° по Музею-крепости «Корела». Эта панорамная видео-экскурсия с элементами интерактивного управления разработана для просмотра в гарнитурах виртуальной реальности Oculus Rift.
Интерактивное взаимодействие дает возможность выбора пути следования: пользователю, в определенных точках — развилках, даётся возможность выбрать желаемое продолжение экскурсии, либо вернуться назад. Наведение на элемент осуществляется поворотом головы, которое отслеживается с помощью Oculus Rift. При удержании прицела на выбранном элементе в течение нескольких секунд происходит активация элемента и запускается следующий сегмент видео 360°. Для повышения наглядности интерактивного взаимодействия при наведении прицела запускается анимация заполнения круговой полосы загрузки.
Карта интерактивных перемещений по музею-крепости Корела
На проходах «вперед» присутствует профессиональный экскурсовод, рассказывающий об объектах на проходимом участке пути, на проходах обратно экскурсовод уже не присутствует, чтобы не дублировать одну и ту же информацию. При желании, пользователь может пропустить просмотр отрезка видео нажатием клавиши на клавиатуре или с помощью интерактивного элемента.
Вторая форма интерактивного взаимодействия – возможность перейти из видео 360° в виртуальную трехмерную реконструкцию крепости. Реконструкция крепости Корела была выполнена в рамках проекта «Мультимедийная информационная система «Древние крепости Северо-Запада»». В определенных точках видео-экскурсии появляется элемент, активировав который пользователь перемещается в 3D-реконструкцию, с возможностью свободного перемещения в виртуальном пространстве реконструкции с использованием графического движка Unity3D. В местах виртуальной реконструкции, совпадающих с реальными записанными статическими точками-метками, в реконструкции расположены светящиеся порталы. Войдя в такой портал, пользователь возвращается на соответствующую точку видео-экскурсии.
Заключение
Технологии мультимедиа 360° — это новое перспективное технологическое направление, которое позволяет создавать качественный интерактивный контент для гарнитур виртуальной реальности во всех областях человеческой деятельности (культура, искусство, образование, наука, туризм, реклама, промышленное производство, государственное управление и т. д.).
С точки зрения индустрии развлечений и, особенно, создания художественных фильмов в формате 360°, ожидается разработка ряда новых подходов и методологий творческого и технологического процессов, которые позволят зрителю погрузиться на новый виртуальный и интерактивный уровни.
ссылка на оригинал статьи https://geektimes.ru/post/273774/
Добавить комментарий