ПО для монтажа и сборки нелинейного интерактивного кино

_{КДПВ 1. Интерфейс для работы с нодами (сценами). Установление связей и привязка событий.}

У меня есть давнишняя мысль сделать интерактивное кино. Не в смысле как Kinoautomat Чинчера и не по типу «квеста» с явно выраженной кинематографической канвой и разветвленным нарративом (нажмите 3 если хотите, чтобы героиня осталась, или 4, чтобы героиня ушла), а чтобы в самом принципе подачи медиа была заложена принципиальная нелинейность. Попробую рассказать, что я имею в виду.

Представьте, что у вас есть некоторая локация или набор локаций в которых разворачивается параллельное действие. Теперь представьте что вы можете перемещаться внутри некоторой схемы локаций и наблюдать разные события. Т.е. это такой в некотором смысле интерактивный параллельный монтаж. При этом кроме простого переключения и кроме свободной сюжетной канвы (или множества параллельных сюжетных линий) в структуре фильма предусмотрены дополнительные связи, которые заданы автором и которые сами по себе являются дополнительным выразительным средством наравне с мизансценой, монтажным ритмом, световым решением, звуком, собственно сюжетом (сюжетами в нашем случае) и т.д.

В общем, я решил к этому подойти фундаментально и вот что я думаю в этой связи предпринять. Я хочу сделать монтажный инструмент для создания интерактивного нелинейного кино. Инструмент этот будет под открытой лицензией в свободном доступе. Ниже я постараюсь кратко изложить принципиальные возможности, которые я собираюсь реализовать.

ИНСТРУМЕНТАРИЙ ДЛЯ МОНТАЖА ИНТЕРАКТИВНОГО НЕЛИНЕЙНОГО КИНО

Монтажный модуль:

• возможность монтировать микросцены в привычном линейном ключе
• возможность включать в сцены нестандартные медиа (например данные с сенсоров)
• мульти-таймлайн (множество независимых таймлайнов для каждой микросцены, возможность связывания двух и более таймлайнов и выравнивание параллельных событий)
• возможность объединения независимых таймлайнов и микросцен
• связывание микросцен в граф (т.е. возможность задать логику связей сцен для ветвлений)
• возможность ветвления по привязкам или событиям приходящим из нестандартных медиа
• мета-склейки (принудительные монтажные эффекты при переходе от одной микросцены к другое, т.е. можно например делать мультикадр)
• возможность монтажной закольцовки микросцен
• возможность алгоритмизации переключения источников (камер, источников звука, сенсоров) в рамках одной сцены (т.е. монтажные ветвления внутри микросцены)

Обратите внимание на два существенных аспекта:

1. В таком варианте у фильма может отсутствовать понятие общего хронометража, например, если граф соединения всех нод (микросцен) будет замкнутым (см. эскизы). Т.е. все сюжеты можно закольцевать, например, или связать их каким-то более изощренным способом.

2. Речь не идет о том, что зритель нажимает кнопки или вообще оказывает какое-либо специальное дополнительное действие для того, чтобы перемещаться по пространству фильма. Вместо этого перемещение привязано к внешним источникам и встроено в логику и топологию связей между микросценами. Т.е. к примеру, датчики движения глаз или перемещения или какие-то дополнительные придуманные автором факторы могут оказывать влияние на то, какие сцены как будут «монтироваться». При этом разумеется, все локации и вся хронологическая логика так же должна быть доступна для прямого перехода. Последнее может быть реализовано на уровне «мета-интерфейса» для доступа к сценам. Т.е. некоторая условная объемная «карта» фильма.

Модуль класификации и отбора исходных материалов:

_{Эскиз 2. Интерфейс для работы с исходным медиа-материалом.}

Поскольку интерактивное кино подразумевает заведомо большее количество сложно структурированного исходного материала, наличие такого специального модуля, по всей видимости, потребуется.

а) возможность разбиения на кадры в привязке к:
● локации
● съемочной дате или промежутку
● хронологической последовательности
б) объединение в сцены по аналогичным параметрам
в) возможность задать дополнительные алгоритмизируемые параметры
● по цветовой доминанте
● по звуковому окружению (уровню звука)
● по дополнительным параметрам (возможно записанным сенсорным данным, например)
● по перемещению света в кадре
● по движению в кадре
г) простая возможность тегирования кадров и сцен по дополнительным параметрам вручную

И, очевидно, для всего этого понадобится какой-то «проигрыватель». В первом приближении я думаю, что это могло бы быть готовое для инсталляции ПО, предоставляющее web интерфейс и обеспечивающее мультистриминг + утилита для запуска standalone с конфигом для настройки медиа-окружения.

СФЕРА «ПРИМЕНЕНИЯ»

В первую очередь сразу надо отметить, что это экспериментальная затея. В этой связи, хотелось бы сфокусировать внимание не столько на предполагаемых художественных достоинствах и недостатках, сколько на технической и смысловой реализации.
Очевидно, что для демонстрации в кинотеатре такая затея малопригодна. Наиболее перспективный формат — это, по всей видимости, индивидуальный или клубный просмотр. И тут в некоторой перспективе может быть задействована вся мощь современных средств «погружения в виртуальную реальность». Поэтому, в частности, я включил в описание возможность использования всякого рода нестандартных источников и медиа.

Собственно хотелось бы услышать мнения сообщества и обсудить.

А если вдруг так случиться, что среди читателей найдется еще кто-нибудь из кодеров кино-видео-экспериментаторов, кто захочет принять участие в затее, я без сомнения буду рад всякой кооперации. Проект будет реализован под открытой лицензией GPL или аналогичной, с открытым исходным кодом. Предполагаемый девелоперский фреймворк: Qt, C++, кроссплатформенность (Linux, Mac, Win).