Wallpaper Engine я люблю за сцены. Это не зацикленные видео, а живые обои: слои картинок, шейдеры, частицы, персонажи, у которых шевелятся волосы, и даже скрипты на JavaScript. На Windows всё это просто работает. На Linux есть linux-wallpaperengine, и он многое умеет, но запускается отдельной программой поверх рабочего стола. Мне хотелось, чтобы сцена вела себя как обычные обои: плавно сменялась, засыпала, когда экран заблокирован, и не тратила батарею, когда её не видно.
В итоге я написал библиотеку apolline-scene. Она открывает сцену из Workshop и рисует её в любой OpenGL или GLES контекст. Ниже рассказываю, как сцены устроены внутри, на чём я спотыкался и почему иногда лучше отказаться рисовать, чем нарисовать почти правильно.
Сцены из Workshop в моём приложении для выбора обоев. Сами обои принадлежат их авторам.
Что лежит внутри сцены
Скачанная из Workshop сцена выглядит как папка с project.json и файлом scene.pkg. В пакете лежит scene.json с камерой и слоями, материалы, шейдеры, текстуры в формате .tex, эффекты, системы частиц, модели .mdl для анимации и скрипты. Ещё у самого Wallpaper Engine есть папка assets со стандартными шейдерами, на которые сцены ссылаются. Её я беру из установленной у человека программы и никуда не копирую. Как и сами сцены, это чужое.
Отдельная история с лицензией. linux-wallpaperengine выходит под GPL-3.0, а свою библиотеку я хотел под MIT и Apache, чтобы её можно было встроить куда угодно. Поэтому его код я не открывал вообще. Форматы разбирал по самим файлам сцен и публичной документации, а правильность проверял так: у каждой сцены есть превью, которое приложил её автор, и мой кадр должен с ним совпасть. Это медленнее, зато нет спора «а по-моему похоже».
Файлы из интернета
Сцены выкладывают незнакомые люди, поэтому читать их надо аккуратно. У разбора везде стоят пределы: на размер пакета и текстуры, на шейдеры 256 КБ на файл и мегабайт на все сразу, а путь внутри пакета не может выйти наружу. Распакованные текстуры не могут занять больше гигабайта. DXT я распаковываю в RGBA, и сцена с десятком кадров 8192 на 8192 иначе съела бы всю видеопамять.
Сам формат .tex оказался самым пёстрым. Внутри бывает DXT1, DXT3 и DXT5, сырые RGBA, RG и R, всё это иногда сжато LZ4, а иногда там лежит обычный PNG или JPEG. Анимированные текстуры хранятся спрайт-листом с таблицей кадров.
Шейдеры, которые притворяются двумя языками сразу
Шейдеры Wallpaper Engine пишутся так, чтобы собираться и как GLSL, и как HLSL. На деле это GLSL, в который то и дело заходят float4, saturate, lerp, mul и texSample2D. Большую часть разницы закрывает препроцессор. Перед каждым шейдером я дописываю вот такую шапку:
#define texSample2D texture#define texSample2DLod textureLod#define frac fract#define saturate(x) clamp(x, 0.0, 1.0)#define lerp mix#define fmod(x, y) ((x) - (y) * trunc((x) / (y)))#define mul(x, y) ((y) * (x))#define atan2 atan#define float4 vec4#define float4x4 mat4
mul переворачивает множители не просто так: в HLSL матрицы по умолчанию хранятся иначе.
С остальным сложнее. HLSL многое прощает. Можно собрать вектор из одного числа, взять число из вектора, применить остаток от деления к дробным, поставить целое туда, где ждут дробное. Десктопный GL на NVIDIA многое из этого пропускает, а строгий GLES нет. Поэтому у меня есть отдельный проход, который выводит тип выражения там, где это однозначно, и дописывает явное преобразование только там, где GLSL иначе отказался бы собирать шейдер. Если проход в чём-то не уверен, он ничего не трогает. Шейдер, который честно не собрался, лучше шейдера, который собрался и считает не то.
Самый забавный баг вылез, когда я запустил всё на настоящей машине с NVIDIA. Стандартный эффект pulse и эффекты уменьшения картинки называют переменную sample. В GLSL ES это зарезервированное слово. На маке всё работало, а там не собрались 9 сцен из 27. Теперь после разбора диалекта я переименовываю двадцать четыре слова, которые GLSL ES держит за собой: sample, filter, input, output и прочие. Униформы не трогаю, их программа ищет по имени.
Эффекты и режимы наложения
Эффект в сцене это цепочка проходов. Слой рисуется в свою текстуру, следующий проход читает её и пишет дальше. У части эффектов есть именованные буферы для лучей, размытия и бликов. Разработчик Wallpaper Engine сам говорил, что многопроходные эффекты не документированы. Так что каждая моя догадка о формате сначала сидела за отказом и включалась, только когда совпала с превью на настоящих сценах.
Свечение всей сцены (bloom) я повторил по стандартным материалам программы. Из кадра берётся то, что ярче порога, уменьшается вчетверо, размывается в несколько шагов и добавляется обратно.
Режимов наложения слоёв тридцать два, от «затемнения» до «оттенка», как в графических редакторах. Каждый слой рисуется отдельно и смешивается с тем, что под ним. Режим «оттенок» я сверял с превью по яркости, расхождение вышло меньше половины процента.
Скелетная анимация по самим файлам
Когда у персонажа на обоях колышутся волосы или поднимается рука, это puppet warp: картинку гнут скелетом. Формат .mdl я разбирал полностью по файлам. В нём три части. Сначала сетка: вершины в пикселях картинки от её центра, у каждой до четырёх костей с весами. Потом скелет: имя кости, родитель, матрица покоя. Потом анимации: кадры в секунду, длина и для каждой кости на каждый кадр позиция, поворот и масштаб.
Версий формата я встретил пять. То, что идёт после анимации, у них отличается, поэтому пока я читаю только первую анимацию в файле, а самую новую версию скелета честно не беру. Вершины сгибаю на процессоре каждый кадр, это дёшево.
Чужой JavaScript на рабочем столе
Скрипты в сценах пишутся на JavaScript, и запускать чужой код на рабочем столе надо осторожно. Каждый рендерер получает свой QuickJS, и в нём есть только API сцены, которое я написал сам. Файлов и сети там нет. Памяти дано 64 МБ, на загрузку скрипта две секунды, на кадр 50 миллисекунд. Если скрипт не уложился, его останавливают, а сцена продолжает жить без него.
Чаще всего скрипты двигают слои и рисуют часы, иногда раскачивают свечение под музыку. Звук приходит спектром, 64 полосы на канал. Эту часть я сделал совсем недавно и на живой музыке толком не гонял.
Частицы и одна оптимизация
Частицы были самой прожорливой частью. Почти всё время процессора на тяжёлых сценах уходило на шум турбулентности. Для трёх осей считались три отдельных шума, и каждый заново обходил решётку. Я сделал так, чтобы решётка обходилась один раз сразу для трёх. На одной сцене расход упал с 35 до 22 процентов ядра при 30 кадрах в секунду.
Почему я отказываюсь рисовать
Если в сцене есть хоть что-то, чего библиотека не умеет (видео внутри текстуры, 3D-слои, HDR-свечение, пара операторов частиц), она сцену не рисует и прямо пишет, чего не хватает. Происходит это до того, как текущие обои будут заменены.
Сцена без одного слоя выглядит как сломанная программа, и человек решит, что проблема у него. А отказ можно обработать. Мой демон обоев в таком случае отдаёт сцену linux-wallpaperengine, если он установлен. Неправильная картинка хуже честного запасного варианта.
Это правило задало и порядок работы. Сцена рисуется нативно, только если поддержано всё, что в ней есть. Поэтому сначала я взял 60 самых популярных сцен Workshop (с тем, что они подтягивают, получился 81 проект) и посчитал, что мешает каждой. В начале целиком рисовались восемь. Дальше шли скрипты (32 сцены), флаги частиц (31), текстовые слои (29) и вспомогательные буферы (23). Задачи я брал прямо по этому списку сверху вниз.
Что получилось
На Arch с RTX 4070 Ti, в живой библиотеке из 41 обоев, нативно готовятся 27 сцен. Рисуются все 27, и кадр каждой совпадает с превью. На маке, где я в основном работал, из 81 сцены готовятся 55, и рисуются тоже все.
На видеокартах AMD и Intel с Mesa я реальные сцены ещё не запускал, только синтетические тесты. Если у вас такая карта и Wallpaper Engine в Steam, очень помогло бы, если бы вы прогнали проверку: в README есть одна команда, которая рисует по кадру каждой сцены и падает на любом шейдере, который не собрался.
Как это живёт в демоне обоев
Мой демон обоев apolline-wall рисует сцены в том же GL-контексте, что картинки, видео и шейдеры с Shadertoy. Отдельный процесс так бы не смог в двух вещах.
Первое: одна сцена на нескольких мониторах считается один раз. Она рисуется в холст своей формы, и каждый экран показывает свой кусок. На двух мониторах это сняло около четверти нагрузки на процессор, а видеокарта стала загружена на 32 процента вместо 46.
Один холст на три экрана разного размера. Здесь шейдер hills из репозитория, со сценой всё устроено так же.
Второе: кадр рисуется, только когда его просит компоновщик. Если обои закрыты окном во весь экран, они не стоят ничего. С видео в тестовой виртуалке было около семи ядер, а стало меньше одного. Ещё обои засыпают при блокировке, перед сном и, если хотите, на батарее.
Выбирать обои можно в отдельном приложении, оно работает на любом рабочем столе и говорит с демоном через тот же сокет, что и командная строка.
Библиотека обоев: свои папки и всё, что есть у Wallpaper Engine, внизу видно, что сейчас на каждом мониторе.
Ссылки
Библиотека: https://github.com/Pisosenie/apolline-scene
Демон обоев с приложением для выбора и плагином для KDE Plasma 6: https://pisosenie.github.io/apolline-wall/
Оболочка для niri, где всё это живёт: https://pisosenie.github.io/apolline/
Всё под MIT и Apache-2.0. Файлов Wallpaper Engine в репозиториях нет, библиотека читает то, что уже лежит у вас в Steam.
Если какая-то сцена рисуется не так, как на превью, или библиотека отказывается её рисовать, пришлите её номер из Workshop в issue. Каждая такая сцена либо баг, либо следующая строчка в списке того, чего не хватает.
ссылка на оригинал статьи https://habr.com/ru/articles/1109022/