С первого дня, как я запустил ДЛСС 5, я понял, что с моделью что-то не так. Но для того чтобы понять, что именно, мне пришлось запустить его на 50+ играх и снять 100+ футажей для наглядности. Поэтому вместо скриншотов буду прикреплять футажи с таймовичками.
Итак, сначала, чтобы не быть голословным: DLSS 5 и Pong.
Понг, если что, – досовский порт, не на оригинальном автомате. Так вот:
Миф 1: DLSS5 не меняет полигоны, и является только «решейдом»
И нет, это не так. ДЛСС 5 меняет геометрию лиц, если запустить её на этапе «рендера»…
Шаг назад. Как сейчас прикручивают DLSS5 к играм
Очень коротко.
Сейчас DLSS 5 прикручивают к играм через RenoDX, библиотеку и обычно (для старых игр) векторы. Энтузиасты расковыряли это всё, и у обычных пользователей есть следующие настройки:
-
Выбор, где встроить нейрорендер (после апскейла, на этапе рендера, на этапе вывода картинки).
-
Сила эффекта.
-
Цветовые пресеты.
-
Количество проходов (от х1 до х4).
При этом важное замечание: если использовать DLSS 5 в режиме х2 и более, он берёт для выборки только 1 кадр, и нейросеть больше галлюцинирует. Но именно так можно посмотреть, что именно рисует DLSS.
Так вот…
Миф 1: DLSS5 не меняет полигоны, и является только «решейдом»
И это помогло мне понять RBdoom (DX12) на вот этом таймовичке:
Собственно, как раз в режиме прогона х3 мы отчётливо видим, что геометрия «квадратного» персонажа в Doom 3 на некоторых кадрах (если делать стопы) сильно изменилась по отношению к оригиналу
При этом, так как каждый кадр ДЛСС 5 перерисовывает, не опираясь на предыдущие, мы видим высокий уровень галлюцинаций (когда буквально каждый кадр у персонажа новое лицо). Более того, в зависимости от пресета меняется и лицо в кадре (от бородатого седого мужика до фиолетового инопланетянина без бороды).
Утверждение 2: ДЛСС тяготеет к определенным цветам, и делает все игры одинаковыми
Базово у ДЛСС 5 есть три пресета:
-
Дефолт.
-
А-ля натурель.
-
А-ля синематик.
И при обычном проходе (х1), что на этапе встраивания в рендер, что на вывод, разница невелика.
Но стоит вкрутить все ползунки на максимум, и вместо «подчёркивания и фотореализма» на выходе получаем:
-
Дефолт – преобладание зелёного.
-
Натурель – синие цвета, а-ля ранний Миджорней.
-
Синематик – преобладание фиолетового и поднятая точка чёрного.
При этом неважно, какая картинка подаётся на вход. Ради чистоты эксперимента был выбран L.A. Noire в режиме «Ч/Б».
И умная нейросеть, которая видит перед собой Ч/Б… раскрасила картинку. Таймовичок:
С одной стороны, приятно. А с другой – она раскрасила её именно в те цвета, которые были указаны в соответствии с пресетом. ЧЁРНО-БЕЛУЮ КАРТИНКУ, КАРЛ!
-
Очень важно помнить: каждый следующий проход делает картинку темнее. Всегда. Вне зависимости от игры и условий. Ярким примером для меня стал логотип dgVoodoo, который я оставлял в разных играх, чтобы сверить, как он себя будет вести. И всегда на х4 он был тёмным и блёклым.
Миф 3: ДЛСС 5 «хорошо» обрабатывает лица.
Ну, можно, конечно, 100 раз рассказывать об анимешных девочках, но зачем… Если можно взять знаменитый RE3 400% faces mod и посмотреть, как он справится с результатами «фотореалистичного лица», но с увеличенной экспрессией.
Собственно… Вместо тысячи слов – губозакаточный дед:
Даже не знаю, как это прокомментировать. Везде, где модель не знает деталей, она их додумывает.
Миф 4: ДЛСС 5 хорошо подходит для использования на старых играх
Так как библиотеку слили вместе с инструментами для прикручивания её к чему угодно (включая Wolfenstein 3D)
, то может сложиться впечатление, что мы берём старую игру, прокидываем достаточное количество врапперов, накидываем внешние вектор-моушены… и… получаем какой-то результат (в качестве примера здесь оставлю Witcher 3 + Yessemir & Gessemir mod, не спрашивайте, почему с модами).
Так вот:
Почему именно Ведьмак? Потому что у него есть как старая DX11-версия (1.32, на которой был записан футаж), так и некстген DX12-версия.
И хотя DX11-версия может запуститься на GTX 560, а ремастер требует хотя бы RTX 5080 при той же картинке, речь не о том.
А о том, что в отсутствие DX12 картинка шумит, разваливается и галлюцинирует даже при одном проходе без денойза. Хотя все векторы и все костыли пришиты правильно. В то же время версия на DX12 ведёт себя стабильно даже на самых экстремальных вариантах запуска DLSS 5.
(Пример – футаж Спайди:
x4 + встраивание на этапе рендера). (Пример – футаж Киберпанка)
.
А значит, как бы хитро мы ни прокидывали для DLSS 5 различные костыли, без какой-то информации, связанной, видимо, с остальной цепью DLSS 5, он работает не на всю мощность.
Кстати, это же и разрушает идею прокидывания DLSS 5 на YouTube и т. д. Так как результат хоть и есть, но получается «идентичным натуральному», ведь векторы модели всё ещё нужны. И история по кадрам, желательно, тоже.
В чем же ДЛСС 5 хорош?
В создании статических картинок.
Ладно, Lada Racing Club тоже хорошо себя показала.
Перед Финалом
А ещё ДЛСС 5 нещадно жрёт ресурсы, что не позволяет на самом деле прокидывать его на эмуляторы PS2 и PS3, потому что из-за падения фреймрейта многие игры начинают заикаться.
И плохо работает с 2D-играми: хоть «Герои 1, 2, 3», хоть оригинальный MGS.
И даже изометрия даётся модели с большим трудом («Герои 5» и незаписанный SC2 не дадут соврать), так как модель обучалась только на FPS-шутерах (вероятно).
И всё это – титаническими усилиями мобильной 5090, которая выдавала 10 кадров хоть на Wolfenstein 3D, хоть на Cyberpunk 2077.
Вывод
И всё же… DLSS 5 – это просто недообученная модель и очень сырая технология.
Объясню. Ранее, когда выходили первые модели, которые могли генерировать видео, у них были точно такие же проблемы со стабильностью изображения. И, что более важно, такие же проблемы с цветокоррекцией.
А значит, 150-мегабайтная библиотека – это только начало. И если дообучить её большим количеством данных и вкрутить несколько проходов силами самой Nvidia, чтобы модель могла стабильнее вести себя на х2–4 прогонах, а не пересчитывать каждый кадр, как будто предыдущих не существует…
А файлики для прокидывания ДЛСС5 на старые игры, как обычно лежат здесь.
Но да… вот такое «будущее нас ждёт».
ссылка на оригинал статьи https://habr.com/ru/articles/1089094/