DLSS 5 — не провал. Будущее рендеринга: глубокий технический взгляд на новые подходы после 15-ти лет в геймдеве

от автора

Всем привет! Перед началом, давайте немного познакомимся с теим, с кем еще не знакомы. Меня зовут Илья, я технический директор в компании, разрабатывающей продукты на базе машинного обучения. Ранее 15 лет я работал в геймдеве и прошел путь нескольких технических рубежей. Отчасти написание на написание этой статьи меня вдохновил недавний срач, появившийся после анонса DLSS 5 от Nvidia.

В этой статье мы опустим маркетинговый косяк самой Nvidia и технически сырые демки, а скорее погрузимся в недалекое техническое будущее, которое ждет нас в игровой индустрии, пройдя через историю графического конвейера.

Начало революции в графическом конвейере

DLSS vs FSR vs TSR

DLSS vs FSR vs TSR

За последние пять лет в архитектуре рендеринга в играх произошел по-настоящему огромный сдвиг. Если на протяжении двух десятилетий до этого, прогресс упирался в неумолимую математику закона Мура, где улучшение качества рендеринга сводилось к росту вычислительной мощности и увеличению количества полигонов и шейдеров, то сегодня все изменилось. Теперь для достижения высокого визуального качества в играх стала не грубая сила в лоб, а новые подходы, которые меняют устоявшуюся за десятилетия суть самого построения игровой картинки, в том числе на основе технологий ИИ. На сегодняшний день более 80% всех пикселей на экране в самых передовых (с технической точки зрения) играх проходят не классический путь, а смешанные подходы и новые уловки (новые подходы в вычислении света, супер-семплинг на основе ИИ и др).

Сегодня мы остановимся на том, как повлиял (и будет дальше влиять) ИИ на рендеринг в играх, чтобы понять суть сдвига в графике. Для этого мы изначально рассмотрим две ключевые темы: во-первых, фундаментальные отличия DLSS от всех предыдущих подходов к повышению разрешения и сглаживанию (от SSAA до TAAU), а во-вторых, место, которое нейросетевое масштабирование занимает в современном графическом конвейере, после чего сделаем обзор на ближайшее будущее рендеринга в играх.


От супер-сэмплинга к нейронному синтезу сцены

Чтобы оценить место DLSS (в том числе и будущей 5-ой версии) в графическом пайплайне, мы проследим путь эволюции сглаживания и масштабирования от самых первых реализаций до современного подхода с использованием ИИ-вычислений.

Эпоха «чистой математики»: SSAA, MSAA, FXAA и их ограничения

Наверняка многие из нас вспомнят эти страшные сочетания букв при выборе сглаживания в настройках игр

Наверняка многие из нас вспомнят эти страшные сочетания букв при выборе сглаживания в настройках игр

Классические методы борьбы с «лесенками» на границах игровых объектов были основаны на простом, но дорогом для вычислений принципе: обработке изображения с более высоким разрешением или его частей.

Посмотрим на три классических алгоритма сглаживания в играх:

  • SSAA (Supersampling Anti-Aliasing): Самый «честный», но и прожорливый метод. Сцена рендерится в разрешении, превышающем целевое у пользователя (например, в 4K для вывода на FHD-монитор), а затем полученный кадр сжимается обратно до нужного размера. SSAA обрабатывает каждый субпиксель, включая затенение, что дает эталонное качество картинки, но приводит к падению производительности (надеюсь, вы понимаете, почему). Для современных игр со сложными шейдерами и геометрией этот подход непрактичен.

  • MSAA (Multisample Anti-Aliasing): Этот метод появился, как попытка оптимизировать SSAA. Суть оптимизации сводится к тому, что обработка затенения производится только один раз для каждого примитива (например треугольника) внутри пикселя, а не каждый сэмпл, как это делает SSAA. Хотя такой подход и значительно снижает нагрузку на GPU, стоит учесть, что MSAA эффективно сглаживает только края геометрии, но не справляется с другими элементами пайплайна, как например, сглаживанием текстур. Также его стоимость все еще остается высокой для сложных сцен.

  • FXAA (Fast Approximate Anti-Aliasing): Сглаживание на уровне постобработки, которое анализирует уже готовый 2D-кадр, ищет в нем высоко-контрастные границы и размывает их. Это самый «дешевый» с точки зрения производительности метод, но его главный недостаток, в итоге — неизбежное «мыло» всей картинки, включая текстуры и элементы интерфейса, что приводит к потере четкости и детализации.

Эра темпорального накопления: TAA и его наследники (TAAU)

TAAU в конвейере рендеринга

TAAU в конвейере рендеринга

Ключевой прорыв произошел с переходом к темпоральным методам, которые используют информацию не только из текущего кадра, но и из предыдущих.

Что же изменилось в подходах:

  • TAA (Temporal Anti-Aliasing): Вместо того чтобы рендерить каждый пиксель, TAA слегка смещает положение камеры каждый кадр, накапливает информацию с предыдущих кадров, используя моушн векторы объектов, и затем вычисляет среднее значение. Это позволяет получить качество, близкое к SSAA, при производительности, сопоставимой с одной отрисовкой кадра. TAA стал отраслевым стандартом на долгие годы, но у него есть свои фундаментальные проблемы: гоустинг, потеря детализации на мелких и быстро движущихся объектах и общее «мыльное» ощущение от картинки в некоторых реализациях и сценах.

  • TAAU (Temporal Anti-Aliasing Upsampling): Логическое развитие TAA. Понимая, что темпоральное накопление позволяет восстанавливать детали из субпиксельной информации, разработчики начали применять его для масштабирования изображения, рендеря сцену в более низком разрешении и «апскейля» в высокое, используя историю кадров.

Именно TAAU является прямым предшественником DLSS, но с одним критическим отличием: TAAU полагается на жестко заданные правила и не способен «понимать» сцену, а лишь математически усредняет пиксели, что часто приводит к артефактам.

Революция DLSS: от CNN до Vision Transformer

NVIDIA DLSS (Deep Learning Super Sampling) и её аналог FSR совершили качественный скачок, заменив чисто математические подходы TAAU на модели машинного обучения, способные принимать более «интеллектуальные» решения о том, как именно восстанавливать изображение.

Первые поколения использовали сверточные нейронные сети (CNN). Их главный недостаток — это «близорукость»: модель анализировала пиксели только в рамках ограниченного пространственного окна (рецептивного поля или же область входного изображения). Это приводило к хорошо знакомым геймерам проблемам: если объект двигался слишком быстро, CNN «теряла» его из виду, что вызывало мерцание и гоустинг на мелких деталях вроде листвы, проводов или волос.

Как работают модели на Vision Transformer

Как работают модели на Vision Transformer

Переход на архитектуру Vision Transformer в 4-ой версии DLSS, стал фундаментальным прогрессом. В отличие от CNN, Transformer может оценивать значимость и взаимосвязь любых пикселей в кадре, независимо от расстояния между ними, благодаря дополнительному механизму внимания. Модель научилась «понимать» контекст всей сцены, что позволило радикально повысить стабильность изображения, уменьшив количество артефактов и впервые приблизить картинку после апскейла очень близко сопоставимой с нативным разрешением (а иногда и превосходить её по четкости).

Техническая интеграция в графический конвейер: Место DLSS в пайплайне рендеринга

Для тех, кому интересна тема того, как работают графические конвейеры и причем тут шейдеры — когда-то давно я писал об этом статью на примере игрового движка Unity. Однако суть +- одинаковая для всех игровых движков. Так что рекомендую к прочтению для большего понимания темы.

DLSS не является «черным ящиком», который просто получает на вход низкое разрешение и выдает высокое. Это сложная система, глубоко интегрированная в процесс рендеринга, требующая от разработчиков не только вызова API, но и подготовки специфических данных. Поэтому, когда вы видите плохой DLSS — возможно, дело в самом разработчике игры, а не технологии.

Входные данные: что нужно для работы DLSS

Для корректной работы DLSS графический движок игры должен предоставить специальный набор буферов, каждый из которых критически важен для алгоритма:

  1. Color Buffer: Грубо говоря, это кадр, отрендеренный в пониженном разрешении. Это «грубый набросок», на основе которого будет строиться финальное изображение.

  2. Motion Vectors: Критически важный компонент. Для каждого пикселя этот буфер показывает, куда он переместился по сравнению с предыдущим кадром. Это позволяет DLSS понять динамику сцены, корректно связать пиксели из разных кадров и избежать эффекта гоустинга.

  3. Depth Buffer: Информация о расстоянии от камеры до каждого пикселя. Он помогает модели понять структуру сцены и то, какие объекты перекрывают друг друга, что особенно важно для правильной обработки краев геометрии.

  4. Jitter Offsets: Чтобы получить больше информации, чем содержится в одном кадре, камера в каждом кадре слегка смещается на долю пикселя по особому паттерну (как в ранее описанном TAA). DLSS должен точно знать величину этого смещения, чтобы «вычесть» его из векторов движения и корректно совместить пиксели из разных кадров.

Как DLSS встраивается в конвейер

Классические операции в конвейере

Классические операции в конвейере

DLSS встраивается не в любой момент, а в строго определенном месте графического пайплайна. Интеграция с игровым движком происходит через открытый SDK, который предоставляет интерфейс для технологий (DLSS, Reflex, и т.д.).

Где здесь должен быть DLSS?

Где здесь должен быть DLSS?

Пример этапов конвейера с учетом работы DLSS:

  1. Рендеринг геометрии и шейдинг: Игровой движок выполняет всю «тяжелую» работу: просчитывает геометрию, освещение, материалы и тени. Все это происходит в пониженном разрешении.

  2. Ранний пост-процессинг: DLSS должен быть встроен до применения таких эффектов, как шум (film grain), хроматические аберрация, виньетки и, самое главное, до пользовательского интерфейса (UI). Это необходимо, чтобы нейросеть работала с «чистым» изображением сцены, а не с наложенными поверх эффектами, которые могут сбить ее с толку и исказить финальный результат.

  3. Вызов DLSS: На этом этапе все подготовленные входные данные (буферы цвета, глубины, моушн векторы) передаются в DLSS. Модель обрабатывает их, используя свои веса, и генерирует финальный кадр в целевом (высоком) разрешении.

  4. Поздний пост-процессинг и UI: После того как DLSS выполнил свою работу, поверх полученного высококачественного изображения накладываются эффекты, которые должны оставаться «родными» для разрешения монитора (хроматическая аберрация, виньетка и т.д.), и, что самое важное, интерфейс в целевом разрешении, оставаясь максимально четким и неискаженным.

  5. Вывод на экран: Финальный кадр отправляется на дисплей.

Всё это открывает путь к массовому внедрению технологий, в особенности, когда DirectX 12 и другие вендоры открывают новые подходы, подобные DLSS, на основе ИИ рендеринга (сжатие текстур, материалов) на уровне API, делая их стандартной частью инструментария современного разработчика.


DLSS 5: сдвиг парадигмы к нейронному синтезу сцены

Nvidia DLSS 5

Nvidia DLSS 5

DLSS 5 дает старт переопределения самого подхода к постановке задачи. Если предыдущие версии работали с уже отрендеренным кадром, восстанавливая или достраивая пиксели, то новая модель оперирует структурными данными движка: depth buffer, albedo, motion vectors, нормали, идентификаторы материалов и освещения. Сеть не просто «дорисовывает» — она переосмысливает визуальные свойства сцены.

NVIDIA заявляет, что DLSS 5 способен анализировать семантику сцены: распознавать кожу, волосы, ткани, различные типы освещения, и генерировать более точные пиксели для подповерхностного рассеяния (subsurface scattering) на коже или более реалистичные отклики материалов. Речь идёт о контролируемой модификации финального изображения, остающейся детерминированной и темпорально стабильной.

То, что многие «эксперты» ругались на финальный результат, скорее сейчас — это просто сырость самой технологии и «рукастость» разработчиков, которые помогали создавать техно-демонстрацию. Стоит учитывать, что меняется сам подход к рендерингу, так что первые шаги будут шакальными, но этот путь проходили и более ранние технологии без ИИ.

Multi Frame Generation: от линейной интерполяции к адаптивному синтезу

Математика генераций кадров

Большая часть технологий не была изобретена сразу - это эволюция, которую обыватель не замечал

Большая часть технологий не была изобретена сразу — это эволюция, которую обыватель не замечал

В классической схеме генерации кадров (DLSS 3) на каждый рендеренный кадр генерировался один интерполированный, что давало прирост в скорости примерно на 100%. DLSS 4 увеличил прирост еще примерно в два раза (три сгенерированных кадра на один рендеренный).

Ключевой вопрос: при каком FPS это имеет смысл? Предположим, что при входном потоке 60 FPS после супер-сэмплинга выход может достигать 360 FPS на дисплее. Это соответствует временному окну ~16.6 мс между рендеренными кадрами, внутри которого нейросеть должна предсказать пять промежуточных состояний сцены. Подумайте сами над ответом и напишите в комметах.

Вообще, в архитектуре Blackwell, которая служит базой для предсказания движения, на высоких коэффициентах генерации линейная интерполяция моушн векторов становится недостаточной. DLSS 4.5 добавляет динамическую регулировку коэффициента: в сценах с высокой сложностью (например, взрывы частиц) модель может снижать коэффициент, чтобы сохранить качество, а в относительно статичных сценах — повышать. Однако опять же, дело за разработчиками.

И вот тут то стоит сделать ремарку. Инженеры Nvidia — люди, которые работают сугубо над тем, чтобы двигать свою технологию вперед, а графические программисты, которые работают над рендерингом, мало того, что занесены в красную книгу, во-первых, привыкли к устоявшимся подходам и не могут быстро переключиться на обновленный пайплайн рендера ничего не сломав, а во-вторых, как и все придерживаются сроков релизов. Если вы представляете примерно, что скрывается под «перестроить графический пайплайн», то должны понимать, почему на первых порах неизбежны косяки в использовании новой технологии.

Проблема в задержках ввода (инпат-лаг) и решение через Reflex

Генерация промежуточных кадров фундаментально увеличивает инпат-лаг: тобишь, сгенерированный кадр не содержит реакции на ввод пользователя, эта реакция появляется только в следующем рендеренном кадре.

NVIDIA компенсирует это технологией Reflex, которая синхронизирует CPU и GPU таким образом, чтобы очередь рендеринга была минимальной. Однако, реализация также сильно зависит от игрового движка и правильности встраивания в общий жизненный цикл рендеринга и остальной логики.


А что, если сжимать данные, а не пиксели?

DLSS — это конечно круто и у всех на слуху. Но это лишь один из подходов, где используется ИИ в процессе рендеринга. Давайте посмотрим на другие подходы.

Сжатие текстур с использованием ИИ: экономия видео-памяти

Зачем жать пиксели, если можно жать текстуры? Ведь они и так сжимаются.

Одна из наиболее острых проблем современного геймдева: огромный рост объёмов текстур. Традиционные блочные методы сжатия (BC1-BC7) достигают коэффициентов 4:1 <=> 8:1, но их эффективность упирается в фундаментальные ограничения: сжатие происходит независимо для каждого блока, без учёта глобальной структуры текстуры.

Инженеры решили подойти к задаче принципиально иначе: вместо хранения сжатого изображения, хранится обученная нейросеть (или её веса), способная реконструировать текстуру произвольного разрешения в рантайме. Например, NVIDIA, заявляет о семикратном сокращении использования VRAM и системной памяти по сравнению с традиционными блочно-сжатыми текстурами при сопоставимом визуальном качестве.

Технически это работает следующим образом: на этапе сборки игры текстуры пропускаются через процедуру обучения, занимающую менее минуты на тысячи ассетов (в зависимости от железа, конечно). Результатом является компактное представление для модели, которое при загрузке в память распаковывается тензорными ядрами в реальном времени. Поскольку распаковка происходит «на лету», отпадает необходимость хранить в видео-памяти одновременно все MIP-уровни. ИИ может генерировать нужный уровень по требованию.

Для AAA-игр это означает не только экономию видео-памяти, но и радикальное сокращение размера самих игр, ускорение загрузки и возможность увеличить плотность текстур без роста требований к памяти.

Компрессия шейдеров и материалов

Фото-реалистичные шейдеры - это так же удар по производительности

Фото-реалистичные шейдеры — это так же удар по производительности

Сложные материалы — это слоистые структуры, комбинирующие десятки карт и сотни математических операций. Рендеринг материалов высокого уровня (например, фарфор, шёлк, многослойная кожа) в реальном времени до сих пор был непрактична из-за высокой вычислительной стоимости.

ИИ-шейдеры используют обученные нейросети для вычисления сложного шейдерного кода.

Архитектурно это означает, что вместо выполнения полного графа шейдера на каждом пикселе, GPU выполняет инференс, который выдаёт финальные параметры шейдера. Выигрыш достигается за счёт того, что тензорные ядра выполняют матричные операции существенно эффективнее, чем шейдерные ядра.

Инференс вместо трассировки лучей

Все знают, насколько прожорливой остается трассировка лучей — Ray Tracing и, в особенности, Path Tracing. Path tracing требует трассировки сотен или тысяч лучей на пиксель для схождения непрямого освещения. Новый подход позволяет заменить большую часть этой работы инференсом: после трассировки одного-двух отскоков, нейросеть предсказывает результат бесконечного числа последующих отскоков.

Пример сочетания Path Tracer и Nvidia Neural Radiance Cache

Пример сочетания Path Tracer и Nvidia Neural Radiance Cache

К примеру, подобная технология (NRC) уже стала доступна через RTX Global Illumination SDK и вскоре появится в RTX Remix. Практическое следствие такого подхода — это возможность достижения визуального качества традиционного Path Tracing с производительностью, сопоставимой с более простыми техниками глобального освещения.

Небольшая пометка. Все описанные технологии опираются на специализированные вычислительные блоки. Эволюция тензорных ядер от поколения к поколению напрямую определяет, насколько эффективно работают ИИ модели рендеринга.

Исходя из этого, пользователи RTX 20/30 серий получают идентичное качество изображения, к примеру от DLSS 4.5, но со значительным падением производительности из-за отсутствия родной поддержки FP8/FP4 в тензорных ядрах.


Взглянем в неизбежное будущее: ИИ рендеринг, как новый стандарт

По мнению некоторых "недоэкспертов" мы будем именно так играть в ближайшие годы

По мнению некоторых «недоэкспертов» мы будем именно так играть в ближайшие годы

Итак, поговорив о текущих технологиях и меняющемся подходе (где-то еще не идеальным, экспериментальным, но уже набирающем обороты), давайте заглянем в ближайшее будущее рендеринга в играх на базе ИИ.

Траектория развития до 2030 года

Проводя анализ текущих технологических векторов и уже доступных решений, можно смело спрогнозировать несколько ключевых направлений:

  1. Полная замена традиционных шейдеров на инференс: первые технологии, вроде RTX Neural Shaders уже демонстрируют, что нейросети могут ускорять сложные вычисления на материалах эффективнее, чем рукописный шейдерный код, в особенности из-за улучшения архитектуры тензорных ядер. Следующий шаг, безусловно, унификация всех материалов под ИИ модели, где шейдер компилируется в веса небольшого инференса.

  2. Плавный переход от генерации кадров, к генерации сцены: уже существующие технологии работы с примитивами сцены (проработке геометрии, освещения, текстур), уводят шаг к более оптимизированному и продвинутому конвейеру производства игр на уровне сцены, что развяжет руки художникам и техническим артистам, избавив от рутинной работы по оптимизации сцен на уровне ИИ. А дальше, как вариант, это и генерация каких-либо примитивов, чтобы подобрать для артистов первоначальные наброски за секунды, а не часы ручной работы.

  3. Гибридные вычислительные модели: Современные видео-карты уже содержат отдельные тензорные ядра, ядра для рейтрейсинга и шейдерные ядра. Будущие архитектуры, вероятно, ещё сильнее разнесут эти специализированные блоки, позволяя параллельно выполнять классический рендеринг, трассировку лучей и инференс.

  4. Стандартизация ИИ-рендеринга: Microsoft уже добавила поддержку ИИ-рендеринга в DirectX, что открывает путь к универсализации (как минимум на уровне DirectX API). Те же ARM развивают собственные GDK для разработчиков, открывая двери для супер-семплинга и денойзинга на основе ИИ под мобильные устройства.

Однако, при всех достижениях, остается ряд фундаментальных проблем, над решениями которых работают сотни инженеров:

  1. Детерминированность: Генеративные модели по своей природе случайны. Для соревновательного гейминга необходима попиксельная повторяемость результата, чего сложно достичь без фиксации сида. Однако развитие всё новых и новых подходов, сводит случайность к минимуму.

  2. Энергопотребление: инференс безусловно жрет много энергии. В мобильном гейминге и на портативных устройствах (например Steam Deck, Nintendo Switch) это критическое ограничение. Но и в этом направлении ведётся огромная работа, предлагая новые варианты оптимизаций моделей.

  3. Обратная совместимость: По мере роста вычислительных требований новых моделей старые GPU теряют способность эффективно их исполнять, что создаёт фрагментацию пользовательской базы. Здесь же скорее результат будет зависеть от скорости появления общепринятых стандартов в разработке, поскольку мы находимся лишь вначале пути.


В истории уже было отвращение к технологиям. Просто вы этого не помните. Как индустрия переваривала прошлые графические революции?

Тейки, сопровождающие внедрение ИИ рендеринга: от «фейковых кадров нейрослопа» и «мыла вместо графики» до страха перед потерей контроля над визуальным результатом, звучат конечно очень громко, но не являются чем-то новым для индустрии. Практически каждое фундаментальное изменение в архитектуре рендеринга за последние 25 лет встречало схожее сопротивление, прежде чем стать новым стандартом.

Compute шейдеры против обычного конвейера (2001–2004)

Революция тех лет, показавшая плюсы пугающих технологий шейдеров

Революция тех лет, показавшая плюсы пугающих технологий шейдеров

До появления GeForce 3 и DirectX 8 графический конвейер был жёстко заданной цепочкой операций: трансформация вершин, освещение по фиксированным формулам, растеризация, смешивание текстур. А потом нам разрешили программировать свои вершинные и пиксельные шейдеры для каждой стадии, что открыло дорогу к картам нормалей, динамическим теням и сложным материалам.

В то время, людей пугало, что шейдеры слишком медленные, разработчики не справятся с написанием сложного кода, и что шейдеры, которые можно закодить — это костыли, а не шаг вперед.

В реальности же, всего через пять лет игры без шейдеров, стали пережитком прошлого. Half-Life 2, Doom 3, Far Cry продемонстрировали, что программируемый пайплайн, это не просто замена старому, а инструмент, позволяющий создавать шедевры, невозможные ранее. Разработчики же быстро освоили HLSL и GLSL, а производительность выросла, благодаря аппаратному ускорению шейдерных блоков.

Переход к отложенному освещению (Deferred Rendering, 2007–2011)

Отложенное освещение - до сих пор один из стандартов

Отложенное освещение — до сих пор один из стандартов

Классический прямой рендеринг (forward rendering) пересчитывал освещение для каждого объекта, что делало множество динамических источников света непрактичным. Отложенный рендеринг разделил процесс на два прохода: сначала пишутся геометрические атрибуты в G‑буфер, а уже затем выполняется расчёт освещения только в экранном пространсвте. Это позволило использовать десятки и сотни динамических источников света в кадре. А ведь сегодня это кажется обыденностью.

Но в то время, многие утверждали, что g-буфер будет жрать дофига памяти, мощное сглаживание MSAA придется выкинуть в помойку, а все прозрачные объекты чем-то заменить, ведь они ломаются.

Но в реальности, индустрия нашла компромиссы, ведь плюсы перевешивали все минусы. И так, взамен MSAA появились сначала новые виды сглаживания (FXAA, SMAA, позднее замененные TAA и TAAU), которые в итоге даже превзошли по качеству. А сам подход стал индустриальным стандартом.

Физически корректный рендеринг (PBR, 2013–2016)

Физически корректные материалы

Физически корректные материалы

В эпоху до PBR материалы описывались стандартными параметрами (specular power, glossiness), которые вели себя по-разному при разном освещении и требовали ручной подгонки под каждую сцену. Физически корректный подход ввёл единую модель BRDF, основанную на измеряемых дополнительных свойствах реальных материалов: metallic, roughness, albedo.

Однако по-началу, реакция была жесткой — говорили о том, что все игры станут одинаковыми и пластиковыми, старые текстуры придется переделывать с нуля, а художники потеряют творческий контроль.

Но случилось другое: PBR не уничтожил стилизацию. Он дал художникам предсказуемую основу, поверх которой можно накладывать стилистические решения. Переход на PBR конечно потребовал до-обучения сотрудников и введения в работу новых инструментов (например, как Substance Painter, Quixel), но результатом стал скачок в реализме и стабильностью материалов между разными сценами и проектами. Сегодня даже стилизованные мультяшные игры используют PBR-пайплайн, адаптированный под эстетику.

Наши дни

Вот и сейчас, начиная с 2018 года, всё началось с переноса технологий рейтрейсинга из киношного рендера, в игровой. Первые реализации были скромными: только тени или отражения при низком количестве лучей на пиксель..

Спустя семь лет, трассировка лучей уже стала стандартом в AAA-сегменте. Cyberpunk 2077 в режиме Path Tracing, Alan Wake 2, Black Myth: Wukong с полным RT: это примеры того, как технология созрела и стала стандартом. Денойзинг и апскейлинг (включая DLSS) эволюционировали, сделав RT играбельным. Консоли текущего поколения получили аппаратные RT-блоки, а AMD и Intel догоняют NVIDIA в производительности трассировки.

Текущий переход к ИИ рендерингу демонстрирует все те же паттерны, что и предыдущие революции.


Нас ждет очередная революция? Подведем итоги

Каждая из прошлых революций требовала времени на адаптацию, обновление инструментария, обучение разработчиков и оптимизацию железа. ИИ рендеринг не является исключением.

Он не отменяет работу художников и программистов, а даёт им новый уровень абстракции: вместо ручной борьбы с шумом, сглаживанием или оптимизацией материалов, разработчики смогут полагаться на модели, обученные на огромных дата сетах фото-реалистичного или же стилизованного контента.

Более того, как мы уже убедились выше, история показывает, что после принятия новой парадигмы или технологий, индустрия не просто возвращается к прежнему уровню качества, а выходит на новую ступень. Шейдеры не убили 2D-спрайты, но подарили нам карты нормалей и динамические тени. PBR не сделал игры однообразными, а дал новую основу, как для фото-реализма, так и для стилизации (например, Dishonored 2).

ИИ-рендеринг не уничтожит «ручную» графику, а позволит достичь в реальном времени визуальной сложности.

Другой вопрос, как разработчики будут пользоваться технологиями, ведь есть примеры, где разработчики, даже при значительном скачке технологий, делают шаг назад (привет Battlefield 6).

Следующие пять лет определят, насколько ИИ рендеринг проникнет в каждый аспект создания игр. Судя по текущей траектории, к 2030 году грань между «рендерингом» и «генерацией» станет неразличимой, либо очень стертой.

Итак, спасибо за прочтение статьи.

Жду ваших прогнозов и идей в комментариях!

ссылка на оригинал статьи https://habr.com/ru/articles/1026804/