Один из специалистов Nvidia рассказал, что DLSS 5 принимает на вход отрисованный 2D-кадр плюс векторы движения. DLSS 5 не не считывает напрямую из игрового движка 3D-геометрию, глубину или данные о материалах, созданные художниками. То есть фактически технология не знает практически ничего об объекте, который она улучшает. Сотрудник компании уточнил, что модель понимает семантику сцены, такую как волосы, ткань, кожа и условия освещения, «анализируя всего один кадр». 

Да, DLSS 5 принимает на вход 2D-кадр плюс векторы движения 

Нюанс в том, что во время анонса Nvidia хотя и избегала каких-то технических подробностей, но всё же говорила,  что DLSS 5 понимает сцену на более глубоком уровне. Теперь же стало понятно, что модель определяет материалы и их свойства уже на основе отрендеренного кадра, а не благодаря информации из движка. 

Собственно, скриншот выше отлично демонстрирует, какие последствия могут быть из-за этого. Как можно видеть, DLSS 5 дорисовала волосы, где их вообще не было, а также увеличила нос, приняв его тень за сам нос. 

Что касается инструментов, которые получат разработчики, тут тоже не всё так однозначно. 

Разработчики получат детальные элементы управления, такие как интенсивность и цветокоррекция. Художники смогут использовать эти элементы управления для регулировки смешивания, контраста, насыщенности и гаммы, а также определять, где и как применяются улучшения для сохранения уникальной эстетики игр. Разработчики также смогут маскировать определенные объекты или области, которые следует исключить из улучшений. Мы продолжаем общаться с разработчиками, чтобы понять все способы, которыми они хотели бы управлять этой технологией. В конечном итоге, мы рассматриваем DLSS 5 как инструмент, позволяющий им реализовать свое художественное видение, а не ограничиваться возможностями традиционного рендеринга в реальном времени.