NVIDIA подтвердила 2D-природу DLSS 5: Что на самом деле видят ИИ и разработчики

Спорные детали работы DLSS 5: Ответы представителя NVIDIA

Новая версия технологии масштабирования NVIDIA DLSS 5 продолжает оставаться в центре внимания после недавнего анонса, вызывая активные дискуссии и критику в игровом сообществе и среди разработчиков. На фоне этих противоречий ютубер Дэниел Оуэн обратился к NVIDIA с серией прямых вопросов о механизмах работы новой технологии. Ответы, полученные от евангелиста компании Джейкоба Фримана, пролили свет на фундаментальные аспекты DLSS 5, которые, по мнению многих, идут вразрез с первоначальными заявлениями руководства компании.

Главным камнем преткновения стал вопрос о входных данных для генеративной модели. Оуэн уточнил, действительно ли DLSS 5 принимает на вход лишь один 2D-кадр в сочетании с векторами движения для генерации улучшенного изображения. Представитель NVIDIA, Джейкоб Фриман, подтвердил этот факт. Таким образом, DLSS 5 обрабатывает финальный отрендеренный скриншот, пропуская его через нейросеть для улучшения, а конечный результат затем накладывается поверх игрового движка.

Отсутствие доступа к 3D-геометрии и PBR-свойствам

Это подтверждение вызвало немедленную обеспокоенность, поскольку ранее заявления NVIDIA, в частности от генерального директора Дженсена Хуанга, намекали на более глубокую интеграцию, описывая DLSS 5 как «генеративный контроль на уровне геометрии», а не просто постобработку на уровне кадра. Однако, как выяснилось из переписки, DLSS 5 не считывает напрямую 3D-геометрию, карты глубин или свойства материалов (PBR), заложенные разработчиками в сцену.

На прямой вопрос о том, анализирует ли технология 3D-геометрию или просто обрабатывает 2D-скриншот, Фриман ответил, что DLSS 5 обучалась «от начала до конца, чтобы понимать сложную семантику сцены, такую как персонажи, волосы, ткани и полупрозрачная кожа, а также условия освещения окружающей среды... — все это путем анализа одного кадра». Из этого уклончивого ответа многие обозреватели, включая Оуэна, сделали вывод, что технология не имеет прямого отношения к 3D-геометрии в реальном времени.

Более того, на вопрос о поддержке PBR-свойств, Фриман пояснил, что DLSS 5 принимает только отрендеренный кадр и векторы движения, а свойства материалов, по сути, выводятся (инферируются) из самого 2D-изображения, а не считываются напрямую из движка.

Генеративные изменения и контроль разработчиков

Один из наиболее заметных аспектов, вызвавший критику, — это способность DLSS 5 изменять детали внешности персонажей. Ютубер привел примеры из демонстрационных роликов, в частности, изменение линии роста волос у одного из персонажей в Starfield, а также добавление макияжа героине Грейс Эшкрофт из Resident Evil Requiem.

NVIDIA признает, что финальное изображение может выглядеть иначе, хотя и настаивает, что «базовая геометрия остается неизменной». Это подразумевает, что нейросеть, обученная на огромном массиве данных, буквально дорисовывает недостающие или желаемые детали, основываясь на своем понимании семантики кадра. Это больше напоминает работу продвинутого ИИ-фильтра, накладывающего свой художественный слой поверх отрендеренного изображения, что противоречит идее о том, что технология является лишь «апскейлером».

Что касается инструментов для разработчиков, то контроль остается ограниченным. Студии смогут регулировать общие параметры, такие как интенсивность, насыщенность, гамма и накладывать маски на определенные объекты для исключения их из обработки. Однако прямой возможности исправить артефакты, вроде нежелательного макияжа или добавленных волос, алгоритм не предусматривает — эти элементы полностью являются результатом генерации.

Реакция сообщества и будущее технологии

Полученные разъяснения вызвали смешанную реакцию. С одной стороны, некоторые игроки, например, в сообществе Starfield, положительно оценили визуальные улучшения, отмечая «колоссальную разницу» в освещении и общей атмосфере. Некоторые считают, что это «действительно впечатляет для первой итерации» и технология дополняет работу художников, а не заменяет ее.

С другой стороны, часть разработчиков восприняла эту информацию крайне негативно. Известный инди-разработчик Рами Исмаил, например, назвал DLSS 5 «плевком в лицо», выражая опасения, что мегакорпорация навязывает свое видение, даже декларируя «полный творческий контроль». Главная тревога заключается в потенциальной потере уникального художественного стиля, если все игры начнут обрабатываться через единую генеративную систему.

NVIDIA позиционирует DLSS 5 как инструмент, который поможет разработчикам достигать своего художественного видения, выходящего за рамки традиционного рендеринга. Тем не менее, техническая реализация, основанная исключительно на 2D-кадрах и векторах движения, оставляет открытым вопрос о степени вмешательства ИИ в конечный продукт и необходимости дальнейшего диалога между производителем чипов и создателями контента.