ComfyUI-DLSS5-NR: нейронный рендеринг DLSS 5 внутри ComfyUI

Примеры пар из тестов автора: первое изображение в каждой паре с DLSS 5 Neural Rendering, второе без.

Что делает нода

ComfyUI-DLSS5-NR от lisitskyaa добавляет нейронный рендеринг NVIDIA DLSS 5 (функция NGX 18) в ComfyUI в виде ноды image-to-image. Вместо запуска внешнего помощника или промежуточного сохранения файлов на диск, нода вызывает рантайм нейронного рендеринга DLSS внутри процесса через небольшой нативный мост D3D12: tensor ComfyUI переносится в CPU в формате float32, загружается как текстура D3D12 RGBA16F, обрабатывается nvngx_dlssnr.dll и возвращается в torch pipeline как IMAGE ComfyUI.

Нода поддерживает как одиночные изображения, так и временные последовательности, поэтому видеокадры можно улучшать с временной стабильностью, а не по одному кадру за раз. Обработка выходных каналов выполняется автоматически с возможностью ручного переопределения RGBA/BGRA, а панель диагностики рантайма сообщает об обнаруженном GPU и SHA-256 предоставленного вами DLL рантайма.

Модель установки: принесите свой DLL

Проект намеренно не распространяет проприетарный рантайм NVIDIA. Пользователи скачивают готовый ZIP-архив релиза со страницы GitHub Releases (для v0.2.0 не требуется установка Visual Studio), помещают его в custom_nodes/ и предоставляют собственный легально полученный nvngx_dlssnr.dll. Затем мост автоматически находит _nvngx.dll: через локальное переопределение, обычный поиск DLL в Windows или обнаружение в активных пакетах NVIDIA DriverStore. Защита CI в репозитории не позволяет собственной сборке проекта случайно включить проприетарный рантайм.

Результат 0xBAD00001 означает, что рантайм отклонил текущую комбинацию GPU, драйвера или рантайма, поскольку стандартные предрелизные сборки поддерживают только определённые поколения GPU.

Контекст

Улучшение с помощью нейронного рендеринга в последнее время появляется в сообществе с разных сторон, включая автономные инструменты DLSS 5, которые обсуждались на r/StableDiffusion ранее на этой неделе. Примечательность этой ноды в подходе к интеграции: публичного вызова NGX внутри процесса ComfyUI раньше не было, а автор опубликовал полный исходный код нативного моста (под лицензией MIT) со скриптами сборки для тех, кто хочет скомпилировать мост самостоятельно. Пока это экспериментальный путь только для Windows и только для RTX, но он указывает на будущее, в котором нейронный рендеринг на уровне драйвера станет ещё одной стандартной нодой в рабочих процессах upscale и реставрации.