ComfyUI Nvidia VFX Nodes 0.2.1: RTX-апскейл, HDR и кадры

ComfyUI Nvidia VFX Nodes это обёртка Comfy-Org вокруг привязок nvidia-vfx от NVIDIA. Версия 0.2.1 попала в Comfy Registry 13 октября, в тот же день, когда официальный шаблон RTX Video Enhance появился среди шаблонов рабочих процессов ComfyUI, а сам пакет теперь устанавливается из ComfyUI Manager как любое другое расширение. Три узла выполняют AI-увеличение разрешения видео, преобразование SDR в HDR и интерполяцию кадров внутри обычного графа ComfyUI.

Граф ComfyUI, который последовательно выполняет RTX Video Super Resolution, RTX Video HDR и RTX Video Frame Generation

Полная цепочка RTX: увеличение разрешения, затем HDR, затем генерация кадров. Источник: ComfyUI Nvidia VFX Nodes.

Что добавляет пакет

Раньше расширение работало под именем Nvidia RTX Nodes, и переименование стало главным изменением в 0.2.x. Узел TrueHDR теперь называется RTX Video HDR, а пакет публикуется как comfyui_nvidia_rtx_nodes под издателем comfyui в реестре.

Узел	Категория	Вход	Выход
RTX Video Super Resolution	image/upscaling	батч `IMAGE`	`upscaled_images`, то же количество кадров
RTX Video HDR	image/enhancement	батч `IMAGE`	`hdr_images`, те же размеры
RTX Video Frame Generation	video	батч `IMAGE`	`interpolated_images` с новыми кадрами между оригинальными

Все три работают с батчами IMAGE в ComfyUI, поэтому они встраиваются между узлом Load Video и узлом Create Video без загрузки моделей и без вмешательства в граф выборки.

RTX Video Super Resolution

Узел принимает изображение или батч декодированных кадров видео и возвращает его увеличенным, с шумоподавлением или повышенной резкостью, а операция выбирается из длинного списка режимов качества.

Режимы	Операция
`BICUBIC`	Не-AI бикубическая интерполяция
`LOW` / `MEDIUM` / `HIGH` / `ULTRA`	Стандартное AI-увеличение разрешения для сжатых источников, от самого быстрого до самого детального
`DENOISE_LOW` до `DENOISE_ULTRA`	Удаление шума и артефактов сжатия без изменения разрешения
`DEBLUR_LOW` до `DEBLUR_ULTRA`	Повышение резкости без изменения разрешения для мягких источников
`HIGHBITRATE_LOW` до `HIGHBITRATE_ULTRA`	Увеличение разрешения для чистых или lossless-источников с меньшим подавлением артефактов
`STREAMING_MEDIUM` / `STREAMING_ULTRA`	Увеличение разрешения, настроенное для трансляций и веб-камер

Размер выхода можно задать как масштаб от 1x до 4x или как явные целевые размеры, и он округляется до ближайшего кратного 8. DENOISE_* и DEBLUR_* всегда сохраняют размеры входа, что бы ни говорила настройка изменения размера. Количество кадров и частота кадров никогда не меняются, поэтому видео сохраняет ту же длительность.

Рабочий процесс ComfyUI, который увеличивает разрешение видео с помощью RTX Video Super Resolution

Проход увеличения разрешения видео с RTX Video Super Resolution. Источник: ComfyUI Nvidia VFX Nodes.

Рабочий процесс ComfyUI, который увеличивает разрешение одного изображения с помощью RTX Video Super Resolution

Тот же узел на батче неподвижных изображений. Источник: ComfyUI Nvidia VFX Nodes.

Чтобы держать память под контролем, узел разбивает батч на фрагменты не более 16 мегапикселей выхода, при этом хотя бы один кадр на фрагмент.

RTX Video HDR

Этот узел преобразует изображения SDR в данные HDR. Он предоставляет контраст, насыщенность, средний серый и целевую пиковую яркость от 400 до 2000 нит, а также проход debanding и выбор между выводом BT.2020/HLG (HDR) и BT.2020/PQ (HDR PQ).

Видео, проходящее через RTX Video HDR. Источник: ComfyUI Nvidia VFX Nodes.

IMAGE в ComfyUI не несёт метаданных цветового пространства, поэтому значения, которые возвращает узел, являются HDR-сигналами лишь по замыслу. Тому, что сохраняет или кодирует их дальше, нужно явно указать, что с ними следует обращаться как с BT.2020/HLG или BT.2020/PQ, иначе результат будет выглядеть неправильно как обычные данные SDR. Для длинных клипов в репозитории есть пример с разбиением, который режет видео на блоки, преобразует каждый блок и снова объединяет результаты.

Рабочий процесс ComfyUI с разбиением на блоки для HDR-преобразования длинного видео

Рецепт HDR для длинного видео с обработкой кадров фрагментами. Источник: ComfyUI Nvidia VFX Nodes.

RTX Video Frame Generation

Третий узел интерполирует между соседними кадрами: либо как множитель частоты кадров от 2x до 16x, либо в одном явном временном шаге от 0.01 до 0.99, так что он покрывает и замедленное движение, и преобразование частоты кадров. Он автоматически определяет смены планов, а опция shot_change помечает поданную пару как склейку, когда вы знаете, где находится склейка.

Для N входных кадров и множителя M узел возвращает (N - 1) M + 1 кадров. Кодирование выхода с исходной частотой кадров, умноженной на M, сохраняет длительность клипа. В режиме временного шага он вставляет ровно один кадр на пару, что даёт 2N - 1 кадров.

Рабочий процесс ComfyUI, который интерполирует кадры с помощью RTX Video Frame Generation

Интерполяция между соседними кадрами. Источник: ComfyUI Nvidia VFX Nodes.

Установка и запуск

Самый простой путь: ComfyUI Manager, найдите ComfyUI Nvidia VFX Nodes и установите. Ручная установка клонирует репозиторий в custom_nodes, устанавливает requirements.txt тем же интерпретатором Python, который запускает ComfyUI, и перезапускает.

Обязательно нужен GPU NVIDIA RTX с PyTorch с поддержкой CUDA версии cu130 или новее. Узлы используют то устройство CUDA, которое выбрано в ComfyUI, а выполнение на CPU или не на NVIDIA не поддерживается.
RTX Video Frame Generation работает только на RTX 40 серии и новее.
Пакет зависит от привязок nvidia-vfx, которые устанавливаются через requirements.txt. Ошибки SDK проявляются как nvvfx.NvVFXError.
На каждый узел используется один проход по GPU, поэтому батч, которому не хватает памяти, лучше всего исправлять, снизив разрешение, масштаб, режим качества или количество кадров в батче.

Рабочие процессы

Официальный шаблон, поставленный вместе с ComfyUI 13 октября, объединяет все три узла в один граф RTX Video Enhance, а в репозитории хранятся примеры для импорта по каждому узлу отдельно.