ComfyUI Nvidia VFX Nodes 0.2.1:RTX 视频放大、HDR 与帧生成

ComfyUI Wikinews

Comfy-Org 的 Nvidia VFX Nodes 升级到 0.2.1,带来 RTX Video Super Resolution、RTX Video HDR 和 RTX Video Frame Generation,并提供官方模板与 Manager 安装支持。

ComfyUI Nvidia VFX Nodes 是 Comfy-Org 对 NVIDIA nvidia-vfx 绑定库的封装。0.2.1 版本于 10 月 13 日上架 Comfy Registry,同一天官方 RTX Video Enhance 模板也加入了 ComfyUI 的工作流模板,而这个扩展包现在可以像其他扩展一样从 ComfyUI Manager 安装。这三个节点在普通的 ComfyUI 图中完成 AI 视频超分辨率、SDR 转 HDR 以及帧插值。
一个按顺序运行 RTX Video Super Resolution、RTX Video HDR 和 RTX Video Frame Generation 的 ComfyUI 图

完整的 RTX 链路:先超分辨率,再 HDR,最后帧生成。来源:ComfyUI Nvidia VFX Nodes。

该扩展包新增了什么

该扩展此前以 Nvidia RTX Nodes 之名运行,重命名是 0.2.x 的主要变化。TrueHDR 节点现在称为 RTX Video HDR,扩展包以 comfyui_nvidia_rtx_nodes 为名、由注册表上的 comfyui 出版商发布。

节点类别输入输出
RTX Video Super Resolutionimage/upscalingIMAGE 批次upscaled_images,帧数不变
RTX Video HDRimage/enhancementIMAGE 批次hdr_images,尺寸不变
RTX Video Frame GenerationvideoIMAGE 批次interpolated_images,在原帧之间插入新帧

三者都作用于 ComfyUI 的 IMAGE 批次,因此可以插入 Load Video 节点与 Create Video 节点之间,无需下载任何模型,也不必改动采样图。

RTX Video Super Resolution

此节点接收图像或解码后的视频帧批次,返回经过放大、降噪或锐化的结果,具体操作从一份很长的质量模式列表中选取。

模式操作
BICUBIC非 AI 双三次插值
LOW / MEDIUM / HIGH / ULTRA面向压缩源的标准 AI 图像放大,从最快到细节最多
DENOISE_LOW 至 DENOISE_ULTRA同分辨率下的噪点与压缩伪影去除
DEBLUR_LOW 至 DEBLUR_ULTRA面向模糊源的同分辨率锐化
HIGHBITRATE_LOW 至 HIGHBITRATE_ULTRA面向干净或无损源的图像放大,伪影抑制更少
STREAMING_MEDIUM / STREAMING_ULTRA针对广播和网络摄像头流优化的图像放大

输出尺寸可设为 1x 到 4x 之间的缩放比例,也可指定明确的目标尺寸,并会取整到最接近的 8 的倍数。无论调整大小的设置如何,DENOISE_* 和 DEBLUR_* 始终保持输入尺寸。帧数与帧率从不改变,因此视频时长保持不变。

一个使用 RTX Video Super Resolution 对视频进行放大的 ComfyUI 工作流

使用 RTX Video Super Resolution 对视频做一次放大处理。来源:ComfyUI Nvidia VFX Nodes。

一个使用 RTX Video Super Resolution 对单张图像进行放大的 ComfyUI 工作流

同一个节点作用于静帧图像批次。来源:ComfyUI Nvidia VFX Nodes。

为控制内存占用,此节点会把批次切分成每块最多 1600 万像素输出的分块,每块至少一帧。

RTX Video HDR

此节点把 SDR 图像转换为 HDR 数据。它提供对比度、饱和度、中灰,以及 400 至 2000 尼特的目标峰值亮度,还有一道去色带处理,并可在 BT.2020/HLG(HDR)与 BT.2020/PQ(HDR PQ)输出之间选择。

一个使用 RTX Video HDR 把视频从 SDR 转换为 HDR 的 ComfyUI 工作流

一段视频经过 RTX Video HDR。来源:ComfyUI Nvidia VFX Nodes。

ComfyUI 的 IMAGE 不携带色彩空间元数据,因此此节点返回的数值只是在意图上属于 HDR 信号。下游保存或编码它们的任何环节都必须被告知按 BT.2020/HLG 或 BT.2020/PQ 处理,否则结果按普通 SDR 数据来看会不正确。对于长片段,仓库提供了一个分块示例,把视频切成若干块,逐块转换后再把结果拼接起来。

一个用于长视频 HDR 转换的分块式 ComfyUI 工作流

长视频 HDR 方案,以分块方式处理帧。来源:ComfyUI Nvidia VFX Nodes。

RTX Video Frame Generation

第三个节点在相邻帧之间进行插值,可按 2x 到 16x 的帧率倍率,也可指定 0.01 到 0.99 之间的某个时间步,因此同时涵盖慢动作与帧率转换。它会自动检测镜头切换;当你已知切点位置时,shot_change 选项可将提交的一对帧标记为剪切点。

对于 N 个输入帧和倍率 M,此节点返回 (N - 1) M + 1 帧。以原始帧率乘以 M 来编码输出即可保持片段时长。在时间步模式下,每对帧恰好插入一帧,得到 2N - 1 帧。

一个使用 RTX Video Frame Generation 进行帧插值的 ComfyUI 工作流

在相邻帧之间进行帧插值。来源:ComfyUI Nvidia VFX Nodes。

安装与运行

最简便的方式是使用 ComfyUI Manager:搜索 ComfyUI Nvidia VFX Nodes 并安装。手动安装则是把仓库克隆到 custom_nodes,用启动 ComfyUI 的同一个 Python 解释器安装 requirements.txt,然后重启。

  • 需要 NVIDIA RTX GPU,并配备 cu130 或更新版本的 CUDA 版 PyTorch。这些节点使用 ComfyUI 已选择的 CUDA 设备,不支持 CPU 或非 NVIDIA 执行。
  • RTX Video Frame Generation 只能在 RTX 40 系列及更新型号上运行。
  • 该扩展包依赖 nvidia-vfx 绑定库,由 requirements.txt 安装。SDK 故障会以 nvvfx.NvVFXError 形式出现。
  • 每个节点只使用一次单独 GPU 处理,因此内存不足的批次最好通过降低分辨率、缩放比例、质量模式或批次中的帧数来解决。

工作流

与 ComfyUI 一同于 10 月 13 日发布的官方模板把这三个节点串联成一个 RTX Video Enhance 图,仓库中则为每个节点各自保留了可导入的示例。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…