ComfyUI Nvidia VFX Nodes 0.2.1:RTX 视频放大、HDR 与帧生成
Comfy-Org 的 Nvidia VFX Nodes 升级到 0.2.1,带来 RTX Video Super Resolution、RTX Video HDR 和 RTX Video Frame Generation,并提供官方模板与 Manager 安装支持。
nvidia-vfx 绑定库的封装。0.2.1 版本于 10 月 13 日上架 Comfy Registry,同一天官方 RTX Video Enhance 模板也加入了 ComfyUI 的工作流模板,而这个扩展包现在可以像其他扩展一样从 ComfyUI Manager 安装。这三个节点在普通的 ComfyUI 图中完成 AI 视频超分辨率、SDR 转 HDR 以及帧插值。
完整的 RTX 链路:先超分辨率,再 HDR,最后帧生成。来源:ComfyUI Nvidia VFX Nodes。
该扩展包新增了什么
该扩展此前以 Nvidia RTX Nodes 之名运行,重命名是 0.2.x 的主要变化。TrueHDR 节点现在称为 RTX Video HDR,扩展包以 comfyui_nvidia_rtx_nodes 为名、由注册表上的 comfyui 出版商发布。
| 节点 | 类别 | 输入 | 输出 |
|---|---|---|---|
| RTX Video Super Resolution | image/upscaling | IMAGE 批次 | upscaled_images,帧数不变 |
| RTX Video HDR | image/enhancement | IMAGE 批次 | hdr_images,尺寸不变 |
| RTX Video Frame Generation | video | IMAGE 批次 | interpolated_images,在原帧之间插入新帧 |
三者都作用于 ComfyUI 的 IMAGE 批次,因此可以插入 Load Video 节点与 Create Video 节点之间,无需下载任何模型,也不必改动采样图。
RTX Video Super Resolution
此节点接收图像或解码后的视频帧批次,返回经过放大、降噪或锐化的结果,具体操作从一份很长的质量模式列表中选取。
| 模式 | 操作 |
|---|---|
BICUBIC | 非 AI 双三次插值 |
LOW / MEDIUM / HIGH / ULTRA | 面向压缩源的标准 AI 图像放大,从最快到细节最多 |
DENOISE_LOW 至 DENOISE_ULTRA | 同分辨率下的噪点与压缩伪影去除 |
DEBLUR_LOW 至 DEBLUR_ULTRA | 面向模糊源的同分辨率锐化 |
HIGHBITRATE_LOW 至 HIGHBITRATE_ULTRA | 面向干净或无损源的图像放大,伪影抑制更少 |
STREAMING_MEDIUM / STREAMING_ULTRA | 针对广播和网络摄像头流优化的图像放大 |
输出尺寸可设为 1x 到 4x 之间的缩放比例,也可指定明确的目标尺寸,并会取整到最接近的 8 的倍数。无论调整大小的设置如何,DENOISE_* 和 DEBLUR_* 始终保持输入尺寸。帧数与帧率从不改变,因此视频时长保持不变。
使用 RTX Video Super Resolution 对视频做一次放大处理。来源:ComfyUI Nvidia VFX Nodes。
同一个节点作用于静帧图像批次。来源:ComfyUI Nvidia VFX Nodes。
为控制内存占用,此节点会把批次切分成每块最多 1600 万像素输出的分块,每块至少一帧。
RTX Video HDR
此节点把 SDR 图像转换为 HDR 数据。它提供对比度、饱和度、中灰,以及 400 至 2000 尼特的目标峰值亮度,还有一道去色带处理,并可在 BT.2020/HLG(HDR)与 BT.2020/PQ(HDR PQ)输出之间选择。
一段视频经过 RTX Video HDR。来源:ComfyUI Nvidia VFX Nodes。
ComfyUI 的 IMAGE 不携带色彩空间元数据,因此此节点返回的数值只是在意图上属于 HDR 信号。下游保存或编码它们的任何环节都必须被告知按 BT.2020/HLG 或 BT.2020/PQ 处理,否则结果按普通 SDR 数据来看会不正确。对于长片段,仓库提供了一个分块示例,把视频切成若干块,逐块转换后再把结果拼接起来。
长视频 HDR 方案,以分块方式处理帧。来源:ComfyUI Nvidia VFX Nodes。
RTX Video Frame Generation
第三个节点在相邻帧之间进行插值,可按 2x 到 16x 的帧率倍率,也可指定 0.01 到 0.99 之间的某个时间步,因此同时涵盖慢动作与帧率转换。它会自动检测镜头切换;当你已知切点位置时,shot_change 选项可将提交的一对帧标记为剪切点。
对于 N 个输入帧和倍率 M,此节点返回 (N - 1) M + 1 帧。以原始帧率乘以 M 来编码输出即可保持片段时长。在时间步模式下,每对帧恰好插入一帧,得到 2N - 1 帧。
在相邻帧之间进行帧插值。来源:ComfyUI Nvidia VFX Nodes。
安装与运行
最简便的方式是使用 ComfyUI Manager:搜索 ComfyUI Nvidia VFX Nodes 并安装。手动安装则是把仓库克隆到 custom_nodes,用启动 ComfyUI 的同一个 Python 解释器安装 requirements.txt,然后重启。
- 需要 NVIDIA RTX GPU,并配备 cu130 或更新版本的 CUDA 版 PyTorch。这些节点使用 ComfyUI 已选择的 CUDA 设备,不支持 CPU 或非 NVIDIA 执行。
- RTX Video Frame Generation 只能在 RTX 40 系列及更新型号上运行。
- 该扩展包依赖
nvidia-vfx绑定库,由requirements.txt安装。SDK 故障会以nvvfx.NvVFXError形式出现。 - 每个节点只使用一次单独 GPU 处理,因此内存不足的批次最好通过降低分辨率、缩放比例、质量模式或批次中的帧数来解决。
工作流
与 ComfyUI 一同于 10 月 13 日发布的官方模板把这三个节点串联成一个 RTX Video Enhance 图,仓库中则为每个节点各自保留了可导入的示例。
评论
使用 GitHub 登录后即可参与讨论。