ComfyUI 新增 Video Deflicker 节点,用于逐帧放大去闪烁
ComfyUI Wikinews
ComfyUI 核心现已内置 Kijai 的 Video Deflicker 节点:可去除逐帧处理后视频中的闪烁,其原生 RAFT 光流比 torchvision 快 2.3 倍。
ComfyUI 核心新增了 Video Deflicker 节点:把经过逐帧处理(例如逐帧放大)后出现闪烁的帧交给它,它会把每一帧向相邻帧靠拢,同时保留该帧自身的细节。该节点由 Kijai 通过 PR #17754 提交,已于 11 月 15 日合并。你唯一需要额外准备的文件是 torchvision 的 RAFT-large checkpoint,放在 ComfyUI/models/optical_flow/ 目录下。
左:逐帧处理后的片段。右:同一片段经 Video Deflicker 处理之后。来源:Comfy-Org/ComfyUI #17754
两个片段并排对比,各 53 帧,每格画面重新编码为 720 px。
它解决什么问题
- 逐帧放大与逐帧编辑:每一帧都单独处理,帧与帧之间的细微差异在观感上就表现为闪烁。
- 把干净的源素材作为
guide传入是效果好的关键:节点从这些稳定的帧中读取运动信息,而不是从闪烁的帧中读取。不提供 guide 时,它使用输入帧,去除闪烁的效果会弱一些。 - 真实的变化会被保留。
threshold会把相对于运动补偿后相邻帧的差异判定为真实变化,因此镜头切换或快速动作不会被抹平。
使用方法
- 从 download.pytorch.org 下载
raft_large.pth(torchvision RAFT-large,21 MB),放入ComfyUI/models/optical_flow/。ComfyUI 不会自行下载光流权重。 - 添加 加载光流模型 节点,选择
raft_large.pth。 - 添加 Video Deflicker 节点(类别
video),将光流模型、闪烁的帧以及干净的源帧连接到guide。
| 输入 | 默认值 | 作用 |
|---|---|---|
optical_flow | 必填 | 来自加载光流模型节点的 RAFT-large |
images | 必填 | 出现闪烁的帧 |
guide | images | 用于读取运动信息的稳定帧,任意分辨率 |
strength | 1.0 | 每帧向相邻帧靠拢的程度;值越高,越多细节被平滑 |
direction | bidirectional | 对前向与后向两趟结果取平均;forward 只需一半时间 |
threshold | 0.1 | 高于此值的差异保持锐利;设为 0 则所有变化被同等平滑 |
光流在内部最多按 768x768 计算,因此 4K 的 guide 会在运动估计阶段被降采样,只有求解阶段以全分辨率运行。
核心中更快的 RAFT
同一个 PR 用原生实现替换了 torchvision 的 raft_large:采用 fp16 网络搭配 fp32 相关性计算,更新循环在动态 VRAM 下以 CUDA graph 运行。在 1024x576 分辨率下,它比 torchvision 版本快约 2.3 倍。VOID 变形噪波节点现在也使用它。
可用性
自 11 月 15 日合并起,该节点已在主分支中。最新的标记版本 v0.45.0(11 月 10 日)早于它,因此在下一个版本发布前请使用每夜构建。
评论
使用 GitHub 登录后即可参与讨论。