ComfyUI 新增 Video Deflicker 节点,用于逐帧放大去闪烁

ComfyUI Wikinews

ComfyUI 核心现已内置 Kijai 的 Video Deflicker 节点:可去除逐帧处理后视频中的闪烁,其原生 RAFT 光流比 torchvision 快 2.3 倍。

ComfyUI 核心新增了 Video Deflicker 节点:把经过逐帧处理(例如逐帧放大)后出现闪烁的帧交给它,它会把每一帧向相邻帧靠拢,同时保留该帧自身的细节。该节点由 Kijai 通过 PR #17754 提交,已于 11 月 15 日合并。你唯一需要额外准备的文件是 torchvision 的 RAFT-large checkpoint,放在 ComfyUI/models/optical_flow/ 目录下。

Video Deflicker 处理前后对比

左:逐帧处理后的片段。右:同一片段经 Video Deflicker 处理之后。来源:Comfy-Org/ComfyUI #17754

两个片段并排对比,各 53 帧,每格画面重新编码为 720 px。

它解决什么问题

  • 逐帧放大与逐帧编辑:每一帧都单独处理,帧与帧之间的细微差异在观感上就表现为闪烁。
  • 把干净的源素材作为 guide 传入是效果好的关键:节点从这些稳定的帧中读取运动信息,而不是从闪烁的帧中读取。不提供 guide 时,它使用输入帧,去除闪烁的效果会弱一些。
  • 真实的变化会被保留。 threshold 会把相对于运动补偿后相邻帧的差异判定为真实变化,因此镜头切换或快速动作不会被抹平。

使用方法

  1. 从 download.pytorch.org 下载 raft_large.pth(torchvision RAFT-large,21 MB),放入 ComfyUI/models/optical_flow/。ComfyUI 不会自行下载光流权重。
  2. 添加 加载光流模型 节点,选择 raft_large.pth。
  3. 添加 Video Deflicker 节点(类别 video),将光流模型、闪烁的帧以及干净的源帧连接到 guide。
输入默认值作用
optical_flow必填来自加载光流模型节点的 RAFT-large
images必填出现闪烁的帧
guideimages用于读取运动信息的稳定帧,任意分辨率
strength1.0每帧向相邻帧靠拢的程度;值越高,越多细节被平滑
directionbidirectional对前向与后向两趟结果取平均;forward 只需一半时间
threshold0.1高于此值的差异保持锐利;设为 0 则所有变化被同等平滑

光流在内部最多按 768x768 计算,因此 4K 的 guide 会在运动估计阶段被降采样,只有求解阶段以全分辨率运行。

核心中更快的 RAFT

同一个 PR 用原生实现替换了 torchvision 的 raft_large:采用 fp16 网络搭配 fp32 相关性计算,更新循环在动态 VRAM 下以 CUDA graph 运行。在 1024x576 分辨率下,它比 torchvision 版本快约 2.3 倍。VOID 变形噪波节点现在也使用它。

可用性

自 11 月 15 日合并起,该节点已在主分支中。最新的标记版本 v0.45.0(11 月 10 日)早于它,因此在下一个版本发布前请使用每夜构建。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
ComfyUI 新增 Video Deflicker 节点,用于逐帧放大去闪烁 | ComfyUI Wiki