FloED: 基于光流引导的高效视频修复扩散模型开源

近日，来自香港科技大学和阿里巴巴达摩院的研究团队发布了名为FloED的视频修复框架，该项目利用光流引导的扩散模型技术，为视频修复任务带来了更高的时间连贯性和计算效率。该团队同时开源了项目的推理代码和模型权重，为AI视频处理领域带来了新的工具。

解决的核心问题

视频修复是指通过AI技术填充视频中缺失或需要移除的部分，让结果看起来自然而连贯。现有的基于扩散模型的视频修复方法存在两个主要问题：

1. 时间连贯性不足：修复后的视频在帧与帧之间常常出现闪烁、不稳定等问题
2. 计算效率低：扩散模型本身计算成本高，加上处理视频所需的额外步骤，使得现有方法速度较慢

FloED通过巧妙的设计解决了这些问题，使得视频修复效果更加自然，并且大幅提升了处理效率。

技术创新点

FloED的主要创新点包括：

• 双分支架构：一个专门的分支先恢复损坏的光流（视频中物体的运动信息），然后将这些运动信息通过多尺度流适配器提供给主修复分支，指导生成内容的运动方向

• 隐空间插值加速：利用光流信息进行特征插值，无需额外训练即可加速多步去噪过程

• 流注意力缓存：优化计算过程，减少由引入光流带来的额外计算开销

这些技术使得FloED在保持高质量视频修复效果的同时，大幅提高了处理速度。

应用场景与效果展示

FloED主要适用于两类视频修复任务：

物体移除（Object Removal）

从视频中移除不需要的物体，同时保持背景的连贯性和自然过渡。

背景修复（Background Restoration）

修复视频中大面积的背景区域，使其与周围环境保持视觉和时间上的连贯性。

开源进展

根据项目最新更新，FloED团队已于2025年4月13日发布了推理代码和模型权重，感兴趣的用户可以通过以下方式获取：

1. 安装所需环境（通过环境配置文件）
2. 下载并准备FloED权重
3. 使用提供的示例脚本快速开始推理

未来计划

根据项目团队的规划，未来还将发布：

• 隐空间插值代码
• 训练代码和评估基准

相关链接

• 项目主页
• GitHub代码库
• 研究论文