Qwen-Video-Edit:基于指令的 Wan Latent 视频编辑模型
Qwen-Video-Edit 改造 Qwen-Image-Edit 的 DiT,依据文本指令编辑 Wan 2.1 视频 Latent,提供 360P 至 720P 模型与官方 ComfyUI 节点。
Qwen-Video-Edit
视频编辑基于指令Wan 2.1ComfyUI自定义节点一个基于指令的视频编辑模型,改造 Qwen-Image-Edit 的 DiT,直接编辑 Wan 2.1 视频 VAE Latent,并由两个轻量可训练投影进行桥接。微调模型覆盖 360P 至 720P,该仓库同时也是一个官方 ComfyUI 自定义节点包。
变体
| 变体 | 描述 | 许可证 | 发布日期 |
|---|---|---|---|
| Qwen-Video-Edit | 通过 Qwen-Image-Edit DiT 在 Wan 2.1 Latent 上进行基于指令的视频编辑,提供 360P、480P 和 720P 微调模型以及官方 ComfyUI 节点 | MIT | 2026-08 |
选择上方的变体即可查看精选权重下载、教程及相关信息。
关于 Qwen-Video-Edit
Qwen-Video-Edit 走了一条与视频预训练编辑模型不同的路线。它没有去改造一个视频扩散 transformer 来遵循编辑指令,而是教会一个强大的基于指令的图像编辑器去编辑视频 Latent:Qwen-Image-Edit 的 DiT 直接作用于 Wan 2.1 视频 VAE Latent,并由一对轻量的输入和输出投影进行桥接,这两个投影由编辑器自身的 patchify 和 unpatchify 层热启动。在初始化时,静态视频的嵌入方式与编辑器已经理解的图像完全一致,因此微调只需学习分布偏移。
三个设计选择支撑了该方法。Latent 帧被排列为一张虚拟大图像的瓦片,因此编辑器的图像位置编码可以原样应用于每个瓦片。Qwen2.5-VL 分支将指令与源帧的预览网格一起编码。冻结的 Wan 2.1 VAE 负责两端的编码与解码,可选的 Wan 2.2 去噪增强阶段取自 Ditto,用于清理编辑后的 Latent。该报告由 Yunpeng Bai、Yossi Gandelsman、Michaël Gharbi 和 Qixing Huang 撰写,代码、论文与 360P 模型于 2026-08-14 发布,ComfyUI 支持以及 480P 和 720P 模型随后于 2026-08-20 发布。
模型
微调模型覆盖 360P 至 720P。目录名称编码了 Ditto-1M 训练子集(global、local、sim2real)以及支持的 chunk 长度(45 或 81 帧),其中在全局加局部子集上以 360P 训练的模型是推荐的默认选择。推理时,帧数和最大像素预算必须与所用的模型匹配,并且每个模型都使用 latent_mode wan_compressed 与 pe_mode grid。
ComfyUI
该仓库同时也是一个 ComfyUI 自定义节点包,采用单 chunk 语义:一次采样器调用编辑一个 num_frames 窗口,长视频则逐 chunk 编辑。共有三个节点注册在 QwenVideoEdit 类别下,该节点包依赖 ComfyUI-VideoHelperSuite 进行视频加载与合成。基础 Qwen-Image-Edit 与 Wan 2.1 权重会在首次运行时自动获取,总计约 55 GB,增强阶段还需要 Wan 2.2 T2V-A14B。推荐的模型同时也镜像在 ModelScope 上。
评论
使用 GitHub 登录后即可参与讨论。