通义 Wan2.1 ComfyUI 工作流
阿里巴巴于2025年2月开源的Wan2.1是当前视频生成领域的标杆性模型,其开源协议为Apache 2.0,提供14B(140亿参数)和1.3B(13亿参数)两个版本,覆盖文生视频(T2V)、图生视频(I2V)等多项任务。 该模型不仅在性能上超越现有开源模型,更重要的是其轻量级版本仅需 8GB 显存即可运行,大大降低了使用门槛。
目前所有模型已在 Hugging Face 和 ModelScope 平台开放下载:
- T2V-14B:Hugging Face | ModelScope
- I2V-14B-720P:Hugging Face | ModelScope
- T2V-1.3B:Hugging Face | ModelScope
本文将带领你完成对应的 Wan2.1 相关工作流包括:
- Wan2.1 的相关模型安装
- Wan2.1 图生视频工作流
- Wan2.1 文生视频工作流搭
另外目前已有社区作者制作了 GGUF 和量化版本
- GGUF: https://huggingface.co/city96/Wan2.1-T2V-14B-gguf/tree/main
- 量化版本: https://huggingface.co/Kijai/WanVideo_comfy/tree/main
通义 Wan2.1 ComfyUI 官方工作流示例
以下工作流来自 ComfyUI 官方博客,目前 ComfyUI 已原生支持 Wan2.1
1. Wan2.1 相关安装
- 更新 ComfyUI 到最新版本
请务必升级你的 ComfyUI 版本到最新版,请参考 如何升级 ComfyUI 部分指南完成升级。
- Diffusion models 模型安装
请从 Comfy 的 repackaged 中下载一个版本的模型根据你需要的工作流类型
- i2v 为 image to video 即 图生视频模型, t2v 为 text to video 即 文生视频模型
- 14B、1.3B 为对应的参数量,数值越大对硬件性能要求越高
- bf16、fp16、fp8 代表不同的精度,精度越高对硬件性能要求越高,其中 fp8 精度最低,对硬件性能要求最低,但效果相对也会较差
- 通常文件体积越大对设备的硬件要求也越高
下载后的模型请保存到ComfyUI/models/diffusion_models
目录
- text encoders 模型安装
点击下载 umt5_xxl_fp8_e4m3fn_scaled.safetensors
如下载如响应,请访问这个链接进行下载
下载后的模型请保存到ComfyUI/models/text_encoders
目录
- clip_vision 模型安装
点击下载 clip_vision_h.safetensors
如下载无响应,请访问这个链接进行下载
下载后的模型请保存到ComfyUI/models/clip_vision
目录
- Wan2.1 VAE 模型安装
如下载无响应,请访问这个链接进行下载
下载后的模型请保存到ComfyUI/models/vae
目录
2. Wan2.1 图生视频工作流
以下两个工作流基本节点相同,差异在于使用的 Diffusion Model 不同,和对应的视频尺寸不同,你可以分别使用下面提供的工作流文件,或者使用其中的一个,然后按照我的教程提示进行参数的修改
2.1 Wan2.1 图生视频工作流 14B 720P Workflow
工作流文件下载
请点击下面的按钮下载对应的工作流,然后拖入 ComfyUI 界面或者使用菜单栏 Workflows
-> Open(Ctrl+O)
进行加载
输入图片示例
请下载这张图片作为输入使用
Wan2.1 图生视频 720P 工作流讲解
请参考图片序号,确保对应节点和模型均已加载来完成来确保模型能够正常运行
- 请上传前面提供提供的输入图片示例
- 确保
[clip_vision_h.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/clip_vision/clip_vision_h.safetensors?download=true)
模型可以正常读取并加载 - 确保
[umt5_xxl_fp8_e4m3fn_scaled.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors?download=true)
模型可以正常读取并加载 - 确保使用 720P 模型并可以正常读取,如未下载点击这里前往下载,下面两个之一取决于你的设备性能
- wan2.1_i2v_720p_14B_bf16.safetensors
- wan2.1_i2v_720p_14B_fp8_e4m3fn.safetensors
- 确保
[wan_2.1_vae.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors?download=true)
模型可以正常读取并加载 - 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行视频生成 - 你可以留意此处
wanImageToVideo
节点的尺寸为 768x768
2.2 Wan2.1 图生视频工作流 14B 480P Workflow
480P 工作流与 720P 工作流类似,主要差异在于LoadDiffusion Model
节点 加载使用的是 480P 的模型,以及wanImageToVideo
节点的尺寸为 512x512
工作流文件下载
请点击下面的按钮下载对应的工作流,请点击下面的按钮下载对应的工作流,然后拖入 ComfyUI 界面或者使用菜单栏 Workflows
-> Open(Ctrl+O)
进行加载
输入图片示例
请下载下面的图片作为输入
Wan2.1 图生视频 480P 工作流讲解
Wan2.1 图生视频 480P 工作流讲解
请参考图片序号,确保对应节点和模型均已加载来完成来确保模型能够正常运行
- 请上传前面提供提供的输入图片示例
- 确保
[clip_vision_h.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/clip_vision/clip_vision_h.safetensors?download=true)
模型可以正常读取并加载 - 确保
[umt5_xxl_fp8_e4m3fn_scaled.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors?download=true)
模型可以正常读取并加载 - 确保使用 480P 模型并可以正常读取,如未下载点击这里前往下载,下面两个之一取决于你的设备性能
- wan2.1_i2v_480p_14B_bf16.safetensors
- wan2.1_i2v_480p_14B_fp8_e4m3fn.safetensors
- 确保
[wan_2.1_vae.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors?download=true)
模型可以正常读取并加载 - 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行视频生成 - 你可以留意此处
wanImageToVideo
节点的尺寸为 512x512
3. Wan2.1 图生视频工作流 1.3B 1080P Workflow
请点击下面的按钮下载对应的工作流,请点击下面的按钮下载对应的工作流,然后拖入 ComfyUI 界面或者使用菜单栏 Workflows
-> Open(Ctrl+O)
进行加载
请参考图片序号,确保对应节点和模型均已加载来完成来确保模型能够正常运行
- 确保
[umt5_xxl_fp8_e4m3fn_scaled.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors?download=true)
模型可以正常读取并加载 - 确保使用 t2v 模型并可以正常读取,如未下载点击这里前往下载,下面两个之一取决于你的设备性能
- wan2.1_t2v_1.3B_bf16.safetensors
- wan2.1_t2v_1.3B_fp16.safetensors
- wan2.1_t2v_14B_bf16.safetensors
- wan2.1_t2v_14B_fp8_e4m3fn.safetensors
- 确保
[wan_2.1_vae.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors?download=true)
模型可以正常读取并加载 - 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行视频生成
Wan2.1 量化版本工作流
这个版本由 Kijai 提供,需要配合插件使用 需要安装下面两个插件:
Wan2.1 量化版相关模型下载
相关模型都来自:Kijai/WanVideo_comfy
Text encoders模型
请根据你的设备选择 fp8 或者 bf16 版本下载下面的文件并保存文件到 ComfyUI/models/text_encoders
文件夹
fp8 版本对设备性能要求较低,bf16 版本对设备性能要求较高
Diffusion models
请根据你的设备和需要的工作流,下载对应的 Transformer 模型文件 到 ComfyUI/models/diffusion_models
文件夹
- Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors
- Wan2_1-I2V-14B-720P_fp8_e4m3fn.safetensors
- Wan2_1-T2V-14B_fp8_e4m3fn.safetensors
- Wan2_1-T2V-1_3B_bf16.safetensors
- Wan2_1-T2V-1_3B_fp8_e4m3fn.safetensors
对应模型文件参数说明: 1. 模型类型
- I2V: Image to Video,图生视频模型
- T2V: Text to Video,文生视频模型
2. 模型规模
- 14B: 140亿参数版本,效果更好但对硬件要求更高
- 1_3B: 13亿参数版本,对硬件要求较低但效果相对简单
3. 分辨率
- 480P: 生成 512x512 分辨率的视频
- 720P: 生成 768x768 分辨率的视频
4. 精度格式
- bf16: Brain Floating Point 16,精度较高,需要较新的 GPU 支持
- fp8: Floating Point 8,精度较低,对硬件要求较低
- fp16: Floating Point 16,中等精度,适用于大多数 GPU
- e4m3fn: 8-bit 浮点格式的一种,专为低精度计算优化
VAE模型
请根据你的设备选择 fp8 或者 bf16 版本下载下面的文件并保存文件到 ComfyUI/models/vae
文件夹
Wan2.1 量化版工作流
Wan2.1 量化版文生视频工作流
请点击下面的按钮下载对应的工作流,请点击下面的按钮下载对应的工作流,然后拖入 ComfyUI 界面或者使用菜单栏 Workflows
-> Open(Ctrl+O)
进行加载
工作流说明
请参考图片序号,确保对应节点和模型均已加载来完成来确保模型能够正常运行
- 确保
[umt5-xxl-enc-bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/blob/main/umt5-xxl-enc-bf16.safetensors)
模型可以正常读取并加载 - 确保使用 t2v 模型并可以正常读取,如未下载点击这里前往下载,下面两个之一取决于你的设备性能
- 确保
Wan2_1_VAE_xxx.safetensors
模型可以正常读取并加载 - 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行视频生成
Wan2.1 量化版图生视频480P工作流
CLIP模型下载
- open-clip-xlm-roberta-large-vit-huge-14_fp16.safetensors
- open-clip-xlm-roberta-large-vit-huge-14_visual_fp32.safetensors
- open-clip-xlm-roberta-large-vit-huge-14_visual_fp32.safetensors
工作流下载
请点击下面的按钮下载对应的工作流,请点击下面的按钮下载对应的工作流,然后拖入 ComfyUI 界面或者使用菜单栏 Workflows
-> Open(Ctrl+O)
进行加载
工作流说明
请参考图片序号,确保对应节点和模型均已加载来完成来确保模型能够正常运行
- 确保
umt5-xxl-enc-bf16.safetensors
模型可以正常读取并加载,下载链接:umt5-xxl-enc-bf16.safetensors - 确保
open-clip-xlm-roberta-large-vit-huge-14_fp16.safetensors
模型可以正常读取并加载,下载链接:open-clip-xlm-roberta-large-vit-huge-14_fp16.safetensors - 确保
Wan2_1_VAE_bf16.safetensors
模型可以正常读取并加载,下载链接:Wan2_1_VAE_bf16.safetensors - 上传你想要生成视频的图片
- 确保
Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors
模型可以正常读取并加载,下载链接:Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors - 在提示词输入框中输入你想要生成视频的描述内容
- 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行视频生成
Wan2.1 量化版视频转视频工作流
工作流下载
请点击下面的按钮下载对应的工作流,请点击下面的按钮下载对应的工作流,然后拖入 ComfyUI 界面或者使用菜单栏 Workflows
-> Open(Ctrl+O)
进行加载
工作流说明
请参考图片序号,确保对应节点和模型均已加载来完成来确保模型能够正常运行
- 确保
umt5-xxl-enc-bf16.safetensors
模型可以正常读取并加载,下载链接:umt5-xxl-enc-bf16.safetensors - 请上传你需要用于转绘的原始视频
- Wan2_1-T2V-1_3B_bf16.safetensors 模型可以正常读取并加载,下载链接:Wan2_1-T2V-1_3B_bf16.safetensors
- 请输入你想要生成视频的描述内容
- Wan2_1_VAE_bf16.safetensors 模型可以正常读取并加载,下载链接:Wan2_1_VAE_bf16.safetensors
- 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行视频生成
相关资源
- Wan2.1 模型 GitHub 代码仓库
- Wan2.1 模型在线演示平台
- Wan2.1 模型技术文档
- Wan2.1 模型开发者社区
- Wan2.1 模型 ComfyUI Repackaged
- Wan2.1 模型 ComfyUI 工作流示例
- Wan2.1 模型 gguf 模型下载
- Wan2.1 模型 量化版模型下载