Wan2.2 Dancer：通义实验室推出分钟级音乐生成舞蹈视频模型

概述

Wan-Dancer-14B 是通义实验室（阿里巴巴集团旗下AI研究机构，负责开发 Qwen、Wan、通义趣等产品）推出的开源模型，能够从音乐和参考图像生成高质量、节奏同步的舞蹈视频。该模型突破了扩散模型视频生成的时长限制，可稳定输出720p/30fps、超过一分钟的视频——现有模型通常只能做到20秒以内。

模型接受参考图像（显示舞者的外观和姿态）和音频文件（音乐曲目），以及描述所需舞蹈风格的文字提示，然后生成与音乐节奏和结构完全匹配的完整舞蹈视频。

架构

Wan-Dancer 采用层次化框架，将生成过程解耦为两个阶段：

第一阶段：全局关键帧规划

该阶段生成5秒的关键帧片段，捕获整个曲目的音乐结构，确保全程全局连贯性。它将完整音乐曲目作为上下文进行长程规划。

第二阶段：局部时间细化

第二阶段将每个片段细化为高分辨率720p帧，在添加细节的同时保持片段间的时间平滑性。

关键技术创新

• 时间映射 RoPE 嵌入：动态帧率自适应，精确对齐运动时序与音乐节拍和结构，实现音频与视频的准确同步。
• 基于光流的损失函数：通过惩罚相邻帧之间的抖动和突变来增强运动连续性，使舞蹈动作更流畅。
• 运动速度控制：在快速移动和剧烈变换时保留高保真细节，防止长视频生成中常见的运动模糊和伪影。
• 全曲音乐上下文：与处理短音频窗口的模型不同，全局阶段利用完整音乐曲目进行连贯的长程规划。

该框架基于 Wan2.1 工作、DiffSynth-Studio 以及 Wan2.2 MoE 架构构建。

舞蹈风格

Wan-Dancer 支持五种舞蹈风格，均与音乐完全同步：

ComfyUI 集成

Wan-Dancer-14B 在 ComfyUI 0.22.0+ 中原生支持。请从官方 Wan-Dancer 工作流 开始使用。确保已将 ComfyUI 更新到最新版本。

所需模型文件

将以下文件放入 ComfyUI/models/ 目录：

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

模型文件托管在 Comfy-Org/Wan-Dancer 和 Comfy-Org/Wan_2.1_ComfyUI_repackaged 仓库中。

资源