Wan-Dancer-14B：通义实验室发布分钟级音乐到舞蹈视频生成模型

news

通义实验室（阿里巴巴）发布开源模型 Wan-Dancer-14B，可从音乐和参考图像生成720p/30fps的舞蹈视频，支持中国古典舞、K-Pop、街舞、踢踏舞和拉丁舞五种风格，输出时长可达分钟级。

概述

通义实验室（阿里巴巴集团旗下负责Qwen千问、Wan万相和通义万相等AI研究的实验室）发布了 Wan-Dancer-14B，这是一个开源模型，能够从音乐和参考图像生成高质量、节奏同步的舞蹈视频。该模型突破了基于扩散模型的视频生成在时长上的常规限制，可生成稳定、720p分辨率、30fps、超过一分钟的视频，而现有模型通常难以处理超过20秒的片段。

![]

核心能力

Wan-Dancer 支持 五种舞蹈风格，并能完美适配音乐节奏：

风格描述
中国古典舞优雅流畅的动作，呈现传统美学
K-Pop 舞蹈现代、充满活力的编舞
街舞都市、自由风格的动作
踢踏舞有节奏的脚步动作，与打击乐同步
拉丁舞热情、动感的双人舞风格

该模型接受一张 参考图像（展示舞者的外观和姿势）和一段 音频文件（音乐轨道），以及描述所需舞蹈风格的文本提示。随后它会生成与音乐节奏和结构完全匹配的完整舞蹈视频。

技术方法

Wan-Dancer 采用 层次化框架 实现连贯的长时生成：

  1. 全局关键帧规划 —— 第一阶段生成5秒的关键帧片段，捕获整首音乐的结构，确保全片时间范围内的全局连贯性。

  2. 局部时间细化 —— 第二阶段将每个片段细化为高分辨率720p帧，添加精细细节，同时保持片段之间的时间平滑性。

关键技术创新包括：

  • 时间映射的旋转位置编码（Time-Mapped RoPE Embeddings） —— 动态帧率适配，精确地将动作时序与音乐节拍和结构对齐。
  • 基于光流的损失函数 —— 增强运动连续性，减少相邻帧之间的抖动。
  • 运动速度控制 —— 在快速运动和剧烈过渡中保持高保真细节。
  • 全轨道音乐上下文 —— 全局阶段处理完整的音乐轨道以进行连贯的长程规划，而非处理短窗口。

模型架构基于Wan2.1工作和DiffSynth-Studio，拥有140亿参数以实现高质量输出。

模型获取

Wan-Dancer-14B 采用 Apache 2.0 许可证 发布，模型权重和推理代码已开源，可在HuggingFace和ModelScope上获取。

资源链接
论文arXiv:2607.09581
项目页面humanaigc.github.io/wan-dancer-project/
GitHub 仓库github.com/Wan-Video/Wan-Dancer
HuggingFace 模型huggingface.co/Wan-AI/Wan-Dancer-14B
ModelScope 模型modelscope.cn/models/Wan-AI/Wan-Dancer-14B
ModelScope 演示modelscope.ai/studios/Wan-AI/Wan-Dancer

硬件依赖项

推理代码已在 8 × NVIDIA A800 (80GB) GPU 上测试通过。对于本地使用，考虑到140亿参数规模，模型需要大量GPU显存；不过量化和优化技术可能有助于降低推理时的内存占用。

ComfyUI 集成

Wan-Dancer-14B 原生支持 ComfyUI。使用官方 Wan-Dancer 工作流 快速上手。

确保已将 ComfyUI 更新到最新版本（更新指南）。所需模型权重可从 Comfy-Org/Wan-Dancer Hugging Face 仓库获取。

所需模型文件

将以下文件放入 ComfyUI/models/ 目录：

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

模型文件托管在 Comfy-Org/Wan-Dancer 和 Comfy-Org/Wan_2.1_ComfyUI_repackaged 仓库中。

该模型一次性渲染 149 帧，需要大量显存。默认工作流输出 5 秒视频。运行前请确保拥有高性能 GPU。

问题反馈

Wan-Dancer-14B：通义实验室发布分钟级音乐到舞蹈视频生成模型 | ComfyUI Wiki