Wan2.2 Dancer: generación de videos de baile a partir de música por Tongyi Lab

Descripción general

Wan-Dancer-14B es un modelo de código abierto de Tongyi Lab (el instituto de investigación de IA de Alibaba Group detrás de Qwen, Wan y Tongyi Fun) que genera videos de baile de alta calidad y sincronizados rítmicamente a partir de música e imágenes de referencia. El modelo supera la barrera de duración convencional de la generación de video basada en difusión, produciendo video estable en 720p a 30fps durante más de un minuto, una hazaña que los modelos existentes normalmente no logran más allá de 20 segundos.

El modelo acepta una imagen de referencia (que muestra la apariencia y pose del bailarín) y un archivo de audio (pista musical), junto con un prompt de texto que describe el estilo de baile deseado. Luego genera un video de baile completo que coincide con el ritmo y la estructura de la música.

Arquitectura

Wan-Dancer emplea un marco jerárquico que divide el proceso de generación en dos etapas:

Etapa 1: Planificación global de fotogramas clave

La primera etapa genera segmentos de fotogramas clave de 5 segundos que capturan la estructura musical completa de la pista, asegurando la coherencia global en toda la duración. Procesa la pista musical completa como contexto para la planificación a largo plazo.

Etapa 2: Refinamiento temporal local

La segunda etapa refina cada segmento en fotogramas de alta resolución a 720p, añadiendo detalles finos mientras mantiene la suavidad temporal entre segmentos.

Innovaciones técnicas clave

• Embeddings RoPE con mapeo temporal: Adaptación dinámica de la velocidad de fotogramas que alinea con precisión el tiempo del movimiento con los ritmos y la estructura musical, permitiendo una sincronización exacta entre audio y video.
• Función de pérdida basada en flujo óptico: Mejora la continuidad del movimiento penalizando vibraciones y transiciones abruptas entre fotogramas adyacentes, dando como resultado movimientos de baile más suaves.
• Control de velocidad de movimiento: Conserva detalles de alta fidelidad durante movimientos rápidos y transiciones bruscas, evitando el desenfoque de movimiento y artefactos comunes en la generación de video de larga duración.
• Contexto musical de pista completa: A diferencia de los modelos que procesan ventanas de audio cortas, la etapa global utiliza la pista musical completa para una planificación coherente a largo plazo en toda la duración del baile.

El marco se basa en el trabajo de Wan2.1, DiffSynth-Studio y la arquitectura Wan2.2 MoE.

Géneros de baile

Wan-Dancer es compatible con cinco géneros de baile con sincronización musical completa:

Integración con ComfyUI

Wan-Dancer-14B es compatible de forma nativa con ComfyUI 0.22.0+. Comience con el flujo de trabajo oficial de Wan-Dancer. Asegúrese de haber actualizado ComfyUI a la última versión.

Archivos de modelo necesarios

Coloque los siguientes archivos en su directorio ComfyUI/models/:

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

Los archivos de modelo están alojados en los repositorios Comfy-Org/Wan-Dancer y Comfy-Org/Wan_2.1_ComfyUI_repackaged.

Recursos