Wan-Dancer-14B: generación de video de música a baile a escala de minutos de Tongyi Lab

Resumen

Tongyi Lab (el instituto de investigación de IA de Alibaba Group detrás de Qwen, Wan y Tongyi Fun) ha lanzado Wan-Dancer-14B, un modelo de código abierto que genera videos de baile sincronizados rítmicamente de alta calidad a partir de música e imágenes de referencia. El modelo supera la barrera de duración convencional de la generación de video basada en diffusion, produciendo video estable en 720p a 30fps durante más de un minuto — una hazaña con la que los modelos existentes típicamente tienen dificultades más allá de los 20 segundos.

![]

Capacidades clave

Wan-Dancer admite cinco géneros de baile con sincronización musical completa:

El modelo acepta una imagen de referencia (que muestra la apariencia y pose del bailarín) y un archivo de audio (pista musical), junto con un mensaje de texto que describe el estilo de baile deseado. Luego genera un video de baile completo que coincide con el ritmo y la estructura de la música.

Enfoque técnico

Wan-Dancer emplea un marco jerárquico para lograr una generación coherente de larga duración:

1. Planificación global de fotogramas clave — La primera etapa genera segmentos de fotogramas clave de 5 segundos que capturan la estructura musical completa, asegurando coherencia global en toda la duración.

2. Refinamiento temporal local — La segunda etapa refina cada segmento en fotogramas de alta resolución de 720p, añadiendo detalles finos mientras mantiene la suavidad temporal entre segmentos.

Las innovaciones técnicas clave incluyen:

• Embeddings RoPE con mapeo temporal — Adaptación dinámica de la tasa de fotogramas que alinea con precisión el tiempo del movimiento con los ritmos y la estructura musical.
• Función de pérdida basada en flujo óptico — Mejora la continuidad del movimiento y reduce la vibración entre fotogramas adyacentes.
• Control de velocidad de movimiento — Preserva detalles de alta fidelidad durante movimientos rápidos y transiciones bruscas.
• Contexto musical de pista completa — La etapa global procesa toda la pista musical para una planificación coherente a largo plazo, en lugar de procesar ventanas cortas.

La arquitectura del modelo se basa en el trabajo de Wan2.1 y DiffSynth-Studio, utilizando 14 mil millones de parámetros para lograr resultados de alta calidad.

Disponibilidad del modelo

Wan-Dancer-14B se publica bajo la licencia Apache 2.0 con los pesos del modelo y el código de inferencia disponibles en HuggingFace y ModelScope.

Requisitos de hardware

El código de inferencia fue probado en 8 × NVIDIA A800 (80GB). Para uso local, el modelo requerirá una cantidad significativa de memoria de GPU dado su tamaño de 14 mil millones de parámetros, aunque las técnicas de cuantización y optimización pueden permitir una inferencia con menor huella de memoria.

Integración con ComfyUI

Wan-Dancer-14B es compatible de forma nativa con ComfyUI. Comience rápidamente con el flujo de trabajo oficial de Wan-Dancer.

Asegúrese de haber actualizado ComfyUI a la última versión (guía de actualización). Los pesos del modelo necesarios están disponibles en el repositorio Comfy-Org/Wan-Dancer de Hugging Face.

Archivos de modelo necesarios

Coloque los siguientes archivos en su directorio ComfyUI/models/:

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

Los archivos del modelo están alojados en los repositorios Comfy-Org/Wan-Dancer y Comfy-Org/Wan_2.1_ComfyUI_repackaged.

Reportar problemas

• Errores de ejecución: ComfyUI/issues
• Problemas de UI/frontend: ComfyUI_frontend/issues
• Problemas del flujo de trabajo: workflow_templates/issues