Wan-Dancer-14B : Génération de vidéos de danse à partir de musique à l'échelle de la minute par Tongyi Lab

Aperçu

Tongyi Lab (l'institut de recherche en IA du groupe Alibaba, à l'origine de Qwen, Wan et Tongyi Fun) a publié Wan-Dancer-14B, un modèle open source qui génère des vidéos de danse de haute qualité, rythmiquement synchronisées à partir de musique et d'images de référence. Le modèle surmonte la barrière de durée conventionnelle de la génération vidéo par diffusion, produisant une vidéo stable en 720p à 30fps pendant plus d'une minute – un exploit que les modèles existants peinent à réaliser au-delà de 20 secondes.

![]

Capacités clés

Wan-Dancer prend en charge cinq genres de danse avec une synchronisation musicale complète :

Le modèle accepte une image de référence (montrant l'apparence et la pose du danseur) et un fichier audio (piste musicale), ainsi qu'une invite textuelle décrivant le style de danse souhaité. Il génère ensuite une vidéo de danse complète correspondant au rythme et à la structure de la musique.

Approche technique

Wan-Dancer utilise un cadre hiérarchique pour obtenir une génération longue et cohérente :

1. Planification globale des images clés – La première étape génère des segments d'images clés de 5 secondes qui capturent la structure musicale de la piste entière, assurant une cohérence globale sur toute la durée.

2. Affinement temporel local – La deuxième étape affine chaque segment en images haute résolution 720p, ajoutant des détails fins tout en maintenant la fluidité temporelle entre les segments.

Les innovations techniques clés incluent :

• Time-Mapped RoPE Embeddings – Adaptation dynamique de la fréquence d'images qui aligne précisément le timing des mouvements avec les battements et la structure musicaux.
• Fonction de perte basée sur le flux optique – Améliore la continuité du mouvement et réduit les saccades entre les images adjacentes.
• Contrôle de la vitesse de mouvement – Préserve les détails haute fidélité lors des mouvements rapides et des transitions brusques.
• Contexte musical complet – L'étape globale traite la piste musicale entière pour une planification cohérente à long terme, plutôt que de traiter de courtes fenêtres.

L'architecture du modèle s'appuie sur les travaux de Wan2.1 et DiffSynth-Studio, utilisant 14 milliards de paramètres pour obtenir des sorties de haute qualité.

Disponibilité du modèle

Wan-Dancer-14B est publié sous la licence Apache 2.0 avec les poids du modèle et le code d'inférence disponibles sur HuggingFace et ModelScope.

Configuration matérielle requise

Le code d'inférence a été testé sur 8 GPU NVIDIA A800 (80 Go). Pour une utilisation locale, le modèle nécessitera une mémoire GPU importante étant donné sa taille de 14B paramètres, bien que des techniques de quantification et d'optimisation puissent permettre une inférence avec une empreinte réduite.

Intégration ComfyUI

Wan-Dancer-14B est compatible nativement avec ComfyUI. Commencez rapidement avec le workflow officiel de Wan-Dancer.

Assurez-vous d'avoir mis à jour ComfyUI vers la dernière version (guide de mise à jour). Les poids du modèle nécessaires sont disponibles dans le dépôt Comfy-Org/Wan-Dancer sur Hugging Face.

Fichiers de modèle requis

Placez les fichiers suivants dans votre répertoire ComfyUI/models/ :

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

Les fichiers du modèle sont hébergés dans les dépôts Comfy-Org/Wan-Dancer et Comfy-Org/Wan_2.1_ComfyUI_repackaged.

Signaler des problèmes

• Erreurs d'exécution : ComfyUI/issues
• Problèmes d'UI/frontend : ComfyUI_frontend/issues
• Problèmes de workflow : workflow_templates/issues