Wan2.2 Dancer : Génération de vidéos de danse à l'échelle de la minute par Tongyi Lab

Aperçu

Wan-Dancer-14B est un modèle open source de Tongyi Lab (l'institut de recherche en IA d'Alibaba Group, à l'origine de Qwen, Wan et Tongyi Fun) qui génère des vidéos de danse de haute qualité et rythmiquement synchronisées à partir de musique et d'images de référence. Le modèle surmonte la barrière de durée conventionnelle de la génération vidéo basée sur la diffusion, produisant une vidéo 720p stable à 30fps pendant plus d'une minute — un exploit que les modèles existants peinent généralement à réaliser au-delà de 20 secondes.

Le modèle accepte une image de référence (montrant l'apparence et la pose du danseur) et un fichier audio (piste musicale), ainsi qu'une description textuelle du style de danse souhaité. Il génère ensuite une vidéo de danse complète correspondant au rythme et à la structure de la musique.

Architecture

Wan-Dancer utilise un framework hiérarchique qui sépare le processus de génération en deux étapes :

Étape 1 : Planification globale des keyframes

La première étape génère des segments de keyframes de 5 secondes qui capturent la structure musicale complète de la piste, assurant une cohérence globale sur toute la durée. Elle traite l'intégralité de la piste musicale comme contexte pour une planification à longue portée.

Étape 2 : Raffinement temporel local

La deuxième étape affine chaque segment en images haute résolution 720p, ajoutant des détails fins tout en maintenant la fluidité temporelle entre les segments.

Innovations techniques clés

• Intégrations Time-Mapped RoPE : Adaptation dynamique de la fréquence d'images qui aligne précisément le timing des mouvements avec les battements et la structure musicale, permettant une synchronisation précise entre l'audio et la vidéo.
• Fonction de perte basée sur le flux optique : Améliore la continuité des mouvements en pénalisant les saccades et les transitions abruptes entre les images adjacentes, ce qui donne des mouvements de danse plus fluides.
• Contrôle de la vitesse des mouvements : Préserve les détails haute fidélité lors des mouvements rapides et des transitions brusques, empêchant le flou de mouvement et les artefacts courants dans la génération vidéo longue durée.
• Contexte musical complet : Contrairement aux modèles qui traitent de courtes fenêtres audio, l'étape globale utilise l'intégralité de la piste musicale pour une planification cohérente à longue portée sur toute la durée de la danse.

Le framework s'appuie sur les travaux de Wan2.1, DiffSynth-Studio et l'architecture Wan2.2 MoE.

Genres de danse

Wan-Dancer prend en charge cinq genres de danse avec synchronisation musicale complète :

Intégration ComfyUI

Wan-Dancer-14B est nativement pris en charge dans ComfyUI 0.22.0+. Commencez avec le workflow Wan-Dancer officiel. Assurez-vous d'avoir mis à jour ComfyUI vers la dernière version.

Fichiers de modèle requis

Placez les fichiers suivants dans votre répertoire ComfyUI/models/ :

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

Les fichiers de modèle sont hébergés sur les dépôts Comfy-Org/Wan-Dancer et Comfy-Org/Wan_2.1_ComfyUI_repackaged.

Ressources