Wan2.2 Animate représente une percée dans l’animation de personnages assistée par l’IA, offrant une solution complète pour le remplacement de personnages et le transfert de mouvement dans les contenus vidéo.

Ce cadre avancé permet aux utilisateurs d’animer sans effort des images de personnages statiques en utilisant des vidéos de référence, en capturant avec une précision remarquable les expressions faciales complexes et les mouvements corporels. De plus, il peut remplacer les personnages existants dans les vidéos tout en conservant le contexte environnemental et les conditions d’éclairage d’origine.

Capacités principales

• Modes d’opération doubles : basculez sans effort entre les fonctions d’animation de personnages et de remplacement de vidéos
• Contrôle de mouvement basé sur le squelette : exploite l’estimation de pose avancée pour une réplication précise des mouvements
• Fidélité des expressions : préserve les expressions faciales subtiles et les micro-mouvements du matériel source
• Cohérence environnementale : maintient l’éclairage et l’étalonnage des couleurs d’origine de la vidéo pour une intégration naturelle
• Support vidéo étendu : le traitement itératif assure une continuité fluide des mouvements sur des séquences plus longues

À propos du flux de travail Wan2.2 Animate

Dans ce tutoriel, nous inclurons deux flux de travail :

1. Version native officielle de ComfyUI (Nœuds de base)
2. Version Kijai ComfyUI-WanVideoWrapper [À mettre à jour]

Rediffusion en direct de Comfy Org

Flux de travail natif Wan2.2 Animate ComfyUI (Nœuds de base)

1. Configuration du flux de travail

Commencez par télécharger le fichier de flux de travail et importez-le dans ComfyUI.

Matériaux d’entrée requis :

Image de référence :

Vidéo d’entrée

2. Téléchargements des modèles

Modèles de diffusion

• Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors - Version optimisée du dépôt de Kijai
• wan2.2_animate_14B_bf16.safetensors - Poids originaux du modèle

Modèles de vision CLIP

• clip_vision_h.safetensors

Modèles LoRA

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors - LoRA d’accélération 4 étapes

Modèles VAE

• wan_2.1_vae.safetensors

Encodeurs de texte

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors
│   │   └─── wan2.2_animate_14B_bf16.safetensors
│   ├───📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 clip_visions/ 
│   │   └─── clip_vision_h.safetensors
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. Installation des nœuds personnalisés

Pour bénéficier de l’expérience complète du flux de travail, installez les nœuds personnalisés suivants en utilisant ComfyUI-Manager ou manuellement :

Extensions requises :

• ComfyUI-KJNodes
• ComfyUI-comfyui_controlnet_aux

Pour obtenir des conseils d’installation, consultez Comment installer des nœuds personnalisés

4. Configuration du flux de travail

Wan2.2 Animate fonctionne en deux modes distincts :

• Mode Mix : remplacement de personnage dans le contenu vidéo existant
• Mode Move : transfert de mouvement pour animer des images de personnages statiques

4.1 Fonctionnement en mode Mix

Lignes directrices de configuration :

0. Test initial : utilisez des dimensions de vidéo plus petites pour la première exécution afin de vérifier la compatibilité VRAM. Assurez-vous que les dimensions de la vidéo sont des multiples de 16 en raison des limitations de WanAnimateToVideo.

1. Vérification du modèle : confirmez que tous les modèles requis sont correctement chargés

2. Personnalisation de l’invite : modifiez les invites textuelles selon vos besoins spécifiques

3. Image de référence : téléversez votre image de personnage cible

4. Traitement de la vidéo d’entrée : utilisez d’abord les vidéos d’exemple fournies. L’Estimateur DWPose de comfyui_controlnet_aux traite automatiquement les vidéos d’entrée en séquences de contrôle de pose et faciales

5. Configuration de l’éditeur de points : l’Éditeur de points de KJNodes nécessite le chargement de l’image initiale. Exécutez le flux de travail une fois ou téléversez manuellement la première image

6. Extension de la vidéo : le groupe “Extension de la vidéo” prolonge la durée de sortie

   • Chaque extension ajoute 77 images (environ 4,8 secondes)
   • À ignorer pour les vidéos de moins de 5 secondes
   • Pour des extensions plus longues, dupliquez le groupe et connectez les sorties batch_images et video_frame_offset séquentiellement

7. Exécution : cliquez sur Exécuter ou utilisez Ctrl(Maj) + Entrée pour commencer la génération

4.2 Configuration du mode Move

Le flux de travail utilise la fonctionnalité sous-graphe pour le changement de mode :

Changement de mode : pour activer le mode Move, déconnectez les entrées background_video et character_mask du nœud Échantillonnage vidéo et sortie (Sous-graphe).

Flux de travail Wan2.2 Animate ComfyUI-WanVideoWrapper

[À mettre à jour]