Wan2.2 Animate representa un avance en la animación de personajes impulsada por IA, ofreciendo una solución integral tanto para reemplazo de personajes como para transferencia de movimiento dentro de contenido de video.

Este marco avanzado permite a los usuarios animar de manera fluida imágenes de personajes estáticos usando videos de referencia, capturando expresiones faciales y movimientos corporales intrincados con una precisión notable. Además, puede reemplazar personajes existentes en videos manteniendo el contexto ambiental y las condiciones de iluminación originales.

Capacidades Clave

• Modos de Operación Dual: Cambie sin problemas entre funciones de animación de personajes y reemplazo de video
• Control de Movimiento Basado en Esqueleto: Aprovecha la estimación de poses avanzada para replicar movimientos con precisión
• Fidelidad de Expresiones: Preserva expresiones faciales sutiles y micro-movimientos del material original
• Consistencia Ambiental: Mantiene la iluminación y la corrección de color originales del video para una integración natural
• Soporte para Video Extendido: El procesamiento iterativo asegura una continuidad de movimiento suave en secuencias más largas

Acerca del flujo de trabajo Wan2.2 Animate

En este tutorial incluiremos dos flujos de trabajo:

1. Versión Nativa Oficial de ComfyUI (Nodos Centrales)
2. Versión Kijai ComfyUI-WanVideoWrapper [Por actualizar]

Repetición en vivo de Comfy Org

Flujo de trabajo nativo Wan2.2 Animate ComfyUI (Nodos Centrales)

1. Configuración del flujo de trabajo

Comience descargando el archivo del flujo de trabajo e importándolo en ComfyUI.

Materiales de Entrada Requeridos:

Imagen de Referencia:

Video de Entrada

2. Descargas de modelos

Modelos de Difusión

• Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors - Versión optimizada del repositorio de Kijai
• wan2.2_animate_14B_bf16.safetensors - Pesos originales del modelo

Modelos de Visión CLIP

• clip_vision_h.safetensors

Modelos LoRA

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors - LoRA de aceleración de 4 pasos

Modelos VAE

• wan_2.1_vae.safetensors

Codificadores de Texto

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors
│   │   └─── wan2.2_animate_14B_bf16.safetensors
│   ├───📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 clip_visions/ 
│   │   └─── clip_vision_h.safetensors
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. Instalación de nodos personalizados

Para la experiencia completa del flujo de trabajo, instale los siguientes nodos personalizados usando ComfyUI-Manager o manualmente:

Extensiones Requeridas:

• ComfyUI-KJNodes
• ComfyUI-comfyui_controlnet_aux

Para obtener orientación sobre la instalación, consulte Cómo instalar nodos personalizados

4. Configuración del flujo de trabajo

Wan2.2 Animate opera en dos modos distintos:

• Modo Mix: Reemplazo de personaje dentro de contenido de video existente
• Modo Move: Transferencia de movimiento para animar imágenes de personajes estáticos

4.1 Operación en Modo Mix

Guías de Configuración:

0. Prueba Inicial: Use dimensiones de video más pequeñas para la primera ejecución para verificar la compatibilidad de VRAM. Asegúrese de que las dimensiones del video sean múltiplos de 16 debido a limitaciones de WanAnimateToVideo.

1. Verificación de Modelos: Confirme que todos los modelos requeridos se hayan cargado correctamente

2. Personalización de Prompts: Modifique los prompts de texto según sea necesario para su caso de uso específico

3. Imagen de Referencia: Suba su imagen de personaje objetivo

4. Procesamiento de Video de Entrada: Use inicialmente videos de muestra proporcionados. El Estimador DWPose de comfyui_controlnet_aux procesa automáticamente los videos de entrada en secuencias de control de poses y faciales

5. Configuración del Editor de Puntos: El Editor de Puntos de KJNodes requiere carga de marco inicial. Ejecute el flujo de trabajo una vez o suba manualmente el primer marco

6. Extensión de Video: El grupo “Extensión de Video” extiende la longitud de salida

   • Cada extensión añade 77 fotogramas (aproximadamente 4.8 segundos)
   • Omita para videos inferiores a 5 segundos
   • Para extensiones más largas, duplique el grupo y conecte las salidas batch_images y video_frame_offset secuencialmente

7. Ejecución: Haga clic en Run o use Ctrl(Cmd) + Enter para comenzar la generación

4.2 Configuración del Modo Move

El flujo de trabajo utiliza la funcionalidad de subgráfico para cambio de modo:

Cambio de Modo: Para activar el modo Move, desconecte las entradas background_video y character_mask del nodo Video Sampling and output(Subgraph).

Flujo de trabajo Wan2.2 Animate ComfyUI-WanVideoWrapper

[Por actualizar]