Alibaba lanza el modelo Wan-Animate - Tecnología unificada de animación y reemplazo de personajes
El Laboratorio Tongyi de Alibaba ha lanzado oficialmente hoy Wan-Animate, un marco unificado de animación de personajes basado en Wan2.2. El modelo puede replicar con precisión las expresiones y movimientos de un personaje a partir de un video de referencia para generar videos de personajes de alta fidelidad, al mismo tiempo que permite integrar personajes animados sin problemas en videos de referencia para reemplazar personajes originales.
Videos de demostración
Características principales
Wan-Animate proporciona dos modos funcionales principales:
Modo de animación: Dada una imagen de personaje y un video de referencia, el modelo puede animar el personaje replicando con precisión las expresiones y movimientos del video, generando videos de personajes de alta calidad.
Modo de reemplazo: Integra personajes animados en videos de referencia para reemplazar personajes originales, replicando al mismo tiempo la iluminación y el tono del escenario para lograr una integración ambiental perfecta.
Innovaciones técnicas
Marco de entrada unificado
Wan-Animate se basa en el modelo Wan-I2V, empleando un paradigma de entrada modificado para distinguir entre condiciones de referencia y regiones de generación. Este diseño unifica la inyección de imágenes de referencia, la orientación de fotogramas temporales y la selección de modo en una representación simbólica universal, reduciendo efectivamente el desplazamiento de distribución durante el entrenamiento.
Estrategia de control integral
El modelo descompone las señales de control en dos partes: movimientos corporales y expresiones faciales:
- Control corporal: Utiliza una representación basada en esqueleto, inyectada en variables latentes de ruido inicial mediante alineación espacial
- Control facial: Utiliza directamente las imágenes faciales sin procesar del video de referencia como señales de accionamiento, codificadas como vectores latentes para separar la información de expresión de los atributos de identidad
Adaptación de iluminación ambiental
Para mejorar la consistencia ambiental durante el reemplazo de personajes, el equipo desarrolló un módulo auxiliar de LoRA de reiluminación. Este módulo aplica una iluminación y tonos ambientales apropiados manteniendo al mismo tiempo la consistencia de la apariencia del personaje, logrando efectos de fusión de escena más naturales.
Rendimiento
Los resultados experimentales muestran que Wan-Animate logra un rendimiento de vanguardia en múltiples dimensiones de evaluación:
- Supera los marcos existentes de animación de personajes de código abierto en métricas cuantitativas como SSIM, LPIPS y FVD
- Se desempeña excelentemente frente a soluciones comerciales como Runway Act-two y Bytedance DreamActor-M1 en evaluaciones humanas
- Admite resoluciones de salida arbitrarias, manteniendo la misma relación de aspecto que los videos de referencia en el modo de reemplazo
Escenarios de aplicación
Wan-Animate tiene un amplio potencial de aplicación en múltiples campos:
- Producción cinematográfica y televisiva: Recrear escenas clásicas de actuación, lograr transformaciones de personajes transversales
- Creatividad publicitaria: Reemplazo de personajes y edición de fotografía comercial
- Contenido de videos cortos: Replicación de movimientos de baile y generación de movimientos de cámara dinámicos
- Avatares digitales: Creación de animación de personajes personalizados
Especificaciones técnicas
La versión actual admite las siguientes especificaciones de entrada:
- Archivos de video: Menos de 200MB, resolución del lado mínimo mayor que 200 píxeles, lado máximo menor que 2048 píxeles
- Duración del video: 2-30 segundos, relación de aspecto 1:3 a 3:1
- Archivos de imagen: Menos de 5MB, compatible con formatos jpg, png, jpeg, webp, bmp
Enlaces relacionados
Con el lanzamiento de Wan-Animate, Alibaba aporta una herramienta de código abierto potente y fácil de usar al campo de la animación de personajes, con la promesa de avanzar y popularizar aún más las tecnologías relacionadas.