FantasyPortrait: Animación de retratos multi-personaje
FantasyPortrait es un framework basado en DiT para animación de retratos multi-personaje con cabezas parlantes impulsadas por audio. Mejora los transformers de difusión aumentados con expresiones.
FantasyPortrait
Wan2.1Animación de retratosCabeza parlanteImpulsado por audioFramework de transformer de difusión para animación de retratos multi-personaje con generación de cabeza parlante impulsada por audio. Soporta escenarios de un solo personaje y múltiples personajes con aumento de expresiones.
| Desarrollador | Fantasy-AMAP |
| Fecha de lanzamiento | 2025-07 |
| Arquitectura | Transformer de difusión basado en Wan2.1 |
| Capacidades | Animación de retratos multi-personaje, cabeza parlante impulsada por audio, control de expresiones |
| Dataset | Multi-Expr Dataset (primer dataset de video de expresiones faciales multi-retrato) |
Resumen
FantasyPortrait es un framework basado en Transformer de Difusión (DiT) para generar animaciones de retratos de alta fidelidad y ricas en emociones tanto en escenarios de un solo personaje como de múltiples personajes. Construido sobre Wan2.1, aborda desafíos clave en la animación de retratos, incluyendo la alineación precisa de expresiones, la consistencia entre múltiples personajes y la sincronización audiovisual.
El modelo acepta entrada de audio para impulsar expresiones faciales y movimientos de labios, lo que lo hace adecuado para aplicaciones como intérpretes de lengua de señas, presentadores de noticias animados y ayudas de comunicación. El Multi-Expr Dataset que lo acompaña proporciona el primer dataset de video de expresiones faciales multi-retrato para entrenamiento y evaluación.
Integración con ComfyUI
FantasyPortrait está disponible en ComfyUI a través de los nodos Kijai WanVideoWrapper. El archivo de modelo Wan2_1_FantasyPortrait_fp16.safetensors y su variante escalada fp8 están alojados en Hugging Face bajo Kijai/WanVideo_comfy.
Recursos
| Recurso | Enlace |
|---|---|
| Artículo | arXiv:2507.12956 |
| GitHub | github.com/Fantasy-AMAP/fantasy-portrait |
| HuggingFace (Kijai) | Kijai/WanVideo_comfy |
| Página del proyecto | fantasy-amap.github.io/fantasy-portrait/ |
Guides and workflows related to this model series.