FantasyPortrait : Animation de portrait multi-personnage
FantasyPortrait est un framework basé sur DiT pour l'animation de portraits multi-personnages avec têtes parlantes pilotées par audio. Il améliore les transformateurs de diffusion augmentés d'expressions.
FantasyPortrait
Wan2.1Animation de portraitTête parlantePiloté par audioFramework de transformateur de diffusion pour l'animation de portraits multi-personnages avec génération de tête parlante pilotée par audio. Prend en charge les scénarios à un ou plusieurs personnages avec augmentation des expressions.
Aperçu
FantasyPortrait est un framework basé sur un Transformateur de Diffusion (DiT) pour générer des animations de portrait haute fidélité et riches en émotions, aussi bien dans des scénarios à un seul personnage qu'à plusieurs personnages. Construit sur Wan2.1, il répond aux défis clés de l'animation de portrait, notamment l'alignement précis des expressions, la cohérence multi-personnages et la synchronisation audio-visuelle.
Le modèle accepte une entrée audio pour piloter les expressions faciales et les mouvements des lèvres, ce qui le rend adapté à des applications telles que les interprètes en langue des signes, les présentateurs de journaux animés et les aides à la communication. Le Multi-Expr Dataset associé fournit le premier ensemble de données vidéo d'expressions faciales multi-portrait pour l'entraînement et l'évaluation.
Intégration ComfyUI
FantasyPortrait est disponible dans ComfyUI via les nœuds Kijai WanVideoWrapper. Le fichier de modèle Wan2_1_FantasyPortrait_fp16.safetensors et sa variante fp8 sont hébergés sur Hugging Face sous Kijai/WanVideo_comfy.
Ressources
| Ressource | Lien |
|---|---|
| Article | arXiv:2507.12956 |
| GitHub | github.com/Fantasy-AMAP/fantasy-portrait |
| HuggingFace (Kijai) | Kijai/WanVideo_comfy |
| Page du projet | fantasy-amap.github.io/fantasy-portrait/ |
Guides and workflows related to this model series.