SCAIL-2 : Animation de personnages compatible ComfyUI
zai-org de Zhipu publie SCAIL-2, une animation de personnages de bout en bout avec un support officiel de ComfyUI, incluant un LoRA DPO.
Aperçu
SCAIL-2 est construit sur l'architecture WAN2.1 14B et supprime la dépendance aux représentations intermédiaires telles que les cartes de squelette ou les masques d'inpainting sur lesquels s'appuient les modèles d'animation de personnages antérieurs. L'équipe a synthétisé 60 000 paires de mouvement à partir de modèles prêts à l'emploi (SCAIL-Preview, Wan-Animate, MoCha) et a procédé à l'entraînement via une interface unifiée de transfert de mouvement (Unified Motion Transfer Interface) avec des canaux de masquage dédiés et une conception RoPE.
Animation de personnages de bout en bout avec SCAIL-2, remplacement inter-identité et scénarios multi-personnages (source : page du projet)
La méthode d'entraînement par conduite inversée permet au modèle d'acquérir des capacités qui dépassent celles de ses modèles enseignants, ce qui produit des capacités émergentes :
- Remplacement de personnage inter-identité : animer un personnage différent avec le même mouvement de conduite.
- Scénarios de conduite animale : animer un personnage à partir de sources de mouvement animal.
- Contrôle avancé zero-shot : prise en charge de contrôles intermédiaires comme le rendu du maillage SAM3D-Body sans réentraînement.
Prise en charge de ComfyUI (native)
SCAIL-2 est intégré directement dans le noyau de ComfyUI : le PR de support initial (Comfy-Org/ComfyUI #14373) a été fusionné le jour de la sortie, et le support multi-références a suivi dans le PR #14509. Aucun pack de nœuds personnalisés n'est requis.
Les poids réemballés par Comfy-Org fournissent des modèles de diffusion prêts à l'emploi en fp16, FP8, INT8, MXFP8 et précision mixte NVFP4/MXFP8, ainsi que le LoRA DPO Bias-Aware (corrige la distorsion des mains, améliore la synchronisation lèvres/yeux) et le LoRA de rééclairage (fusionne les personnages de remplacement dans l'éclairage cible).
Architecture réseau de SCAIL-2 : interface unifiée de transfert de mouvement avec canaux de masquage et RoPE (source : page du projet)
Vidéos de démonstration
Échantillons teaser de SCAIL-2 (vidéo provenant de la page du projet)
Comparaison d'animation à référence unique (vidéo provenant de la page du projet)
Flux de travail
Le flux de travail d'exemple SCAIL-2 du ComfyUI-WanVideoWrapper de Kijai est un bon point de départ :
Pour le mode multi-références, le flux de travail de test officiel du PR d'intégration de Comfy-Org est également disponible :
Détails clés
| Élément | Détail |
|---|---|
| Résolutions | Conduite de bout en bout : 512p et 704p ; la conduite par pose donne de meilleurs résultats en 704p |
| Contraintes | H et W doivent tous deux être divisibles par 32 (par ex. 704x1280) |
| Modules inclus | Wan VAE et T5 intégrés dans le checkpoint |
| Suppléments | LoRA DPO Bias-Aware, LoRA de rééclairage, code d'entraînement (2026-08-06) |
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.