Anima Control Pose Preview-2 : Contrôle de pose natif pour ComfyUI

news

Anima Control Pose Preview-2 apporte la génération d'images contrôlée par pose à Anima avec des nœuds personnalisés natifs pour ComfyUI, une prise en charge multi-résolution à 512/768/1024 et une précision de pose améliorée

Un nouvel adaptateur de contrôle de pose pour le modèle d'image Anima v1.0 a été publié — Anima Control Pose Preview-2 apporte un conditionnement par pose squelettique à Anima avec des nœuds personnalisés natifs pour ComfyUI, une prise en charge multi-résolution et une précision considérablement améliorée du suivi de pose.

Ce qu'il fait

Anima Control Pose est un Control-LoRA à concaténation de canaux qui conditionne la génération d'images Anima sur une carte de pose squelettique. À partir d'une photo de référence, le nœud ComfyUI détecte la pose et génère un squelette que le modèle suit pendant la génération — permettant un contrôle précis du positionnement des personnages, des gestes et du langage corporel dans les images générées par IA.

Preview-2 est une mise à jour majeure par rapport à Preview-1 avec :

  • Prise en charge multi-résolution : 512, 768 et 1024 px (Preview-1 était limité à 512)
  • Corpus d'entraînement plus large — anatomie plus nette et poses plus stables
  • Nouveau nœud ComfyUI « Anima Pose Control » — détection automatique de la pose à partir d'une photo de référence avec plusieurs styles de rendu squelettique (fin, épais, marionnette, heatmap, avec/sans mains et visage)
  • Body-PCK@0.1 : ~0,83 à une résolution de 1024 (contre ~0,59 pour Preview-1 à 512)

Méthode

L'adaptateur de contrôle utilise un ControlEmbedder initialisé à zéro qui produit des jetons de contrôle ajoutés à la sortie du patch-embed de base gelée, ainsi qu'un adaptateur low-rank de rang 16 sur les blocs du transformeur. Le modèle Anima de base, l'encodeur de texte et le VAE restent gelés.

À strength = 0, l'adaptateur est exactement le modèle de base — la contribution du contrôle ne croît qu'à mesure qu'elle gagne en perte pendant l'entraînement.

ParamètreValeur
Résolution512 + 768 + 1024, bucketée par rapport d'aspect
Rang de l'adaptateur16
Abandon du contrôle0,1
Précisionbf16

Utilisation dans ComfyUI

La version fournit tout le nécessaire pour une expérience ComfyUI fluide :

  1. Installation : Placez anima_pose_preview2.safetensors dans ComfyUI/models/loras/, puis copiez les deux dossiers de nœuds personnalisés (anima_control_lora/ et ComfyUI-anima-pose-control/) dans ComfyUI/custom_nodes/
  2. Workflows : Quatre workflows .json inclus — démo (contrôle vs aucun contrôle côte à côte), simple, édition et comparaison (une pose à travers tous les styles squelettiques)
  3. Détection de pose : Le nœud Anima Pose Control télécharge automatiquement les modèles ONNX DWPose (~316 Mo) lors de la première utilisation ; fonctionne hors ligne après mise en cache

Disponibilité

Anima Control Pose Preview-2 est disponible sur Hugging Face sous une licence non commerciale :

  • Dépôt HF : czxkck/Anima-Control-Pose
  • Fichier principal : anima_pose_preview2.safetensors (à placer dans ComfyUI/models/loras/)
  • Nœuds personnalisés : Inclus dans le dépôt sous comfyui/
  • Modèle de base : Anima v1.0 par Circlestone Labs (requis)

L'auteur note que Preview-2 est encore expérimental — bien qu'il soit considérablement amélioré, il peut encore manquer des poses ou produire des artefacts sur des poses complexes. Une Preview-3 est en cours de développement, avec un accent sur une meilleure représentation squelettique et un détecteur de pose anime spécialisé.

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
Anima Control Pose Preview-2 : Contrôle de pose natif pour ComfyUI | ComfyUI Wiki