SAM 3D Body : le suivi 3D du corps humain désormais natif dans ComfyUI
Le modèle SAM 3D Body de Meta est désormais intégré au cœur de ComfyUI : suivi de pose vidéo, animation faciale et export GLB/BVH via les nouveaux nœuds SAM3DBody.
Présentation
SAM 3D Body (3DB), développé par Meta Superintelligence Labs, reconstruit un maillage 3D complet du corps humain (corps, pieds et mains) à partir d'une seule image, avec une forte généralisation dans des conditions réelles. Il utilise la représentation paramétrique Momentum Human Rig (MHR), qui sépare la structure squelettique de la forme de surface, et prend en charge des prompts auxiliaires tels que les points clés 2D et les masques pour une inférence guidée, à l'instar de la famille SAM.
Architecture encodeur-décodeur de SAM 3D Body basée sur Momentum Human Rig (source : Meta)
Prise en charge native de ComfyUI
L'intégration ComfyUI ajoute une implémentation de SAM 3D Body sans dépendances, avec les nouveaux nœuds SAM3DBody_Loader, SAM3DBody_Predict, SAM3DBody_Render, SAM3DBody_Smooth et SAM3DBody_FaceExpression, ainsi que des fonctionnalités orientées vidéo :
- Lissage temporel pour une détection de pose vidéo stable entre les images
- Animation des expressions faciales via les blendshapes de MediaPipe
- Rendu de pose sous forme de maillage ou en formats OpenPose / SCAIL-pose, uniquement avec PyTorch
- Export d'animation 3D (GLB) en maillage corporel ou en maillages personnalisés OpenPose/SCAIL-pose
- Export d'animation BVH, testé avec l'importation dans Blender
- Prise en charge de MoGe pour la détection du champ de vision de la caméra (
LoadMoGeModel/MoGeGeometryToFOV) - Tracks vidéo SAM 3.1 pour la détection multipersonne (
SAM3_VideoTrack)
Flux de travail de test SAM 3D Body dans ComfyUI (source : Comfy-Org/ComfyUI PR #14370)
Comme les nœuds peuvent rendre la pose au format SCAIL-pose, SAM 3D Body s'associe également aux flux d'animation de personnages SCAIL-2, qui prennent déjà en charge le rendu de maillage SAM3D-Body comme entrée de contrôle zero-shot.
Flux de travail
Le flux de travail de test officiel de la PR d'intégration couvre la détection, la prédiction de pose, le lissage, l'animation faciale, l'estimation du FoV via MoGe et l'aperçu 3D :
Téléchargement du modèle
Les poids réemballés par Comfy-Org fournissent des checkpoints prêts à l'emploi en précision bf16 et INT8 ConvRot. Placez-les dans ComfyUI/models/detection/ :
sam_3d_body_dinov3_bf16.safetensors
sam_3d_body_dinov3_int8_convrot.safetensors
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.