SAM 3D Body: seguimiento 3D del cuerpo humano, ahora nativo en ComfyUI
El modelo SAM 3D Body de Meta ya está integrado en el núcleo de ComfyUI: seguimiento de pose en video, animación facial y exportación GLB/BVH con los nuevos nodos SAM3DBody.
Resumen
SAM 3D Body (3DB), desarrollado por Meta Superintelligence Labs, reconstruye una malla 3D completa del cuerpo humano (cuerpo, pies y manos) a partir de una sola imagen, con una sólida generalización en condiciones del mundo real. Utiliza la representación paramétrica Momentum Human Rig (MHR), que separa la estructura esquelética de la forma de la superficie, y admite prompts auxiliares como puntos clave 2D y máscaras para una inferencia guiada, similar a la familia SAM.
Arquitectura codificador-decodificador de SAM 3D Body basada en Momentum Human Rig (fuente: Meta)
Soporte nativo en ComfyUI
La integración en ComfyUI añade una implementación de SAM 3D Body sin dependencias, con los nuevos nodos SAM3DBody_Loader, SAM3DBody_Predict, SAM3DBody_Render, SAM3DBody_Smooth y SAM3DBody_FaceExpression, además de extras orientados a video:
- Suavizado temporal para una detección estable de pose en video entre fotogramas
- Animación de expresiones faciales mediante blendshapes de MediaPipe
- Renderizado de pose como malla o en formatos OpenPose / SCAIL-pose, usando solo PyTorch
- Exportación de animación 3D (GLB) como malla corporal o como mallas personalizadas OpenPose/SCAIL-pose
- Exportación de animación BVH, probada con importación en Blender
- Soporte de MoGe para la detección del campo de visión de la cámara (
LoadMoGeModel/MoGeGeometryToFOV) - Tracks de video SAM 3.1 para detección de múltiples personas (
SAM3_VideoTrack)
Flujo de trabajo de prueba de SAM 3D Body dentro de ComfyUI (fuente: Comfy-Org/ComfyUI PR #14370)
Como los nodos pueden renderizar la pose en formato SCAIL-pose, SAM 3D Body también se combina con los flujos de animación de personajes SCAIL-2, que ya admiten el renderizado de malla SAM3D-Body como entrada de control zero-shot.
Flujo de trabajo
El flujo de trabajo de prueba oficial del PR de integración cubre detección, predicción de pose, suavizado, animación facial, estimación de FoV con MoGe y vista previa 3D:
Descarga del modelo
Los pesos reempaquetados por Comfy-Org ofrecen checkpoints listos para usar en precisión bf16 e INT8 ConvRot. Colócalos en ComfyUI/models/detection/:
sam_3d_body_dinov3_bf16.safetensors
sam_3d_body_dinov3_int8_convrot.safetensors
Comentarios
Inicia sesión con GitHub para unirte a la conversación.