SAM 3D Body: 전신 3D 메시 트래킹, 이제 ComfyUI 네이티브 지원

개요

SAM 3D Body(3DB)는 Meta Superintelligence Labs가 개발한 모델로, 단일 이미지에서 전신 3D 인체 메시(몸, 발, 손)를 복원하며 다양한 실제 환경에서 강력한 일반화 성능을 보여줍니다. Momentum Human Rig (MHR) 파라메트릭 표현을 사용하여 골격 구조와 표면 형태를 분리하고, SAM 계열과 유사하게 2D 키포인트와 마스크 같은 보조 프롬프트를 통한 안내 추론을 지원합니다.

Momentum Human Rig 기반 SAM 3D Body 인코더-디코더 아키텍처 (출처: Meta)

ComfyUI 네이티브 지원

ComfyUI 통합은 의존성 없는 SAM 3D Body 구현과 함께 새로운 SAM3DBody_Loader, SAM3DBody_Predict, SAM3DBody_Render, SAM3DBody_Smooth, SAM3DBody_FaceExpression 노드 및 비디오 중심의 추가 기능을 제공합니다:

• 시간적 스무딩: 프레임 간 안정적인 비디오 포즈 감지
• 표정 드라이빙: MediaPipe 블렌드셰이프 기반
• 포즈를 메시로 렌더링하거나 OpenPose / SCAIL-pose 형식으로 출력 (PyTorch만 사용)
• 3D 애니메이션 내보내기 (GLB): 바디 메시 또는 OpenPose/SCAIL-pose 커스텀 메시
• BVH 애니메이션 내보내기: Blender 임포트 테스트 완료
• MoGe 지원: 카메라 FoV 감지 (LoadMoGeModel / MoGeGeometryToFOV)
• SAM 3.1 비디오 트랙: 다중 인물 감지 (SAM3_VideoTrack)

ComfyUI 내 SAM 3D Body 테스트 워크플로우 (출처: Comfy-Org/ComfyUI PR #14370)

포즈를 SCAIL-pose 형식으로 렌더링할 수 있으므로 SAM 3D Body는 SCAIL-2 캐릭터 애니메이션 워크플로우와도 연동할 수 있습니다. SCAIL-2는 이미 SAM3D-Body 메시 렌더링을 제로샷 제어 입력으로 지원합니다.

워크플로우

통합 PR의 공식 테스트 워크플로우는 감지, 포즈 예측, 스무딩, 표정 드라이빙, MoGe 기반 FoV 추정, 3D 프리뷰를 다룹니다:

모델 다운로드

Comfy-Org 재패키징 가중치는 bf16 및 INT8 ConvRot 정밀도를 제공합니다. ComfyUI/models/detection/ 폴더에 넣으세요:

sam_3d_body_dinov3_bf16.safetensors
sam_3d_body_dinov3_int8_convrot.safetensors

링크

• Hugging Face (Comfy-Org 재패키징 가중치)
• Hugging Face (Meta 원본)
• GitHub
• Meta AI 블로그
• arXiv
• 통합 PR (Comfy-Org/ComfyUI #14370)