InstantHMR: ComfyUI에서 웹캠으로 3D 신체 캡처하기
ComfyUI-InstantHMR은 사진, 비디오, 라이브 웹캠에서 32M 모델로 완전한 3D 신체를 피팅한 뒤 리깅된 캐릭터를 구동하거나 VMC로 모션을 스트리밍합니다.
InstantHMR은 Naturalpad Studio의 2,000만~3,200만 파라미터 모델로, 2026년 11월 초에 공개 논문과 함께 출시되었습니다. 포즈, 신체 형태, 70개의 2D 및 3D 키포인트, 그리고 완전한 MHR 메시를 반환하며, 데스크톱 GPU에서 사람당 약 1ms, 스마트폰 NPU에서 5ms가 걸립니다.
이 노드 팩은 해당 모델을 ComfyUI 자체의 SAM 3D Body 파이프라인에 올려놓습니다. 세 개의 새 노드가 기본 노드 앞에 위치합니다:
| 노드 | 기능 |
|---|---|
Load InstantHMR Model | models/detection에서 다섯 개의 체크포인트 중 하나를 불러옵니다 |
Run InstantHMR Prediction | 사람 박스마다 하나의 MHR 신체를 생성하고 MHR_POSE_DATA로 출력합니다 |
InstantHMR Live Capture | 웹캠이나 스마트폰에서 라이브 2D/3D 미리보기를 제공하고, 리깅된 캐릭터를 구동하며, 클립을 녹화합니다 |
사진 워크플로: 사람마다 RT-DETR 박스, InstantHMR 예측, 그 다음 기본 노드로 렌더링.
사진과 비디오
Run InstantHMR Prediction은 Run Real-Time Detection (RT-DETR)에서 나온 사람 박스나 SAM3 Video Track에서 나온 트랙을 입력으로 받습니다. 둘 다 연결되지 않으면 전체 프레임을 한 사람으로 취급합니다. fov를 수직 화각으로 설정하거나, Load MoGe Model과 Get FoV from MoGe Geometry를 연결해 영상에서 값을 가져올 수 있습니다.
결과는 기본 노드로 바로 전달됩니다: 흔들림에는 Smooth SAM3D Body Pose Data, 메시나 실루엣 또는 OpenPose 2D/3D에는 Render 3D Body Pose, 애니메이션 GLB나 BVH에는 Create 3D Animation File을 사용합니다. body_mesh 및 bones_only 스타일과 BVH 출력은 리그를 위해 같은 그래프에 SAM 3D Body 로더가 필요합니다.
| 체크포인트 | 파라미터 | 3DPW PA-MPJPE |
|---|---|---|
instanthmr_nano | 20.0 M | 46.6 mm |
instanthmr_tiny | 20.3 M | 44.0 mm |
instanthmr_small | 24.4 M | 41.7 mm |
instanthmr_medium | 32.2 M | 40.0 mm |
instanthmr_medium_commercial | 32.2 M | 50.7 mm |
medium이 기본값입니다. medium_commercial은 정확도를 포기하는 대신 상업적 이용이 허용된 학습 데이터셋을 사용합니다.
라이브 캡처
InstantHMR Live Capture는 카메라 피드에서 감지기와 모델을 실행하며 그 과정을 실시간으로 보여줍니다. 브라우저 웹캠을 쓰려면 This device를, 네트워크를 통해 스마트폰 카메라를 스트리밍하는 QR 코드를 쓰려면 Phone / other device를 선택하세요. smoothing 값을 0.5로 두면 빠른 동작이 늦게 따라가지 않으면서 신체가 안정되고, detect_every를 2나 3으로 두면 느린 단계인 감지를 건너뛰어 미리보기가 부드럽게 유지됩니다.
미리보기 외에도 두 가지 용도가 있습니다. input 폴더에서 리깅된 .fbx, .glb, .gltf, .vrm 파일을 선택하면 3D 뷰가 원본 신체 대신 해당 캐릭터를 구동합니다. 사람마다 한 개의 사본이 생성되며 Mixamo와 VRM 뼈대 매핑이 처리됩니다. vmc를 채우면 포즈가 VSeeFace, Warudo, VNyan, VMC Link가 설치된 Blender 또는 Unity로 스트리밍되어, 웹캠 촬영이 캐릭터 리그의 애니메이션이 됩니다.
● Record는 촬영본을 input/instanthmr_live/에 저장하며, 여기서 Get Video Components → Run InstantHMR Prediction을 거치면 부드럽게 하기, 렌더링, 3D 내보내기를 포함한 전체 파이프라인 실행이 됩니다.
실행 방법
저장소를 ComfyUI/custom_nodes/에 복제하고, 체크포인트를 models/detection에 넣은 뒤 재시작하세요. ComfyUI에는 v0.34.0에 추가된 기본 SAM 3D Body 노드가 필요합니다. RT-DETR, SAM3, MoGe 노드는 코어에 포함되어 있으므로 제공된 그래프를 실행하는 데 다른 커스텀 팩은 필요하지 않습니다.
다른 기기에서 브라우저 카메라를 사용하려면 페이지가 HTTPS여야 합니다. ComfyUI를 --tls-keyfile과 --tls-certfile 옵션으로 시작한 다음, 스마트폰에서 https://<lan-ip>:8188을 열고 인증서를 한 번 수락하세요.
이용 가능 여부
노드 팩: jtydhr88/ComfyUI-InstantHMR
가중치: jtydhr88/ComfyUI-InstantHMR
모델 및 학습 코드: Naturalpad-studio/InstantHMR
ONNX 릴리스: momolesang/InstantHMR
논문: hal-05854387
댓글
GitHub로 로그인하고 토론에 참여하세요.