InstantHMR: captura corporal 3D desde una webcam dentro de ComfyUI
ComfyUI-InstantHMR ajusta un cuerpo 3D completo desde una foto, un video o una webcam en vivo con un modelo de 32 M, y mueve personajes con rig o transmite por VMC.
InstantHMR es un modelo de 20 a 32 millones de parámetros de Naturalpad Studio, lanzado a principios de noviembre de 2026 con un artículo publicado. Devuelve pose, forma corporal, 70 keypoints 2D y 3D y una malla MHR completa, a aproximadamente 1 ms por persona en una GPU de escritorio y 5 ms en una NPU de teléfono.
El paquete de nodos coloca ese modelo sobre la propia pipeline SAM 3D Body de ComfyUI. Tres nodos nuevos se sitúan delante de los nativos:
| Nodo | Qué hace |
|---|---|
Load InstantHMR Model | Carga uno de los cinco checkpoints desde models/detection |
Run InstantHMR Prediction | Un cuerpo MHR por cada caja de persona, con salida como MHR_POSE_DATA |
InstantHMR Live Capture | Vista previa 2D/3D en vivo desde una webcam o un teléfono, controla personajes con rig y graba clips |
Un flujo de trabajo con foto: cajas RT-DETR por persona, predicción de InstantHMR y luego renderizado nativo.
Fotos y video
Run InstantHMR Prediction toma cajas de personas de Run Real-Time Detection (RT-DETR) o pistas de SAM3 Video Track. Si no hay ninguna conectada, el fotograma completo se trata como una sola persona. Ajusta fov al campo de visión vertical, o encadena Load MoGe Model y Get FoV from MoGe Geometry para obtenerlo del metraje.
El resultado alimenta directamente a los nodos nativos: Smooth SAM3D Body Pose Data para el temblor, Render 3D Body Pose para mallas, siluetas u OpenPose 2D/3D, y Create 3D Animation File para GLB o BVH animados. Los estilos body_mesh y bones_only y la salida BVH necesitan un cargador SAM 3D Body en el mismo gráfico para el rig.
| Checkpoint | Parámetros | 3DPW PA-MPJPE |
|---|---|---|
instanthmr_nano | 20.0 M | 46.6 mm |
instanthmr_tiny | 20.3 M | 44.0 mm |
instanthmr_small | 24.4 M | 41.7 mm |
instanthmr_medium | 32.2 M | 40.0 mm |
instanthmr_medium_commercial | 32.2 M | 50.7 mm |
medium es el predeterminado. medium_commercial sacrifica precisión a cambio de un conjunto de entrenamiento que permite uso comercial.
Captura en vivo
InstantHMR Live Capture ejecuta el detector y el modelo sobre la señal de una cámara mientras observas. Elige This device para la webcam del navegador, o Phone / other device para obtener un código QR que transmite la cámara de un teléfono a través de tu red. Un valor de smoothing de 0.5 estabiliza el cuerpo sin retrasar los movimientos rápidos, y detect_every en 2 o 3 mantiene fluida la vista previa, ya que la detección es el paso lento.
Dos cosas lo hacen útil más allá de las vistas previas. Elige un .fbx, .glb, .gltf o .vrm con rig de la carpeta input y la vista 3D controlará ese personaje en lugar del cuerpo sin procesar, una copia por persona, con el mapeo de huesos de Mixamo y VRM ya resuelto. Rellena vmc y la pose se transmite a VSeeFace, Warudo, VNyan, Blender con VMC Link o Unity, de modo que una toma de webcam se convierte en una animación sobre el rig de un personaje.
● Record guarda la toma en input/instanthmr_live/, donde Get Video Components → Run InstantHMR Prediction la convierte en una ejecución completa de la pipeline con suavizado, renderizado y exportación 3D.
Cómo ejecutarlo
Clona el repositorio en ComfyUI/custom_nodes/, coloca los checkpoints en models/detection y reinicia. ComfyUI necesita los nodos nativos SAM 3D Body, que llegaron en la v0.34.0. Los nodos RT-DETR, SAM3 y MoGe son del núcleo, así que no se requiere ningún otro paquete personalizado para los gráficos incluidos.
Para usar la cámara del navegador desde otro dispositivo, la página debe ser HTTPS: inicia ComfyUI con --tls-keyfile y --tls-certfile, luego abre https://<lan-ip>:8188 en el teléfono y acepta el certificado una vez.
Disponibilidad
Paquete de nodos: jtydhr88/ComfyUI-InstantHMR
Pesos: jtydhr88/ComfyUI-InstantHMR
Código del modelo y de entrenamiento: Naturalpad-studio/InstantHMR
Lanzamiento ONNX: momolesang/InstantHMR
Artículo: hal-05854387
Comentarios
Inicia sesión con GitHub para unirte a la conversación.