InstantHMR : capture de corps 3D depuis une webcam dans ComfyUI

InstantHMR est un modèle de 20 à 32 millions de paramètres signé Naturalpad Studio, publié début novembre 2026 avec un article. Il renvoie la pose, la forme du corps, 70 points clés 2D et 3D et un maillage MHR complet, en environ 1 ms par personne sur un GPU de bureau et 5 ms sur un NPU de téléphone.

Le pack de nœuds intègre ce modèle au pipeline SAM 3D Body propre à ComfyUI. Trois nouveaux nœuds se placent en amont des nœuds natifs :

Un flux de travail photo : boîtes RT-DETR par personne, prédiction InstantHMR, puis rendu natif.

Photos et vidéos

Run InstantHMR Prediction reçoit les boîtes de personnes de Run Real-Time Detection (RT-DETR) ou les pistes de SAM3 Video Track. Si aucun des deux n'est connecté, l'image entière est traitée comme une seule personne. Définissez fov sur le champ de vision vertical, ou enchaînez Load MoGe Model et Get FoV from MoGe Geometry pour le déduire de la séquence.

Le résultat alimente directement les nœuds natifs : Smooth SAM3D Body Pose Data pour le tremblement, Render 3D Body Pose pour les maillages, les silhouettes ou OpenPose 2D/3D, et Create 3D Animation File pour un GLB ou un BVH animé. Les styles body_mesh et bones_only ainsi que la sortie BVH nécessitent un loader SAM 3D Body sur le même graphique pour le rig.

medium est le modèle par défaut. medium_commercial échange un peu de précision contre un jeu d'entraînement autorisant un usage commercial.

Capture en direct

InstantHMR Live Capture exécute le détecteur et le modèle sur un flux de caméra en direct pendant que vous regardez. Choisissez Cet appareil pour la webcam du navigateur, ou Téléphone / autre appareil pour obtenir un QR code qui diffuse la caméra d'un téléphone sur votre réseau. Une valeur smoothing de 0,5 stabilise le corps sans retarder les mouvements rapides, et detect_every à 2 ou 3 garde l'aperçu fluide, la détection étant l'étape lente.

Deux fonctions le rendent utile au-delà des aperçus. Choisissez un fichier riggé .fbx, .glb, .gltf ou .vrm dans le dossier input et la vue 3D pilote ce personnage au lieu du corps brut, avec une copie par personne et la correspondance des os Mixamo et VRM gérée. Renseignez vmc et la pose est diffusée vers VSeeFace, Warudo, VNyan, Blender avec VMC Link ou Unity : une prise webcam devient une animation sur un rig de personnage.

● Record enregistre la prise dans input/instanthmr_live/, où Get Video Components → Run InstantHMR Prediction la transforme en une exécution complète du pipeline avec lissage, rendu et exportation 3D.

Comment l'utiliser

Clonez le dépôt dans ComfyUI/custom_nodes/, placez les checkpoints dans models/detection et redémarrez. ComfyUI a besoin des nœuds SAM 3D Body natifs, arrivés avec la v0.34.0. Les nœuds RT-DETR, SAM3 et MoGe font partie du cœur : aucun autre pack personnalisé n'est requis pour les flux de travail fournis.

Pour utiliser la caméra du navigateur depuis un autre appareil, la page doit être en HTTPS : démarrez ComfyUI avec --tls-keyfile et --tls-certfile, puis ouvrez https://<lan-ip>:8188 sur le téléphone et acceptez le certificat une fois.

Disponibilité

Pack de nœuds : jtydhr88/ComfyUI-InstantHMR
Poids : jtydhr88/ComfyUI-InstantHMR
Code du modèle et de l'entraînement : Naturalpad-studio/InstantHMR
Version ONNX : momolesang/InstantHMR
Article : hal-05854387