InstantHMR: захват 3D-тела с веб-камеры в ComfyUI
ComfyUI-InstantHMR восстанавливает 3D-тело по фото, видео или веб-камере моделью на 32 млн параметров, затем управляет риггованными персонажами или передаёт движение по VMC.
InstantHMR это модель с 20 до 32 млн параметров от Naturalpad Studio, выпущенная в начале ноября 2026 года вместе с опубликованной статьёй. Она возвращает позу, форму тела, 70 2D- и 3D-кейпоинтов и полную MHR-сетку, примерно за 1 мс на человека на настольном GPU и 5 мс на NPU телефона.
Пакет узлов встраивает эту модель в собственный конвейер SAM 3D Body ComfyUI. Три новых узла стоят перед нативными:
| Узел | Что делает |
|---|---|
Load InstantHMR Model | Загружает один из пяти чекпойнтов из models/detection |
Run InstantHMR Prediction | Одно MHR-тело на рамку человека, вывод в виде MHR_POSE_DATA |
InstantHMR Live Capture | Живой 2D/3D-предпросмотр с веб-камеры или телефона, управляет риггованными персонажами, записывает клипы |
Рабочий процесс для фото: рамки RT-DETR для каждого человека, предсказание InstantHMR, затем нативная визуализация.
Фото и видео
Run InstantHMR Prediction принимает рамки людей из Run Real-Time Detection (RT-DETR) или треки из SAM3 Video Track. Если не подключено ни то, ни другое, весь кадр считается одним человеком. Задайте fov как вертикальный угол обзора или свяжите Load MoGe Model и Get FoV from MoGe Geometry, чтобы получить его из видео.
Результат напрямую передаётся в нативные узлы: Smooth SAM3D Body Pose Data для сглаживания дрожания, Render 3D Body Pose для сеток, силуэтов или OpenPose 2D/3D и Create 3D Animation File для анимированных GLB или BVH. Стилям body_mesh и bones_only, а также выводу BVH нужен загрузчик SAM 3D Body в том же графе для рига.
| Чекпойнт | Параметры | 3DPW PA-MPJPE |
|---|---|---|
instanthmr_nano | 20,0 млн | 46,6 мм |
instanthmr_tiny | 20,3 млн | 44,0 мм |
instanthmr_small | 24,4 млн | 41,7 мм |
instanthmr_medium | 32,2 млн | 40,0 мм |
instanthmr_medium_commercial | 32,2 млн | 50,7 мм |
medium используется по умолчанию. medium_commercial жертвует точностью ради набора данных для обучения, допускающего коммерческое использование.
Живой захват
InstantHMR Live Capture запускает детектор и модель на потоке с камеры в режиме реального времени. Выберите This device для веб-камеры браузера или Phone / other device для QR-кода, который транслирует камеру телефона по вашей сети. Значение smoothing 0.5 стабилизирует тело без запаздывания при быстрых движениях, а detect_every со значением 2 или 3 сохраняет плавность предпросмотра, поскольку детекция является медленным этапом.
Две вещи делают его полезным не только для предпросмотра. Выберите риггованный .fbx, .glb, .gltf или .vrm из папки input, и 3D-вид будет управлять этим персонажем вместо исходного тела, по одной копии на человека, с поддержкой привязки костей Mixamo и VRM. Заполните vmc, и поза будет передаваться в VSeeFace, Warudo, VNyan, Blender с VMC Link или Unity, так что запись с веб-камеры станет анимацией на риге персонажа.
● Record сохраняет запись в input/instanthmr_live/, где Get Video Components → Run InstantHMR Prediction превращает её в полный запуск конвейера со сглаживанием, визуализацией и 3D-экспортом.
Как запустить
Клонируйте репозиторий в ComfyUI/custom_nodes/, поместите чекпойнты в models/detection и перезапустите. ComfyUI требует нативные узлы SAM 3D Body, появившиеся в v0.34.0. Узлы RT-DETR, SAM3 и MoGe входят в ядро, поэтому для поставляемых графов не нужен другой пользовательский пакет.
Чтобы использовать камеру браузера с другого устройства, страница должна работать по HTTPS: запустите ComfyUI с --tls-keyfile и --tls-certfile, затем откройте https://<lan-ip>:8188 на телефоне и один раз примите сертификат.
Доступность
Пакет узлов: jtydhr88/ComfyUI-InstantHMR
Веса: jtydhr88/ComfyUI-InstantHMR
Код модели и обучения: Naturalpad-studio/InstantHMR
Релиз ONNX: momolesang/InstantHMR
Статья: hal-05854387
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.