SAM 3D Body: восстановление 3D-скелета тела теперь встроено в ComfyUI

ComfyUI Wikinews

Модель Meta SAM 3D Body для восстановления 3D-меша тела встроена в ядро ComfyUI: отслеживание позы в видео, анимация мимики и экспорт GLB/BVH через новые узлы SAM3DBody.

SAM 3D Body (Hugging Face | GitHub | Блог Meta | arXiv) — промпт-модель Meta для восстановления 3D-меша тела человека, теперь встроенная непосредственно в ядро ComfyUI: PR интеграции от Kijai (Comfy-Org/ComfyUI #14370) был объединён 23 августа 2026 года, пакеты кастомных узлов не требуются.

Обзор

SAM 3D Body (3DB), разработанный Meta Superintelligence Labs, восстанавливает полный 3D-меш тела человека (тело, стопы и кисти) из одного изображения, демонстрируя сильную обобщаемость в реальных условиях. Модель использует параметрическое представление Momentum Human Rig (MHR), разделяющее скелетную структуру и форму поверхности, и поддерживает вспомогательные промпты, такие как 2D-ключевые точки и маски, для направленного инференса — как и семейство SAM.

Архитектура модели SAM 3D Body

Архитектура «энкодер-декодер» SAM 3D Body на основе Momentum Human Rig (источник: Meta)

Нативная поддержка ComfyUI

Интеграция в ComfyUI добавляет реализацию SAM 3D Body без внешних зависимостей с новыми узлами SAM3DBody_Loader, SAM3DBody_Predict, SAM3DBody_Render, SAM3DBody_Smooth и SAM3DBody_FaceExpression, а также дополнительные возможности для видео:

  • Временное сглаживание для стабильного отслеживания позы в видео между кадрами
  • Анимация мимики через блендшейпы MediaPipe
  • Рендер позы в виде меша или в форматах OpenPose / SCAIL-pose, только на PyTorch
  • Экспорт 3D-анимации (GLB) в виде меша тела или кастомных мешей OpenPose/SCAIL-pose
  • Экспорт анимации BVH, протестирован с импортом в Blender
  • Поддержка MoGe для определения поля зрения камеры (LoadMoGeModel / MoGeGeometryToFOV)
  • Видео-треки SAM 3.1 для обнаружения нескольких людей (SAM3_VideoTrack)
Рабочий процесс SAM 3D Body в ComfyUI

Тестовый рабочий процесс SAM 3D Body внутри ComfyUI (источник: Comfy-Org/ComfyUI PR #14370)

Поскольку узлы могут рендерить позу в формате SCAIL-pose, SAM 3D Body также сочетается с рабочими процессами анимации персонажей SCAIL-2, которые уже поддерживают рендер меша SAM3D-Body как zero-shot управляющий вход.

Рабочий процесс

Официальный тестовый workflow из PR интеграции охватывает детекцию, предсказание позы, сглаживание, анимацию мимики, оценку FoV через MoGe и 3D-предпросмотр:

Загрузка модели

Переупакованные веса Comfy-Org содержат готовые чекпоинты в точности bf16 и INT8 ConvRot. Поместите их в ComfyUI/models/detection/:

sam_3d_body_dinov3_bf16.safetensors
sam_3d_body_dinov3_int8_convrot.safetensors

Ссылки

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
SAM 3D Body: восстановление 3D-скелета тела теперь встроено в ComfyUI | ComfyUI Wiki