SAM 3D Body：全身 3D 人体网格追踪现已原生集成 ComfyUI
Meta 的 SAM 3D Body 全身 3D 人体网格恢复模型现已内置 ComfyUI 核心：支持视频姿态追踪、时间平滑、面部表情驱动，以及通过全新 SAM3DBody 节点导出 GLB/BVH 动画。
概述
SAM 3D Body（3DB）由 Meta Superintelligence Labs 开发，可从单张图像重建全身 3D 人体网格（身体、脚和手），在真实场景下具有很强的泛化能力。它采用 Momentum Human Rig (MHR) 参数化表示，将骨骼结构与表面形状解耦，并支持 2D 关键点和蒙版等辅助提示进行引导式推理，与 SAM 系列类似。
基于 Momentum Human Rig 的 SAM 3D Body 编码器-解码器架构（来源：Meta）
原生 ComfyUI 支持
ComfyUI 集成提供了零依赖的 SAM 3D Body 实现，包含全新的 SAM3DBody_Loader、SAM3DBody_Predict、SAM3DBody_Render、SAM3DBody_Smooth 和 SAM3DBody_FaceExpression 节点，以及面向视频的额外功能：
- 时间平滑：实现跨帧稳定的视频姿态检测
- 面部表情驱动：通过 MediaPipe blendshapes 实现
- 姿态渲染为网格或 OpenPose / SCAIL-pose 格式，仅使用 PyTorch
- 3D 动画导出（GLB）：支持人体网格或 OpenPose/SCAIL-pose 自定义网格
- BVH 动画导出：已通过 Blender 导入测试
- MoGe 支持：用于相机视场角检测（
LoadMoGeModel/MoGeGeometryToFOV） - SAM 3.1 视频追踪：支持多人检测（
SAM3_VideoTrack）
ComfyUI 中的 SAM 3D Body 测试工作流（来源：Comfy-Org/ComfyUI PR #14370）
由于这些节点可以将姿态渲染为 SCAIL-pose 格式，SAM 3D Body 还可以与 SCAIL-2 角色动画工作流搭配使用——SCAIL-2 已经支持将 SAM3D-Body 网格渲染作为零样本控制输入。
工作流
集成 PR 中的官方测试工作流涵盖了检测、姿态预测、平滑、面部表情驱动、基于 MoGe 的视场角估算和 3D 预览：
模型下载
Comfy-Org 重新打包的权重提供了 bf16 和 INT8 ConvRot 两种精度的开箱即用检查点。将它们放入 ComfyUI/models/detection/ 目录：
sam_3d_body_dinov3_bf16.safetensors
sam_3d_body_dinov3_int8_convrot.safetensors
评论
使用 GitHub 登录后即可参与讨论。