Anima Control Pose 预览版2:ComfyUI 原生姿态控制
Anima Control Pose 预览版2为Anima带来姿态控制的图像生成,支持原生ComfyUI自定义节点、512/768/1024多分辨率以及改进的姿态准确性
面向Anima v1.0图像模型的姿态控制适配器已发布:Anima Control Pose 预览版2为Anima带来了基于骨架的姿态条件功能,支持原生ComfyUI自定义节点、多分辨率以及大幅提升的姿态跟随准确性。
功能概述
Anima Control Pose是一个通道拼接控制LoRA,通过骨架姿态图对Anima图像生成进行条件控制。给定一张参考照片后,ComfyUI节点检测姿态并渲染出骨架,模型在生成过程中依据该骨架进行绘制,从而实现对AI生成图像中角色位置、手势和肢体语言的精确控制。
预览版2相比预览版1的重大更新包括:
- 多分辨率支持:512、768和1024像素(预览版1仅支持512)
- 更大的训练语料库,生成更清晰的解剖结构和更稳定的姿态
- 新增ComfyUI节点“Anima Pose Control”,可从参考照片自动检测姿态,并支持多种骨架渲染样式(细线、粗线、木偶、热力图、包含/不含手部和面部)
- Body-PCK@0.1:在1024分辨率下约为0.83(预览版1在512分辨率下约为0.59)
方法
该控制适配器使用零初始化的ControlEmbedder生成控制标记,并将其添加到冻结的基础补丁嵌入输出中,同时在Transformer块上应用秩16的低秩适配器。基础Anima模型、文本编码器和VAE均保持冻结。
当strength = 0时,适配器与基础模型完全一致,控制贡献仅在训练过程中获得损失时才逐渐增加。
| 设置 | 值 |
|---|---|
| 分辨率 | 512 + 768 + 1024,宽高比分桶 |
| 适配器秩 | 16 |
| 控制丢弃率 | 0.1 |
| 精度 | bf16 |
获取方式
Anima Control Pose 预览版2可在Hugging Face上获取,采用非商业许可证:
- Hugging Face仓库:Claquasse/Anima-Control-Pose
- 主文件:
anima_pose_preview2.safetensors(放入ComfyUI/models/loras/) - 自定义节点:位于仓库的
comfyui/目录下 - 基础模型:Circlestone Labs的Anima v1.0(必需)
在ComfyUI中的使用
预览版2使用两个小型自定义节点:Anima Control Apply(AnimaControlApply)用于应用适配器,Anima Pose Control(AnimaPoseControl)用于从照片中检测姿态并渲染骨架。
安装
- 将
anima_pose_preview2.safetensors下载到ComfyUI/models/loras/。 - 将HF仓库中
comfyui/目录下的两个文件夹复制到ComfyUI/custom_nodes/:anima_control_lora/ComfyUI-anima-pose-control/
- 重启ComfyUI。ComfyUI-Manager会自动安装第二个节点的
requirements.txt;否则手动运行:(rtmlib、opencv-python、onnxruntime、numpy;torch和Pillow由ComfyUI自带。)pip install -r ComfyUI-anima-pose-control/requirements.txt - 从菜单中加载工作流(见下方)。
该safetensors文件同时包含低秩适配器(lora.*键)和控制嵌入器(control_embedder.*键)。使用LoraLoaderModelOnly读取LoRA权重,而Anima Control Apply读取控制嵌入器,两者指向同一文件。
工作流
HF仓库中包含四个.json工作流文件:
pose_control_demo.json(最易上手)—— 控制与无控制并排对比pose_control.json—— 简单单次生成工作流pose_control_edit.json—— 单节点,可选择骨架渲染样式pose_control_compare.json—— 同一姿态使用所有骨架样式同时渲染对比
强度参数
0.0为无控制的基础模型;1.0跟随骨架(范围0–2)。值越高对姿态的跟随越紧密,但可能降低图像质量。
姿态检测器(首次运行)
Anima Pose Control节点需要姿态检测器(rtmlib)。首次使用时,会自动从HF仓库的detector/目录下载两个ONNX文件(共约316 MB),并缓存到~/.cache/rtmlib/hub/checkpoints/,之后可离线运行。
如果出现urllib ... getaddrinfo failed错误,表示无法连接到下载服务器。请手动从HF仓库的Files页面下载以下两个ONNX文件,放入该缓存目录(如不存在则创建),然后重启ComfyUI:
detector/yolox_m_8xb8-300e_humanart-c2c7a14a.onnxdetector/rtmw-dw-x-l_simcc-cocktail14_270e-256x192_20231122.onnx
作者指出,预览版2仍处于实验性阶段。虽然效果已有显著提升,但在复杂姿态上仍可能出现误判或伪影。目前正在开发预览版3,重点关注更好的骨架表示以及专门针对动漫的姿态检测器。
评论
使用 GitHub 登录后即可参与讨论。