Anima Control Pose 预览版2:ComfyUI 原生姿态控制

news

Anima Control Pose 预览版2为Anima带来姿态控制的图像生成,支持原生ComfyUI自定义节点、512/768/1024多分辨率以及改进的姿态准确性

面向Anima v1.0图像模型的姿态控制适配器已发布:Anima Control Pose 预览版2为Anima带来了基于骨架的姿态条件功能,支持原生ComfyUI自定义节点、多分辨率以及大幅提升的姿态跟随准确性。

功能概述

Anima Control Pose是一个通道拼接控制LoRA,通过骨架姿态图对Anima图像生成进行条件控制。给定一张参考照片后,ComfyUI节点检测姿态并渲染出骨架,模型在生成过程中依据该骨架进行绘制,从而实现对AI生成图像中角色位置、手势和肢体语言的精确控制。

预览版2相比预览版1的重大更新包括:

  • 多分辨率支持:512、768和1024像素(预览版1仅支持512)
  • 更大的训练语料库,生成更清晰的解剖结构和更稳定的姿态
  • 新增ComfyUI节点“Anima Pose Control”,可从参考照片自动检测姿态,并支持多种骨架渲染样式(细线、粗线、木偶、热力图、包含/不含手部和面部)
  • Body-PCK@0.1:在1024分辨率下约为0.83(预览版1在512分辨率下约为0.59)

方法

该控制适配器使用零初始化的ControlEmbedder生成控制标记,并将其添加到冻结的基础补丁嵌入输出中,同时在Transformer块上应用秩16的低秩适配器。基础Anima模型、文本编码器和VAE均保持冻结。

strength = 0时,适配器与基础模型完全一致,控制贡献仅在训练过程中获得损失时才逐渐增加。

设置
分辨率512 + 768 + 1024,宽高比分桶
适配器秩16
控制丢弃率0.1
精度bf16

获取方式

Anima Control Pose 预览版2可在Hugging Face上获取,采用非商业许可证:

  • Hugging Face仓库Claquasse/Anima-Control-Pose
  • 主文件anima_pose_preview2.safetensors(放入ComfyUI/models/loras/
  • 自定义节点:位于仓库的comfyui/目录下
  • 基础模型:Circlestone Labs的Anima v1.0(必需)

在ComfyUI中的使用

预览版2使用两个小型自定义节点:Anima Control ApplyAnimaControlApply)用于应用适配器,Anima Pose ControlAnimaPoseControl)用于从照片中检测姿态并渲染骨架。

安装

  1. anima_pose_preview2.safetensors下载到ComfyUI/models/loras/
  2. 将HF仓库中comfyui/目录下的两个文件夹复制到ComfyUI/custom_nodes/
    • anima_control_lora/
    • ComfyUI-anima-pose-control/
  3. 重启ComfyUI。ComfyUI-Manager会自动安装第二个节点的requirements.txt;否则手动运行:
    pip install -r ComfyUI-anima-pose-control/requirements.txt
    (rtmlib、opencv-python、onnxruntime、numpy;torch和Pillow由ComfyUI自带。)
  4. 从菜单中加载工作流(见下方)。

该safetensors文件同时包含低秩适配器(lora.*键)和控制嵌入器(control_embedder.*键)。使用LoraLoaderModelOnly读取LoRA权重,而Anima Control Apply读取控制嵌入器,两者指向同一文件。

工作流

HF仓库中包含四个.json工作流文件:

  • pose_control_demo.json(最易上手)—— 控制与无控制并排对比
  • pose_control.json —— 简单单次生成工作流
  • pose_control_edit.json —— 单节点,可选择骨架渲染样式
  • pose_control_compare.json —— 同一姿态使用所有骨架样式同时渲染对比

强度参数

0.0为无控制的基础模型;1.0跟随骨架(范围0–2)。值越高对姿态的跟随越紧密,但可能降低图像质量。

姿态检测器(首次运行)

Anima Pose Control节点需要姿态检测器(rtmlib)。首次使用时,会自动从HF仓库的detector/目录下载两个ONNX文件(共约316 MB),并缓存到~/.cache/rtmlib/hub/checkpoints/,之后可离线运行。

如果出现urllib ... getaddrinfo failed错误,表示无法连接到下载服务器。请手动从HF仓库的Files页面下载以下两个ONNX文件,放入该缓存目录(如不存在则创建),然后重启ComfyUI:

  • detector/yolox_m_8xb8-300e_humanart-c2c7a14a.onnx
  • detector/rtmw-dw-x-l_simcc-cocktail14_270e-256x192_20231122.onnx

作者指出,预览版2仍处于实验性阶段。虽然效果已有显著提升,但在复杂姿态上仍可能出现误判或伪影。目前正在开发预览版3,重点关注更好的骨架表示以及专门针对动漫的姿态检测器。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Anima Control Pose 预览版2:ComfyUI 原生姿态控制 | ComfyUI Wiki