SCAIL-2: 端到端角色动画模型,原生支持 ComfyUI

ComfyUI Wikinews

智谱 zai-org 发布 SCAIL-2,端到端角色动画模型,官方支持 ComfyUI:跨身份替换、多角色与动物驱动,外加 DPO LoRA。

SCAIL-2HuggingFace | GitHub | 项目页面)是智谱 AI 的开源角色动画模型:它使用驱动视频对参考角色进行动画,端到端执行,无需中间姿态表示,并附带官方原生 ComfyUI 支持,已合并到 ComfyUI 核心中。

概述

SCAIL-2 基于 Wan万相2.1 14B 架构构建,不再依赖早期角色动画模型所使用的骨骼图或图像修复掩码等中间表示。团队从现成模型(SCAIL-Preview、Wan-Animate、MoCha)中合成了 6 万组运动数据对,并通过统一运动迁移接口进行训练,该接口配备了专用掩码通道和 RoPE 设计。

SCAIL-2 预览

SCAIL-2 端到端角色动画,支持跨身份替换与多角色场景(来源:项目页面)

反向驱动训练方案使模型能够学习超越其教师模型的能力,从而产生涌现能力:

  • 跨身份角色替换:使用相同驱动动作驱动不同角色
  • 动物驱动场景:使用动物运动来源驱动角色
  • 零样本高级控制:无需重新训练即可支持 SAM3D-Body 网格渲染等中间控制

ComfyUI 支持(原生)

SCAIL-2 直接集成到 ComfyUI 核心:初始支持 PR(Comfy-Org/ComfyUI #14373)在发布当天合并,多参考支持紧随其后(PR #14509)。无需自定义节点包。

Comfy-Org 重新打包的权重 提供开箱即用的 diffusion 模型,涵盖 fp16、FP8、INT8、MXFP8 和 NVFP4/MXFP8 混合精度,并包含 Bias-Aware DPO LoRA(修复手部畸变、改善唇部/眼部同步)与 Relighting LoRA(将替换角色融合到目标光照中)。

SCAIL-2 架构

SCAIL-2 网络架构:配备掩码通道和 RoPE 设计的统一运动迁移接口(来源:项目页面)

演示视频

SCAIL-2 预览样片(视频来自项目页面)

单参考动画对比(视频来自项目页面)

工作流

来自 Kijai 的 ComfyUI-WanVideoWrapper 的 SCAIL-2 示例工作流是一个很好的起点:

对于多参考模式,Comfy-Org 集成 PR 中的官方测试工作流也可用:

关键详情

项目详情
分辨率端到端驱动:512p 和 704p;姿态驱动在 704p 下表现更佳
约束条件H 和 W 都必须能被 32 整除(例如 704x1280)
随附模块Wan VAE 和 T5 已集成到 checkpoint 中
附加内容Bias-Aware DPO LoRA、Relighting LoRA、训练代码(2026-08-06)

链接

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
SCAIL-2: 端到端角色动画模型,原生支持 ComfyUI | ComfyUI Wiki