ID-V2V:身份保留视频模型通过 Kijai 获得 ComfyUI 支持

ComfyUI Wikinews

Eyeline-Labs 的 ID-V2V 是一个 SIGGRAPH Asia 2026 的身份保留视频转视频模型,现通过 Kijai 的 int8 convrot 权重和核心 PR 获得 ComfyUI 支持。

ID-V2V 现在可以通过 Kijai 的核心 PR(Comfy-Org/ComfyUI #15139)在 ComfyUI 中使用,增加了 VACE + I2V 支持和参考垫图输入。Int8 convrot 权重可在 Hugging Face 上获取。

什么是 ID-V2V?

ID-V2V(身份保留视频转视频生成)是一个研究模型,已被 SIGGRAPH Asia 2026 收录,由 Eyeline-Labs 与 Netflix 合作开发。它在保留原始角色身份、表情、视线和动作的同时,重新风格化视频的场景、光照和风格——这是一种“先拍摄,后重塑”的工作流。

给定一个源视频和一个风格化关键帧(加上可选的关键帧和文本提示),ID-V2V 生成一个新视频,其背景和美学风格跟随关键帧,而主体的身份和表演保持不变。

关键细节:

Paul Debevec 的参与

该项目包括 Paul Debevec——一位开创性的计算机图形学研究员,曾获得科学与技术学院奖、终身成就艾美奖以及 VES 院士称号。Debevec 发明了 HDR 成像、基于图像的光照以及用于从《蜘蛛侠》到《阿凡达》等大片的光阶段面部捕获系统。

对于 ID-V2V,Debevec 在重光照方面的专业知识至关重要:在完全重新生成的场景中保持角色身份完整的同时正确照明,是该项目最困难的挑战,这直接建立在他之前的工作基础之上(CVPR 2025 的 Lux Post Facto,SIGGRAPH Asia 2024 的 DifFRelight)。

ComfyUI 集成

7 月 29 日,Kijai 向 ComfyUI 核心仓库提交了 PR #15139,增加了支持 ID-V2V 所需的基础设施。更改包括:

  1. VACE + I2V 基础支持 ——该模型以 Wan 2.1 I2V 为基础,配合 VACE 控制图层,这种组合之前未被 ComfyUI 原生支持
  2. 参考垫图输入 ——I2V 节点的新输入,用于 ID-V2V 用作风格目标的风格化关键帧
  3. Int8 convrot 权重 ——可在 Kijai/Wan_ID_V2V_comfy 获取,实现显存高效推理

Kijai 描述该集成相对简单("仅 +17 行代码"),并且 PR 包含一个即用型工作流 JSON。社区成员 T2 也独立构建了该模型的包装节点。

模型

ID-V2V 在 Hugging Face 上提供两个模型:

变体控制条件使用场景
idv2v.pth(默认)1 — 前景-灰色像素(由 SAM3 分割主体)常规风格化——保留分割后的主体并重新生成其余部分
idv2v_with_normal_depth.pth3 — 前景 + 表面法线(DAViD)+ 深度(DepthAnything-V2)对重新生成区域进行更紧密的几何控制

演示

项目页面 展示了多个演示,包括背景替换、未对齐关键帧风格化和重光照:

来自 ID-V2V 项目页面的背景替换演示。

注意: ID-V2V 是一个研究示例,发布用于演示和启发。它需要大量显存(约 16GB+),最适合熟悉在 ComfyUI 中运行 Wan 2.1 I2V 和 VACE 模型的用户。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
ID-V2V:身份保留视频模型通过 Kijai 获得 ComfyUI 支持 | ComfyUI Wiki