UniLumos:统一的图像与视频重光照模型

UniLumos 是由阿里巴巴达摩院开发的统一重光照框架,利用几何反馈调整图像与视频的光照。

U

UniLumos

Wan2.1重光照图生视频达摩院

由阿里巴巴达摩院开发的统一重光照框架,适用于图像和视频。在流匹配骨干网络中引入 RGB 空间几何反馈,实现物理上合理的光照调整。

开发者阿里巴巴达摩院
发布日期2025年11月
架构基于Wan2.1的流匹配网络,带RGB空间几何反馈
能力图像与视频重光照、光照调整、阴影与高光校正
速度通过路径一致性学习实现20倍加速

概述

UniLumos 是阿里巴巴达摩院开发的统一重光照框架,能够在单个模型中同时处理图像与视频的重光照任务。它基于流匹配骨干网络,引入 RGB 空间几何反馈,确保高光、阴影和遮挡正确,实现物理上合理的光照调整。

主要特性包括:统一处理图像与视频、带有几何感知的物理合理重光照、以及通过路径一致性学习实现快速处理(相比此前方法约20倍加速)。该模型能将角色无缝融合到新的背景中,并自动调整光照。

ComfyUI 集成

UniLumos 可通过 Kijai 的 WanVideoWrapper 自定义节点在 ComfyUI 中使用。模型权重托管在 Hugging Face 上,包括阿里巴巴达摩院官方仓库和 Kijai 的 WanVideo_comfy 合集。

资源

资源链接
Hugging Face(原始)Alibaba-DAMO-Academy/UniLumos
Hugging Face(Kijai)Kijai/WanVideo_comfy
GitHubgithub.com/alibaba-damo-academy/Lumos-Custom

Guides and workflows related to this model series.

No articles found.