UniLumos:统一的图像与视频重光照模型
UniLumos 是由阿里巴巴达摩院开发的统一重光照框架,利用几何反馈调整图像与视频的光照。
U
UniLumos
Wan2.1重光照图生视频达摩院由阿里巴巴达摩院开发的统一重光照框架,适用于图像和视频。在流匹配骨干网络中引入 RGB 空间几何反馈,实现物理上合理的光照调整。
| 开发者 | 阿里巴巴达摩院 |
| 发布日期 | 2025年11月 |
| 架构 | 基于Wan2.1的流匹配网络,带RGB空间几何反馈 |
| 能力 | 图像与视频重光照、光照调整、阴影与高光校正 |
| 速度 | 通过路径一致性学习实现20倍加速 |
概述
UniLumos 是阿里巴巴达摩院开发的统一重光照框架,能够在单个模型中同时处理图像与视频的重光照任务。它基于流匹配骨干网络,引入 RGB 空间几何反馈,确保高光、阴影和遮挡正确,实现物理上合理的光照调整。
主要特性包括:统一处理图像与视频、带有几何感知的物理合理重光照、以及通过路径一致性学习实现快速处理(相比此前方法约20倍加速)。该模型能将角色无缝融合到新的背景中,并自动调整光照。
ComfyUI 集成
UniLumos 可通过 Kijai 的 WanVideoWrapper 自定义节点在 ComfyUI 中使用。模型权重托管在 Hugging Face 上,包括阿里巴巴达摩院官方仓库和 Kijai 的 WanVideo_comfy 合集。
资源
| 资源 | 链接 |
|---|---|
| Hugging Face(原始) | Alibaba-DAMO-Academy/UniLumos |
| Hugging Face(Kijai) | Kijai/WanVideo_comfy |
| GitHub | github.com/alibaba-damo-academy/Lumos-Custom |
Guides and workflows related to this model series.
No articles found.