UniLumos: унифицированный релайтинг изображений и видео

UniLumos

Wan2.1RelightingImage-to-VideoDAMO Academy

Унифицированный фреймворк релайтинга от Alibaba DAMO Academy для изображений и видео. Вносит геометрическую обратную связь в RGB-пространстве в основу flow-matching для физически правдоподобной настройки освещения.

HF (Оригинал)HF (Kijai)GitHub

Разработчик	Alibaba DAMO Academy
Дата релиза	2025-11
Архитектура	На основе Wan2.1 с flow-matching и геометрической обратной связью в RGB-пространстве
Возможности	Релайтинг изображений и видео, настройка освещения, коррекция теней и светов
Скорость	20-кратное ускорение благодаря обучению согласованности путей

Обзор

UniLumos : это унифицированный фреймворк релайтинга, разработанный Alibaba DAMO Academy, который решает задачи релайтинга как для изображений, так и для видео в рамках единой модели. Построенный на основе flow-matching, он включает геометрическую обратную связь в RGB-пространстве, обеспечивая физически правдоподобную настройку освещения с корректными бликами, тенями и окклюзиями.

Ключевые особенности включают унифицированную обработку изображений и видео, физически правдоподобный релайтинг с учётом геометрии и быструю обработку за счёт обучения согласованности путей, что даёт примерно 20-кратное ускорение по сравнению с предыдущими подходами. Модель бесшовно встраивает персонажей в новые фоны с автоматически настроенным освещением.

Интеграция с ComfyUI

UniLumos доступен в ComfyUI через пользовательские узлы Kijai WanVideoWrapper. Веса модели размещены на Hugging Face как в официальном репозитории Alibaba DAMO Academy, так и в коллекции Kijai WanVideo_comfy.

Ресурсы

Ресурс	Ссылка
HuggingFace (Оригинал)	Alibaba-DAMO-Academy/UniLumos
HuggingFace (Kijai)	Kijai/WanVideo_comfy
GitHub	github.com/alibaba-damo-academy/Lumos-Custom