UniLumos : Rééclairage unifié d'images et de vidéos pour ComfyUI

Présentation

UniLumos est un framework de rééclairage unifié développé par Alibaba DAMO Academy qui gère à la fois les tâches de rééclairage d'images et de vidéos au sein d'un seul modèle. Construit sur une base flow-matching, il intègre une rétroaction géométrique dans l'espace RVB afin de garantir un ajustement de l'illumination physiquement plausible, avec des hautes lumières, des ombres et des occlusions correctes.

Ses caractéristiques principales incluent une prise en charge unifiée des images et des vidéos, un rééclairage physiquement plausible tenant compte de la géométrie, et un traitement rapide grâce à l'apprentissage par cohérence de trajectoire qui atteint une accélération d'environ 20x par rapport aux approches précédentes. Le modèle intègre les personnages de manière transparente dans de nouveaux arrière-plans, avec un éclairage ajusté automatiquement.

Intégration ComfyUI

UniLumos est disponible dans ComfyUI via les nœuds personnalisés Kijai WanVideoWrapper. Les poids du modèle sont hébergés sur Hugging Face à la fois dans le référentiel officiel d'Alibaba DAMO Academy et dans la collection Kijai WanVideo_comfy.

Ressources