IC-Light: модели релайтинга изображений для ComfyUI

IC-Light от lllyasviel

Image EditingRelightingOpen Source

Серия моделей релайтинга изображений от lllyasviel (автора ControlNet). V1 выпускается в виде трёх открытых чекпойнтов SD 1.5, которые заново рендерят освещение по промпту; V2 переходит на FLUX с кондиционированием переднего плана и доступна через официальное онлайн-демо.

Hugging Face (веса V1)GitHub Онлайн-демо V2

Разработчик	lllyasviel
Дата выпуска	2024-05 (V1), 2024-10 (превью V2)
Архитектура	на основе SD 1.5 (V1), на основе FLUX (V2)
Лицензия	OpenRAIL-M (веса V1), некоммерческая (V2)
Возможности	Релайтинг, кондиционирование переднего плана, замена фона

Обзор

IC-Light меняет освещение на фотографии, не изменяя её содержимое. Вы задаёте текстовый промпт (опционально с картой окружения), описывающий желаемый свет, и модель заново рендерит сцену так, чтобы объект был освещён соответствующим образом. Варианты с кондиционированием переднего плана сохраняют пиксели объекта нетронутыми и меняют только свет, что и делает результат пригодным для композиционирования.

Чекпойнты V1

V1 построена на SD 1.5 и включает три набора весов, все доступны на Hugging Face:

Чекпойнт	Условие	Примечания
`iclight_sd15_fc.safetensors`	Текст + передний план	Модель по умолчанию; начальный латентный тензор также может управлять релайтингом
`iclight_sd15_fcon.safetensors`	Текст + передний план	То же, что `fc`, но обучена с offset noise; по результатам пользовательского исследования автора немного слабее
`iclight_sd15_fbc.safetensors`	Текст + передний план + фон	Фон тоже обусловлен, поэтому вся сцена следует промпту

IC-Light V2

V2 перестраивает модель на FLUX и добавляет 16-канальный VAE и нативную обработку высокого разрешения, поэтому сохраняет детали на стилизованных изображениях, таких как картины маслом и аниме. Пока доступна только модель с кондиционированием переднего плана, и она предоставляется через официальный Hugging Face Space: сами веса V2 не открыты, поэтому нет чекпойнта для скачивания или локального запуска. Результаты V2 лицензированы только для некоммерческого использования.

Интеграция с ComfyUI

Для V1 установите kijai/ComfyUI-IC-Light, который предоставляет узлы IC-Light и примеры рабочих процессов, затем поместите чекпойнт в models/checkpoints. Для V2 рабочим процессом служит онлайн-демо, описанное в руководстве по IC-Light V2.

Лицензия

Веса V1 выпущены под лицензией CreativeML OpenRAIL-M. В оригинальных примерах V1 для удаления фона используется BRIA RMBG 1.4, которая некоммерческая: замените её на что-то вроде BiRefNet, если используете IC-Light в коммерческих целях. IC-Light V2 предназначена только для некоммерческого использования.