ComfyUI LBM Relighting — Полное пошаговое руководство по быстрой смене освещения

Введение в LBM Relighting

LBM (Latent Bridge Matching) — это технология смены освещения на изображениях на основе глубокого обучения, разработанная командой Jasper AI и впервые представленная в статье LBM: Latent Bridge Matching for Fast Image-to-Image Translation. Эта технология решает давнюю задачу в компьютерном зрении: как естественно совместить освещение объектов на переднем плане с новым фоном.

Технический фон и особенности

Традиционная компоновка изображений часто сталкивается с проблемой несоответствия освещения. Когда мы переносим объект из одной сцены в другую, исходное освещение обычно не совпадает с новым окружением, из-за чего итоговое изображение выглядит неестественно. Технология LBM решает эту задачу благодаря следующим особенностям:

1. Latent Space Bridge Matching: сопоставление в скрытом пространстве для эффективного преобразования изображений
2. Осведомлённость об окружении: понимает особенности освещения фона и применяет их к объектам на переднем плане
3. Быстрая обработка: по сравнению с традиционными методами, LBM требует меньше шагов для получения качественного результата
4. Сохранение деталей: сохраняет исходные детали и текстуры объекта при изменении освещения

Оценить работу LBM Relighting можно в онлайн-демо: https://huggingface.co/spaces/jasperai/LBM_relighting

Пошаговое руководство по workflow LBM Relighting в ComfyUI

1. Загрузка workflow и материалов

Скачайте изображение ниже и перетащите его в ComfyUI, чтобы загрузить соответствующий workflow (рабочий процесс). В workflow уже включена информация о модели. Если появится всплывающее окно, нажмите «Скачать», либо скачайте модели вручную согласно информации в workflow.

Скачать workflow в формате JSON:

Скачайте изображения ниже для использования в качестве входных:

2. Ручная загрузка модели

Пожалуйста, скачайте файл model.safetensors, переименуйте его в LBM_relighting.safetensors и поместите в папку ComfyUI/models/diffusion_models/

3. Установка необходимых пользовательских узлов

Для работы LBM Relighting в ComfyUI необходимо установить следующие пользовательские узлы (custom nodes). Вы можете воспользоваться функцией поиска недостающих узлов в ComfyUI Manager или установить их вручную по инструкции по установке custom nodes.

Основные узлы

• ComfyUI-LBMWrapper — основной обёртчик для модели LBM

Вспомогательные узлы

• ComfyUI-KJNodes — дополнительные функции для обработки изображений, например, изменение размера
• ComfyUI_essentials — узлы для удаления фона
• (Необязательно) rgthree-comfy — узел для сравнения до/после

4. Пошаговое выполнение workflow

1. Убедитесь, что узел Load LBM Model загружает переименованный файл LBM_relighting.safetensors
2. Загрузите фоновое изображение в узел Load Image в группе Upload Background
3. Загрузите изображение объекта в узел Load Image в группе Upload Subject
4. (Необязательно) Отрегулируйте положение композиции, изменяя XY-позицию в узле ImageCompositeMasked
5. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(Cmd) + Enter для запуска генерации изображения
6. В этом workflow не используется узел Save Image. Результаты можно просмотреть в узле Preview Image, а сравнение до/после — в узле Image Comparer(rgthree)

5. Дополнительные замечания по workflow

• Этот workflow немного изменён по сравнению с оригинальным: масштабируется изображение объекта и подгоняется под размер фона
• Можно изменить вход изображения в узле Get Image Size на изображение объекта, чтобы фон подстраивался под размер объекта
• Для изменения положения композиции скорректируйте XY-позицию в узле ImageCompositeMasked
• Для изменения размера объекта отключите соединения размера и отдельно задайте значения Width и Height в узле Resize Image
• После выполнения этого workflow можно добавить дополнительные workflow для доработки деталей изображения

Другие полезные ссылки по LBM Relighting

• Официальный репозиторий LBM Relighting на GitHub
• Страница модели LBM Relighting
• Онлайн-демо LBM Relighting
• Статья о LBM Relighting