Flujo de trabajo LBM Relighting en ComfyUI - Tutorial completo paso a paso para reluminación rápida de imágenes

Introducción a LBM Relighting

LBM (Latent Bridge Matching) es una tecnología de reluminación de imágenes basada en aprendizaje profundo desarrollada por el equipo de Jasper AI e introducida por primera vez en el artículo LBM: Latent Bridge Matching for Fast Image-to-Image Translation. Esta tecnología aborda específicamente un desafío de larga data en visión por computadora: cómo combinar naturalmente los efectos de iluminación de objetos en primer plano con nuevos entornos de fondo.

Antecedentes técnicos e innovación

La composición de imágenes tradicional a menudo enfrenta problemas de inconsistencia de iluminación. Cuando movemos un objeto de una escena a otra, las condiciones de iluminación originales generalmente no coinciden con el nuevo entorno, resultando en composiciones de aspecto poco natural. La tecnología LBM resuelve este problema a través de las siguientes innovaciones:

1. Coincidencia de puente en espacio latente: Realiza coincidencia de puente en espacio latente para traducción eficiente de imagen a imagen
2. Iluminación consciente del entorno: Puede entender las características de iluminación de entornos de fondo y aplicarlas a objetos en primer plano
3. Inferencia rápida: Comparado con métodos tradicionales, LBM requiere muy pocos pasos de inferencia para producir resultados de alta calidad
4. Preservación de detalles: Mantiene perfectamente los detalles y texturas originales del objeto mientras cambia la iluminación

Puedes experimentar los efectos de LBM Relighting a través de la siguiente demostración en línea: https://huggingface.co/spaces/jasperai/LBM_relighting

Tutorial paso a paso del flujo de trabajo LBM Relighting en ComfyUI

1. Descargas del flujo de trabajo y materiales de LBM Relighting

Descarga la imagen de abajo y arrástrala a ComfyUI para cargar el flujo de trabajo correspondiente. El flujo de trabajo ya incluye la información del modelo correspondiente. Si aparece una ventana emergente, haz clic en descargar, o descarga manualmente los modelos según la información de descarga del modelo en el flujo de trabajo.

Descarga del flujo de trabajo en formato JSON

Descarga las imágenes de abajo como imágenes de entrada:

2. Descarga manual del modelo

Por favor descarga el archivo model.safetensors, renómbralo a LBM_relighting.safetensors, y guárdalo en la carpeta ComfyUI/models/diffusion_models/

3. Instalar nodos personalizados requeridos

Para usar LBM Relighting en ComfyUI, necesitas instalar los siguientes nodos personalizados. Puedes usar la función de nodos faltantes de ComfyUI Manager para instalar, o consultar el Tutorial de instalación de nodos personalizados de ComfyUI para instalación manual.

Nodos principales

• ComfyUI-LBMWrapper - Envoltorio central para el modelo LBM

Nodos auxiliares

• ComfyUI-KJNodes - Proporciona procesamiento adicional de imágenes como ajuste de tamaño
• ComfyUI_essentials - Nodos de eliminación de fondo
• (Opcional) rgthree-comfy - El nodo Compare proporciona funcionalidad de comparación antes/después

4. Sigue la guía de pasos para completar la ejecución del flujo de trabajo

1. Asegúrate de que el nodo Load LBM Model cargue el modelo renombrado LBM_relighting.safetensors
2. Sube la imagen de fondo en el nodo Load Image en el grupo Upload Background
3. Sube la imagen del sujeto en el nodo Load Image en el grupo Upload Subject
4. (Opcional) Ajusta la posición de composición en la posición XY correspondiente del nodo ImageCompositeMasked
5. Haz clic en el botón Run, o usa el atajo Ctrl(Cmd) + Enter para ejecutar la generación de imagen
6. Este flujo de trabajo no usa Save Image. Puedes ver los resultados en el nodo Preview Image y ver los efectos de comparación en el nodo Image Comparer(rgthree)

5. Notas adicionales del flujo de trabajo

• Este flujo de trabajo está ligeramente ajustado basado en el flujo de trabajo del nodo personalizado original, principalmente escalando la imagen del sujeto y ajustándola para que se adapte al tamaño de la imagen de fondo
• Puedes modificar la entrada Image del nodo Get Image Size al nodo Subject, permitiendo que el fondo se ajuste al tamaño de imagen del sujeto
• Para ajustar la posición de combinación de imagen, modifica la posición XY en el nodo ImageCompositeMasked
• Para ajustar el tamaño del sujeto, desconecta las conexiones de entrada de tamaño y ajusta por separado Width y Height en el nodo Resize Image
• Puedes agregar flujos de trabajo Refine después de este flujo de trabajo para arreglar detalles de imagen

Otros enlaces relacionados con LBM Relighting

• Repositorio oficial de GitHub de LBM Relighting
• Página del modelo LBM Relighting
• Demostración en línea de LBM Relighting
• Enlace del artículo LBM Relighting