Workflow LBM Relighting ComfyUI - Tutoriel complet étape par étape pour le rééclairage rapide d’images

Introduction à LBM Relighting

LBM (Latent Bridge Matching) est une technologie de rééclairage d’images basée sur l’apprentissage profond développée par l’équipe Jasper AI et introduite pour la première fois dans l’article LBM: Latent Bridge Matching for Fast Image-to-Image Translation. Cette technologie aborde spécifiquement un défi de longue date en vision par ordinateur : comment mélanger naturellement les effets d’éclairage des objets au premier plan avec de nouveaux environnements d’arrière-plan.

Contexte technique et innovation

La composition d’images traditionnelle fait souvent face à des problèmes d’incohérence d’éclairage. Lorsque nous déplaçons un objet d’une scène à une autre, les conditions d’éclairage originales ne correspondent généralement pas au nouvel environnement, résultant en des compositions d’aspect peu naturel. La technologie LBM résout ce problème grâce aux innovations suivantes :

1. Correspondance de pont dans l’espace latent : Effectue une correspondance de pont dans l’espace latent pour une traduction efficace d’image à image
2. Éclairage conscient de l’environnement : Peut comprendre les caractéristiques d’éclairage des environnements d’arrière-plan et les appliquer aux objets au premier plan
3. Inférence rapide : Comparé aux méthodes traditionnelles, LBM nécessite très peu d’étapes d’inférence pour produire des résultats de haute qualité
4. Préservation des détails : Maintient parfaitement les détails et textures originaux de l’objet tout en changeant l’éclairage

Vous pouvez expérimenter les effets de LBM Relighting grâce à la démonstration en ligne suivante : https://huggingface.co/spaces/jasperai/LBM_relighting

Tutoriel étape par étape du workflow LBM Relighting ComfyUI

1. Téléchargements du workflow et des matériaux LBM Relighting

Téléchargez l’image ci-dessous et faites-la glisser dans ComfyUI pour charger le workflow correspondant. Le workflow inclut déjà les informations de modèle correspondantes. Si une fenêtre contextuelle apparaît, cliquez sur télécharger, ou téléchargez manuellement les modèles selon les informations de téléchargement de modèle dans le workflow.

Téléchargement du workflow au format JSON

Téléchargez les images ci-dessous comme images d’entrée :

2. Téléchargement manuel du modèle

Veuillez télécharger le fichier model.safetensors, le renommer en LBM_relighting.safetensors, et l’enregistrer dans le dossier ComfyUI/models/diffusion_models/

3. Installer les nœuds personnalisés requis

Pour utiliser LBM Relighting dans ComfyUI, vous devez installer les nœuds personnalisés suivants. Vous pouvez utiliser la fonction de nœuds manquants de ComfyUI Manager pour installer, ou consulter le Tutoriel d’installation des nœuds personnalisés ComfyUI pour une installation manuelle.

Nœuds principaux

• ComfyUI-LBMWrapper - Wrapper central pour le modèle LBM

Nœuds auxiliaires

• ComfyUI-KJNodes - Fournit un traitement d’image supplémentaire comme l’ajustement de taille
• ComfyUI_essentials - Nœuds de suppression d’arrière-plan
• (Optionnel) rgthree-comfy - Le nœud Compare fournit une fonctionnalité de comparaison avant/après

4. Suivez le guide étape par étape pour terminer l’exécution du workflow

1. Assurez-vous que le nœud Load LBM Model charge le modèle renommé LBM_relighting.safetensors
2. Téléchargez l’image d’arrière-plan dans le nœud Load Image du groupe Upload Background
3. Téléchargez l’image du sujet dans le nœud Load Image du groupe Upload Subject
4. (Optionnel) Ajustez la position de composition dans la position XY correspondante du nœud ImageCompositeMasked
5. Cliquez sur le bouton Run, ou utilisez le raccourci Ctrl(Cmd) + Entrée pour exécuter la génération d’image
6. Ce workflow n’utilise pas Save Image. Vous pouvez voir les résultats dans le nœud Preview Image et voir les effets de comparaison dans le nœud Image Comparer(rgthree)

5. Notes supplémentaires du workflow

• Ce workflow est légèrement ajusté basé sur le workflow du nœud personnalisé original, principalement en redimensionnant l’image du sujet et en l’ajustant pour s’adapter à la taille de l’image d’arrière-plan
• Vous pouvez modifier l’entrée Image du nœud Get Image Size vers le nœud Subject, permettant à l’arrière-plan de s’ajuster à la taille d’image du sujet
• Pour ajuster la position de combinaison d’image, modifiez la position XY dans le nœud ImageCompositeMasked
• Pour ajuster la taille du sujet, déconnectez les connexions d’entrée de taille et ajustez séparément Width et Height dans le nœud Resize Image
• Vous pouvez ajouter des workflows Refine après ce workflow pour corriger les détails d’image

Autres liens liés à LBM Relighting

• Dépôt GitHub officiel de LBM Relighting
• Page du modèle LBM Relighting
• Démonstration en ligne de LBM Relighting
• Lien de l’article LBM Relighting