ComfyUI LBM Relighting 워크플로우 - 빠른 이미지 리라이팅을 위한 완전한 단계별 튜토리얼

LBM Relighting 소개

LBM (Latent Bridge Matching)은 Jasper AI 팀에서 개발한 딥러닝 기반 이미지 리라이팅 기술로, 논문 LBM: Latent Bridge Matching for Fast Image-to-Image Translation에서 처음 소개되었습니다. 이 기술은 컴퓨터 비전 분야의 오랜 과제인 “전경 객체의 조명 효과를 새로운 배경 환경과 자연스럽게 융합시키는 방법”을 전문적으로 해결합니다.

기술적 배경과 혁신

전통적인 이미지 합성은 종종 조명 불일치 문제에 직면합니다. 객체를 한 장면에서 다른 장면으로 이동할 때, 원래의 조명 조건은 보통 새로운 환경과 일치하지 않아 부자연스러워 보이는 합성 결과를 만듭니다. LBM 기술은 다음과 같은 혁신을 통해 이 문제를 해결합니다:

1. 잠재 공간 브리지 매칭: 잠재 공간에서 브리지 매칭을 수행하여 효율적인 이미지 간 변환을 실현
2. 환경 인식 조명: 배경 환경의 조명 특성을 이해하고 전경 객체에 적용 가능
3. 빠른 추론: 기존 방법과 비교하여 LBM은 매우 적은 추론 단계로 고품질 결과를 생성
4. 세부사항 보존: 조명을 변경하면서 객체의 원래 세부사항과 텍스처를 완벽하게 유지

다음 온라인 데모에서 LBM Relighting의 효과를 체험할 수 있습니다: https://huggingface.co/spaces/jasperai/LBM_relighting

ComfyUI LBM Relighting 워크플로우 단계별 튜토리얼

1. LBM Relighting 워크플로우 및 소재 다운로드

아래 이미지를 다운로드하여 ComfyUI에 드래그하여 해당 워크플로우를 로드합니다. 워크플로우에는 이미 해당 모델 정보가 포함되어 있습니다. 팝업이 나타나면 다운로드를 클릭하거나, 워크플로우 내의 모델 다운로드 정보에 따라 수동으로 모델을 다운로드하세요.

JSON 형식 워크플로우 다운로드

아래 이미지들을 입력 이미지로 다운로드하세요:

2. 수동 모델 다운로드

model.safetensors 파일을 다운로드하여 LBM_relighting.safetensors로 이름을 변경하고, ComfyUI/models/diffusion_models/ 폴더에 저장하세요

3. 필요한 커스텀 노드 설치

ComfyUI에서 LBM Relighting을 사용하려면 다음 커스텀 노드들을 설치해야 합니다. ComfyUI Manager의 누락 노드 기능을 사용하여 설치하거나, ComfyUI 커스텀 노드 설치 튜토리얼을 참조하여 수동으로 설치하세요.

메인 노드

• ComfyUI-LBMWrapper - LBM 모델의 핵심 래퍼

보조 노드

• ComfyUI-KJNodes - 크기 조정 등 추가 이미지 처리 제공
• ComfyUI_essentials - 배경 제거 노드
• (선택사항) rgthree-comfy - Compare 노드가 전후 비교 기능 제공

4. 단계 가이드를 따라 워크플로우 실행 완료

1. Load LBM Model 노드가 이름이 변경된 LBM_relighting.safetensors 모델을 로드하는지 확인
2. Upload Background 그룹의 Load Image 노드에서 배경 이미지 업로드
3. Upload Subject 그룹의 Load Image 노드에서 피사체 이미지 업로드
4. (선택사항) ImageCompositeMasked 노드의 해당 XY 위치에서 합성 위치 조정
5. Run 버튼을 클릭하거나 단축키 Ctrl(Cmd) + Enter를 사용하여 이미지 생성 실행
6. 이 워크플로우는 Save Image를 사용하지 않습니다. Preview Image 노드에서 결과를 확인하고 Image Comparer(rgthree) 노드에서 비교 효과를 확인할 수 있습니다

5. 워크플로우 추가 참고사항

• 이 워크플로우는 원래 커스텀 노드 워크플로우를 기반으로 약간 조정되었으며, 주로 피사체 이미지를 스케일링하여 배경 이미지 크기에 맞게 조정합니다
• Get Image Size 노드의 Image 입력을 Subject 노드로 변경하여 배경이 피사체의 이미지 크기에 맞게 조정되도록 할 수 있습니다
• 이미지 조합 위치를 조정하려면 ImageCompositeMasked 노드의 XY 위치를 수정하세요
• 피사체 크기를 조정하려면 크기 입력 연결을 끊고 Resize Image 노드의 Width와 Height를 개별적으로 조정하세요
• 이 워크플로우 후에 Refine 워크플로우를 추가하여 이미지 세부사항을 수정할 수 있습니다

기타 LBM Relighting 관련 링크

• LBM Relighting 공식 GitHub 저장소
• LBM Relighting 모델 페이지
• LBM Relighting 온라인 데모
• LBM Relighting 논문 링크