ComfyUI에서 LoRA 시작하기 - 기본 사용법부터 다중 모델 활용까지

ComfyUI에서 LoRA 사용하기

LoRA란 무엇일까요? AI 이미지 생성에서 LoRA는 파일 크기가 작고 유연하게 사용할 수 있는 모델입니다. ‘필터’와 같은 것으로 생각하면 이해하기 쉽고, 이미지에 특정 스타일, 콘텐츠, 세부 사항을 추가할 수 있습니다:

특정 아트 스타일(수묵화 등) 적용
특정 캐릭터 특징(게임 캐릭터 등) 추가
이미지에 특정 세부 사항 추가 이 모든 것은 LoRA를 통해 실현 가능합니다.

이 튜토리얼에서는 SD1.5 모델을 사용하여 ComfyUI에서 LoRA 모델의 사용법을 설명합니다. 핵심이 되는 것은 LoRA Loader 노드로, 이것이 LoRA 모델의 로딩을 담당합니다.

준비 작업

단계 1: 이 튜토리얼에서 사용할 모델 다운로드

이미 관련 모델을 가지고 계신 경우 이 단계를 건너뛸 수 있습니다. 없는 경우 다음 모델들을 다운로드하세요:

모델 유형	모델 이름	다운로드 링크
SD1.5 모델	DreamShaper v8	다운로드
LoRA 모델	MoXin	다운로드
LoRA 모델	QingYi	다운로드

ComfyUI 디렉토리에 다음과 같은 폴더 구조를 만드세요:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5              // DreamShaper v8 저장
│   └── 📁loras
│       └── 📁SD1.5              // LoRA 모델 저장

DreamShaper 모델을 models/checkpoints/SD1.5 폴더에 배치
MoXin과 QingYi의 LoRA 파일을 models/loras/SD1.5 폴더에 배치

💡

해당 모델 디렉토리에서 SD1.5 서브폴더를 사용하는 이유는 현재 SD1.5, SD3.0, SDXL, FLUX 등 많은 다양한 모델이 존재하며, 이들의 모델 리소스가 반드시 호환되지는 않기 때문입니다. 또한, 모델 파일의 이름을 변경하여 간단한 모델 정보를 추가하면 나중에 모델이 많아졌을 때 구분하기 쉬워집니다.

단계 2: ComfyUI 재시작

설치 후 ComfyUI를 재시작하거나 새로고침하여 새로운 모델을 인식시킵니다

단계 3: 워크플로우 파일 다운로드 및 ComfyUI에 가져오기

워크플로우 파일 설명

이 파일에는 3개의 워크플로우가 포함되어 있습니다:

기본 모델
기본 모델 + MoXin LoRA(가중치 1.0)
기본 모델 + MoXin LoRA(가중치 0.2) + QingYi LoRA(가중치 0.1)

이들은 모두 동일한 시드를 사용하여 LoRA 적용 전후의 효과를 비교하기 위한 변수의 일관성을 보장합니다. 다른 가중치를 시도하여 효과를 비교해볼 수 있습니다.