ComfyUI에서 Canny ControlNet SD1.5 모델 사용하는 방법 - 완벽 가이드

SD1.5 Canny ControlNet 소개

Canny ControlNet은 가장 일반적으로 사용되는 ControlNet 모델 중 하나입니다. Canny 엣지 감지 알고리즘을 사용하여 이미지에서 엣지 정보를 추출한 다음, 이 엣지 정보를 AI 이미지 생성의 가이드로 사용합니다.

이 튜토리얼은 SD1.5와 함께 Canny ControlNet 모델을 사용하는 데 중점을 둡니다.

관련 콘텐츠: ControlNet 모델 설치 및 사용 가이드 ControlNet 모델 다운로드 링크

Canny ControlNet의 주요 특징

• 구조 보존: 원본 이미지의 기본 구조와 윤곽선을 효과적으로 유지
• 높은 유연성: 엣지 감지 매개변수 조정을 통한 가이드 강도 제어
• 광범위한 적용: 스케치, 라인아트, 건축 디자인 및 다양한 다른 시나리오에 적합
• 안정적인 결과: 다른 ControlNet 모델에 비해 더 안정적이고 예측 가능한 가이드 제공

튜토리얼 준비

1. ComfyUI 업데이트 및 필요한 모델 설치

일부 노드가 새로운 ComfyUI 노드를 사용하므로 먼저 ComfyUI를 최신 버전으로 업데이트해야 합니다.

• ComfyUI 업데이트는 ComfyUI 업데이트 튜토리얼을 참조하세요.

먼저 다음 모델을 설치해야 합니다:

2. 모델 파일 배치

다음 구조에 따라 모델 파일을 배치하세요:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11p_sd15_canny.pth
│   └── 📁vae
│       └── vae-ft-mse-840000-ema-pruned.safetensors

3. SD1.5 Canny ControlNet 워크플로우 파일 다운로드

아래 이미지를 로컬에 저장한 다음, 워크플로우를 가져온 후 LoadImage 노드에 로드하세요

워크플로우 개요

이 워크플로우는 다음과 같은 주요 부분으로 구성됩니다:

1. 모델 로딩: SD 모델, VAE 모델 및 ControlNet 모델 로딩
2. 프롬프트 인코딩: 긍정적 및 부정적 프롬프트 처리
3. 이미지 처리: 이미지 로딩 및 Canny 엣지 감지 포함
4. ControlNet 제어: 생성 프로세스에 엣지 정보 적용
5. 샘플링 및 저장: 최종 이미지 생성 및 저장

주요 노드 설명

1. LoadImage: 입력 이미지를 로드하는 데 사용

2. Canny: 두 가지 중요한 매개변수로 엣지 감지를 수행:

   • low_threshold: 하한 임계값, 엣지 감지 감도 제어
   • high_threshold: 상한 임계값, 엣지 연속성 제어

3. ControlNetLoader: ControlNet 모델을 로드

4. ControlNetApplyAdvanced: ControlNet 적용 방법을 제어, 다음과 같은 매개변수 포함:

   • strength: 제어 강도
   • start_percent: 영향이 시작되는 시점
   • end_percent: 영향이 끝나는 시점

사용 단계

1. 워크플로우 가져오기

   • 이 튜토리얼에서 워크플로우 파일 다운로드
   • ComfyUI에서 "Load" 클릭 또는 다운로드한 JSON 파일을 ComfyUI로 드래그 앤 드롭

2. 입력 이미지 준비

   • 처리하고 싶은 이미지 준비
   • LoadImage 노드를 사용하여 이미지 로드

3. Canny 매개변수 조정

   • 권장 low_threshold 범위: 0.2-0.5
   • 권장 high_threshold 범위: 0.5-0.8
   • PreviewImage 노드를 사용하여 엣지 감지 결과 미리보기

4. 생성 매개변수 설정

   • KSampler 노드에서:
     • steps: 권장 20-30
     • cfg: 권장 7-8
     • sampler_name: 권장 "dpmpp_2m"
     • scheduler: 권장 "karras"

5. ControlNet 강도 조정

   • strength: 1.0은 엣지 정보를 완전히 따름
   • 필요에 따라 strength 값을 줄여 제어 약화

팁과 권장사항

1. 엣지 감지 매개변수 조정

   • 엣지가 너무 많은 경우: 임계값 증가
   • 엣지가 너무 적은 경우: 임계값 감소
   • 먼저 PreviewImage 노드로 효과 미리보기

2. 프롬프트 작성

   • 긍정적 프롬프트는 원하는 스타일과 세부사항을 자세히 설명
   • 부정적 프롬프트는 피하고 싶은 요소 포함
   • 프롬프트는 원본 이미지 내용과 관련되어야 함

3. 일반적인 문제 해결책

   • 생성된 이미지가 너무 흐릿한 경우: cfg 값 증가
   • 엣지 추적이 불충분한 경우: strength 값 증가
   • 세부사항이 부족한 경우: steps 값 증가

관련 리소스

ControlNet 모델 다운로드 더 많은 ControlNet 튜토리얼