Detailed Guide to Flux ControlNet Workflow (FLUX ControlNet 워크플로우 상세 가이드)

이 튜토리얼은 ComfyUI에서 Flux의 공식 ControlNet 모델을 사용하는 방법을 안내합니다. 우리는 FLUX.1 Depth와 FLUX.1 Canny라는 두 가지 공식 제어 모델의 사용법을 다룰 것입니다.

이 튜토리얼은 ComfyUI Flux 예제를 기반으로 업데이트되었습니다.

모델 소개

FLUX.1 Depth [dev]

• 120억 매개변수의 정류 흐름 변환기 모델
• 깊이 맵을 기반으로 한 구조적 가이드
• 향상된 효율성을 위한 가이드 증류 훈련 사용
• 개인, 연구 및 상업적 사용 지원

FLUX.1 Canny [dev]

• 120억 매개변수의 정류 흐름 변환기 모델
• Canny 에지 검출을 기반으로 한 구조적 가이드
• 또한 가이드 증류 훈련 방법 사용
• FLUX.1 [dev] 비상업적 라이선스 준수

모델 버전 개요

Flux ControlNet 모델은 두 가지 버전으로 제공됩니다: Full Model과 LoRA Model.

Full Model Version

• 모든 가중치를 포함하는 완전한 모델 파일
• 더 큰 VRAM 필요
• 최고의 생성 품질

LoRA Version

• 차이 가중치만 포함하는 경량 모델
• 기본 Flux 모델 필요
• 낮은 VRAM 사용

준비

1. ComfyUI 업데이트

먼저, ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요. ComfyUI를 업데이트하고 업그레이드하는 방법을 모른다면 ComfyUI 업데이트 및 업그레이드 방법을 참조하세요.

참고: Flux ControlNet 기능은 최신 버전의 ComfyUI가 필요하므로 먼저 업데이트를 완료하세요.

2. Full Version Model 다운로드

3. LoRA Version Model 다운로드

4. 워크플로우 파일 다운로드

5. 시스템 요구 사항

• VRAM 요구 사항: 최소 16GB VRAM 권장
• VRAM이 제한된 경우, fp8 버전 모델을 사용하여 VRAM 사용량을 줄일 수 있습니다.

Flux ControlNet 워크플로우 사용 가이드

Full Version 사용 팁

1. ControlNetLoader

   • Depth Model: 참조 이미지의 3D 구조 유지
   • Canny Model: 참조 이미지의 에지 라인 유지

2. Preprocessing Nodes

   • DepthPreprocessor: 깊이 맵 생성, 추가 조정 불필요
   • CannyEdgePreprocessor: 임계값 조정으로 에지 검출 세부 조절
     • 낮은 임계값: 에지 검출 민감도
     • 높은 임계값: 에지 라인 완전성

3. FluxGuidance

   • 권장 값: 3.5-4.0
   • 높은 값은 생성 결과를 프롬프트 설명에 더 가깝게 만듭니다.

4. ModelSamplingFlux

   • shift_factor: 1.15 (기본 값, 일반적으로 조정 불필요)
   • multiplier: 0.5 (필요에 따라 미세 조정 가능)

LoRA Version 사용 팁

1. LoraLoaderModelOnly Node

   • 해당 LoRA 모델 파일 로드
   • 권장 강도 매개변수: 1.0
   • 기본 Flux 모델을 먼저 로드해야 합니다.

2. InstructPixToPixConditioning Node

   • 이미지-투-이미지 조건 제어에 사용
   • VAE 및 원본 이미지 입력 연결 필요

3. KSampler 설정

   • 권장 단계: 20
   • 샘플러: euler
   • 스케줄러: normal
   • 디노이즈: 1.0

버전 선택 가이드라인

1. Full Version 선택 시기

   • 충분한 VRAM (16GB 이상) 보유
   • 최고의 생성 품질 추구
   • 더 정밀한 제어 필요

2. LoRA Version 선택 시기

   • 제한된 VRAM (8-16GB)
   • 더 빠른 생성 속도 필요
   • 품질 요구 사항이 엄격하지 않음

매개변수 조정 팁

Depth Control

• 공간 구조 유지가 필요한 장면에 적합
• 권장 제어 강도: 0.6-0.9

Canny Control

• 라인 및 윤곽 유지가 필요한 장면에 적합
• 권장 제어 강도: 0.5-0.8

일반 팁

• 기본 매개변수로 테스트 시작
• 생성 결과에 따라 제어 강도 점진적으로 조정
• 프롬프트 조정을 통해 결과 최적화

고급 응용

1. 혼합 제어

   • Depth와 Canny 제어를 동시에 사용할 수 있음
   • 다른 제어 네트워크의 가중치 조정

2. 스타일 전환

   • LoRA 모델과 결합
   • 스타일 프롬프트 사용

3. 배치 처리

   • 배치 처리 노드 사용
   • 워크플로우 최적화

참고 자료

• FLUX.1 Depth Dev 공식 페이지
• FLUX.1 Canny Dev 공식 페이지
• ComfyUI Flux 예제
• blackforestlabs 블로그