Step1X-Edit: 오픈소스 AI 이미지 편집 프레임워크
2025. 04. 28.
Detailed Guide to Flux ControlNet Workflow (FLUX ControlNet 워크플로우 상세 가이드)
이 튜토리얼은 ComfyUI에서 Flux의 공식 ControlNet 모델을 사용하는 방법을 안내합니다. 우리는 FLUX.1 Depth와 FLUX.1 Canny라는 두 가지 공식 제어 모델의 사용법을 다룰 것입니다.
이 튜토리얼은 ComfyUI Flux 예제를 기반으로 업데이트되었습니다.
모델 소개
FLUX.1 Depth [dev]
- 120억 매개변수의 정류 흐름 변환기 모델
- 깊이 맵을 기반으로 한 구조적 가이드
- 향상된 효율성을 위한 가이드 증류 훈련 사용
- 개인, 연구 및 상업적 사용 지원
FLUX.1 Canny [dev]
- 120억 매개변수의 정류 흐름 변환기 모델
- Canny 에지 검출을 기반으로 한 구조적 가이드
- 또한 가이드 증류 훈련 방법 사용
- FLUX.1 [dev] 비상업적 라이선스 준수
모델 버전 개요
Flux ControlNet 모델은 두 가지 버전으로 제공됩니다: Full Model과 LoRA Model.
Full Model Version
- 모든 가중치를 포함하는 완전한 모델 파일
- 더 큰 VRAM 필요
- 최고의 생성 품질
LoRA Version
- 차이 가중치만 포함하는 경량 모델
- 기본 Flux 모델 필요
- 낮은 VRAM 사용
준비
1. ComfyUI 업데이트
먼저, ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요. ComfyUI를 업데이트하고 업그레이드하는 방법을 모른다면 ComfyUI 업데이트 및 업그레이드 방법을 참조하세요.
참고: Flux ControlNet 기능은 최신 버전의 ComfyUI가 필요하므로 먼저 업데이트를 완료하세요.
2. Full Version Model 다운로드
| 모델 이름 | 파일 이름 | 설치 위치 | 다운로드 링크 | 설명 |
|---|---|---|---|---|
| CLIP Model | clip_l.safetensors | ComfyUI/models/clip/ | 다운로드 | 표준 CLIP 인코더 |
| CLIP Model | t5xxl_fp16.safetensors | ComfyUI/models/clip/ | 다운로드 | 표준 정밀도 버전 |
| CLIP Model | t5xxl_fp8_e4m3fn.safetensors | ComfyUI/models/clip/ | 다운로드 | 저정밀도 버전 |
| VAE Model | ae.safetensors | ComfyUI/models/vae/ | 다운로드 | VAE 인코더-디코더 |
| Flux Depth | flux1-depth-dev.safetensors | ComfyUI/models/diffusion_models/ | 다운로드 | 깊이 제어 모델 |
| Flux Canny | flux1-canny-dev.safetensors | ComfyUI/models/diffusion_models/ | 다운로드 | 에지 제어 모델 |
3. LoRA Version Model 다운로드
| 모델 이름 | 파일 이름 | 설치 위치 | 다운로드 링크 | 설명 |
|---|---|---|---|---|
| Flux Base Model | flux1-dev.safetensors | ComfyUI/models/diffusion_models/ | 다운로드 | LoRA 기본 모델 |
| Depth LoRA | flux1-depth-dev-lora.safetensors | ComfyUI/models/loras/ | 다운로드 | 깊이 제어 LoRA |
| Canny LoRA | flux1-canny-dev-lora.safetensors | ComfyUI/models/loras/ | 다운로드 | 에지 제어 LoRA |
4. 워크플로우 파일 다운로드
5. 시스템 요구 사항
- VRAM 요구 사항: 최소 16GB VRAM 권장
- VRAM이 제한된 경우, fp8 버전 모델을 사용하여 VRAM 사용량을 줄일 수 있습니다.