Flux.1 ComfyUI 설치 가이드, 워크플로우 및 예제

이 가이드는 Windows 컴퓨터에서 Flux.1을 실행하기 위해 ComfyUI를 설정하는 방법에 대해 다룹니다. 다음 주제를 포함합니다:

• Flux.1 소개
• Flux.1의 다양한 버전 개요
• Flux 하드웨어 요구 사항
• ComfyUI와 함께 Flux.1을 설치하고 사용하는 방법
• LoRA, ControlNet 등 Flux.1 관련 리소스

이 문서에서는 주로 공식 버전과 서드파티 디스틸 버전을 소개하며, 추가로 ComfyUI는 FP8 단일 파일 버전도 제공합니다.

• 튜토리얼의 첫 번째 부분에서는 더 많은 관련 모델 설치가 필요한 공식 버전과 서드파티 디스틸 버전을 주로 설명합니다.
• 두 번째 부분에서는 단일 Checkpoint 모델만 설치하면 바로 사용할 수 있는 ComfyUI의 FP8 버전을 사용합니다.

Flux.1 소개

Flux.1은 Black Forest Labs에서 도입한 생성 이미지 모델 모음으로, 뛰어난 텍스트-이미지 생성 및 언어 이해 능력을 갖추고 있습니다. Flux.1은 시각적 품질과 이미지 디테일에서 뛰어나며, 특히 텍스트 생성, 복잡한 구성 및 손 묘사에서 우수합니다. 이 모델은 손가락 변형 문제를 크게 개선하여 Stable Diffusion 모델에서 자주 발생하는 손가락 변형 문제를 해결했습니다. Flux.1은 또한 이미지 품질을 향상시켜 최고 수준의 생성 이미지 소프트웨어인 Midjourney와의 격차를 좁혔습니다.

Black Forest Labs는 Stability AI의 전 핵심 멤버인 Robin Rombach에 의해 설립되었습니다.

Black Forest Labs 공식 웹사이트: https://blackforestlabs.ai/

Comfy UI 설치 또는 업데이트

ComfyUI 내에서 Flux.1을 사용하려면 최신 ComfyUI 모델로 업그레이드해야 합니다. 아직 ComfyUI를 업데이트하지 않았다면 아래 기사들을 참조하여 업그레이드 또는 설치 방법을 확인하세요.

Part1. 공식 버전 및 디스틸 버전의 Flux.1

공식 Flux.1 모델

현재 Flux.1에서 공식적으로 출시된 3가지 버전을 나열했지만, 공식 버전은 높은 하드웨어 요구 사항을 가지고 있습니다. 현재 하드웨어 요구 사항이 낮은 여러 오픈 소스 버전이 제공되고 있으며, 필요에 따라 선택할 수 있습니다.

자세한 정보는 Flux.1 저장소를 방문하세요: https://github.com/black-forest-labs/flux

Flux.1 ComfyUI 하드웨어 요구 사항

최소 VRAM: 8-12GB 이상 (느린 생성 속도) 권장 VRAM : 16-24GB

현재 하드웨어 요구 사항이 낮은 여러 오픈 소스 커뮤니티 버전이 제공되고 있으며, GGUF 버전과 같은 최소 VRAM 요구 사항이 6GB인 버전도 있습니다.

Flux.1 공식 및 오픈 소스 커뮤니티 버전 다운로드 주소

Flux.1은 현재 공식적으로 3가지 모델을 출시했지만, Dev와 Schnell 버전만 오픈 소스입니다. Flux의 높은 하드웨어 요구 사항으로 인해, 많은 버전이 오픈 소스 커뮤니티에 의해 원본 버전을 기반으로 반복되었습니다. 주요 버전은 다음과 같습니다:

• Black Forest Labs 공식 버전 dev 、 schnell
• ComfyUI FP8 버전 dev 、schnell
• Kijia FP8 버전 flux-fp8
• lllyasviel BNB NF4 V2 버전 dev
• City96 GGUF 버전 dev 、 schnell

새로운 버전이 있을 경우, 이 문서에서 업데이트할 예정이니 북마크해 두세요. 각 버전에 대한 정보는 다음과 같습니다. 표에서 다운로드 링크를 제공하지만, 워크플로우에 따라 모델을 개별적으로 다운로드하는 것을 권장합니다.

Flux.1을 ComfyUI에서 사용하려면 최신 ComfyUI 버전으로 업그레이드해야 합니다. 아직 ComfyUI를 업데이트하지 않았다면 아래 기사들을 참조하여 업그레이드 또는 설치 방법을 확인하세요.

원본 버전 Flux.1 ComfyUI 워크플로우 가이드

원본 버전 워크플로우는 여러 파일 설치가 필요하여 더 복잡합니다. 이 튜토리얼은 두 부분으로 구성됩니다:

• CLIP, VAE, UNET 모델 다운로드 및 설치
• Flux.1 원본 버전 복잡한 워크플로우, Dev 및 Schnell 버전 포함, 저메모리 버전 워크플로우 예제 포함

Part 1: CLIP, VAE, UNET 모델 다운로드 및 설치

ComfyUI flux_text_encoders clip 모델 다운로드

ComfyUI flux_text_encoders on hugging face

1. clip_l.safetensors 다운로드
2. t5xxl_fp8_e4m3fn.safetensors 또는 t5xxl_fp16.safetensors 다운로드 (VRAM 및 RAM에 따라 선택)
3. 다운로드한 모델 파일을 ComfyUI/models/clip/ 폴더에 배치 참고: 이전에 SD 3 Medium을 사용한 적이 있다면, 위의 두 모델을 이미 가지고 있을 수 있습니다.

FLux.1 VAE 모델 다운로드

FLUX.1-schnell on hugging face

1. ae.safetensors 모델 다운로드
2. 다운로드한 모델 파일을 ComfyUI/models/vae 폴더에 배치
3. 식별을 위해 flux_ae.safetensors로 이름 변경 가능

FLux.1 UNET 모델 다운로드

FLUX.1-schnell on hugging face

1. flux1-schnell.safetensors 다운로드
2. 다운로드한 모델 파일을 ComfyUI/models/unet/ 폴더에 배치

Part 2: Flux.1 ComfyUI Original Workflow Example

ComfyUI 공식 Flux.1 워크플로우 예제: https://comfyanonymous.github.io/ComfyUI_examples/flux/ 이미지를 저장하고 ComfyUI에 로드할 수 있습니다!

Flux Dev ComfyUI 워크플로우 예제

Flux Schnell ComfyUI 워크플로우 예제

Flux under 12GB VRAM

https://civitai.com/posts/5006398

Comfy ORG FP8 Checkpoint version

다음의 Checkpoint 모델은 ComfyUI Org에서 제공하며, 하나의 모델 파일만 다운로드하여 바로 사용할 수 있습니다.

1. 필요한 모델 버전을 다운로드
2. ComfyUI/models/checkpoints/ 폴더에 배치

Kijia Flux-FP8도 사용할 수 있으며, 파일 이름이 유사하므로 다운로드 후 파일 이름을 변경하거나 별도의 폴더를 만들어 구분하는 것이 좋습니다.

Flux dev FP8 Checkpoint version workflow example

Flux Schnell FP8 Checkpoint version workflow example

NF4 Version Flux.1 Workflow

작성자: lllyasviel 먼저, 해당 플러그인을 설치해야 합니다: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 플러그인 설치 지침은 ComfyUI 플러그인 설치 가이드에서 확인할 수 있습니다.

NF4 Version Model Download

lllyasviel은 두 가지 버전의 NF4 Flux 모델을 만들었으며, V2 버전을 직접 다운로드하는 것이 좋습니다. 이 버전은 더 나은 세부 사항과 효과를 제공합니다.

1. ComfyUI_bitsandbytes_NF4 플러그인을 설치합니다. 플러그인 설치 방법을 모른다면 ComfyUI 플러그인 설치 가이드를 참조하세요.
2. flux1-dev-bnb-nf4-v2 파일을 다운로드하고, 다운로드한 파일을 comfyui/models/checkpoints 디렉토리에 배치합니다.

NF4 Version Flux.1 Workflow Example

GGUF Version Flux.1 Workflow

작성자: City96 프로젝트 주소: https://github.com/city96/ComfyUI-GGUF

플러그인 설치 및 모델 다운로드

1. Flux GGUF dev 모델 또는 Flux GGUF schnell 모델을 다운로드하고, 모델 파일을 comfyui/models/unet 디렉토리에 배치합니다.
2. t5-v1_1-xxl-encoder-gguf을 다운로드하고, 모델 파일을 comfyui/models/clip 디렉토리에 배치합니다.
3. clip_l.safetensors을 다운로드하고, 모델 파일을 comfyui/models/clip 디렉토리에 배치합니다.
4. ae.safetensors을 다운로드하고, 모델 파일을 comfyui/models/vae 디렉토리에 배치한 후 flux_ae.safetensors로 이름을 변경합니다.
5. ComfyUI-GGUF 플러그인을 설치합니다. 플러그인 설치 방법을 모른다면 ComfyUI 플러그인 설치 가이드를 참조하세요.

GGUF Version Flux.1 Workflow Example

Run Flux.1 online

다음은 Black Forest Labs에서 제공하는 Flux.1 모델을 활용하거나 호출할 수 있는 온라인 방법입니다.

huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell

ComfyUI와 Windows 시스템 설정 조정

다음 단계는 Windows 시스템 설정을 최적화하여 시스템 리소스를 최대한 활용할 수 있도록 설계되었습니다. 또한, ComfyUI와 함께 Flux.1 모델을 실행할 때는 메모리 사용을 최소화하기 위해 다른 소프트웨어를 실행하지 않는 것이 좋습니다.

Windows 가상 메모리 설정

문제 해결

1. 메모리 부족 경고

단일 파일 fp8 버전을 사용하세요.

2. 성능 문제 해결
   https://github.com/comfyanonymous/ComfyUI/discussions/4457

Flux.1 리소스

더 많은 Flux 리소스 보기

Flux GGUF quants

GGUF quants는 다음에서 확인할 수 있습니다: https://huggingface.co/city96/FLUX.1-dev-gguf 로드할 노드는 다음에서 확인할 수 있습니다: https://github.com/city96/ComfyUI-GGUF 출처: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora FLUX.1-dev 모델용 포토리얼리즘 by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime alvdansen/softserve_anime https://huggingface.co/davisbro/half_illustration davisbro/half_illustration https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur Flux.1 LoRA 및 기타 리소스는 civitai에서 다운로드할 수 있습니다.
XLabs-AI/flux-lora-collection: https://huggingface.co/XLabs-AI/flux-lora-collection

팁: 최신 버전의 ComfyUI는 여러 FLUX LoRA 모델을 사용할 때 과도한 그래픽 메모리 사용 문제를 겪을 수 있으며, 이 문제는 LoRA 모델의 크기와 관련이 없습니다. NVIDIA GeForce RTX 4090과 같은 고급 그래픽 카드도 유사한 문제를 겪을 수 있습니다. 모델의 GGUF 버전을 사용하거나, Xlab의 LoRA를 사용하여 ComfyUI 워크플로우를 로드하는 것이 이 문제에 대한 잠재적인 해결책이 될 수 있습니다.

Flux LoRA 온라인 훈련 도구

낮은 VRAM (12GB/16GB/20GB) 지원으로 FLUX LoRA를 훈련할 수 있는 간단한 웹 UI. https://github.com/cocktailpeanut/fluxgym

Flux LoRA 온라인 훈련 도구

Replicate는 “ostris/flux-dev-lora-trainer”라는 훈련 도구를 제공하며, 최소 10개의 이미지로 Lora 스타일 모델을 훈련할 수 있습니다. 시도해보세요.

• 가격: 이 모델의 훈련은 Nvidia H100 GPU 하드웨어에서 실행되며, 비용은 초당 $0.001528입니다.
• 훈련 방법: 이 문서를 읽어보세요.
• 라이선스: 모든 Flux-Dev LoRA는 FLUX.1-dev의 원본 기본 모드와 동일한 라이선스를 가집니다.

FLUX.1 훈련 by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 FAI를 통한 Flux LoRA 훈련 https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 FLUX.1 [dev]용 DreamBooth 훈련 예제 https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md

Flux ControlNet

Flux ControlNet 컬렉션: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

FLUX.1-dev 모델용 IP-Adapter 체크포인트 by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter

Flux workflow example

더 많은 워크플로우 예제는 다음에서 확인할 수 있습니다: https://openart.ai/workflows/all?keyword=flux