Flux.1 ComfyUI: руководство по установке, рабочий процесс и примеры

Это руководство расскажет, как установить ComfyUI на ваш компьютер с Windows для работы с Flux.1. В нем рассматриваются следующие темы:

• Введение в Flux.1
• Обзор различных версий Flux.1
• Аппаратные требования Flux
• Как установить и использовать Flux.1 с ComfyUI
• Связанные ресурсы для Flux.1, такие как LoRA, ControlNet и др.

В этой статье я расскажу о различных версиях модели FLux, в первую очередь об официальной и сторонних дистиллированных версиях, а также о версии FP8 для ComfyUI, которая поставляется одним файлом.

• В первой части руководства основное внимание уделяется официальной и сторонним дистиллированным версиям, для которых требуется установка дополнительных моделей.
• Во второй части рассматривается версия FP8 для ComfyUI, которую можно использовать сразу после установки только одной контрольной точки (Checkpoint).

Введение в Flux.1

Flux.1 — это набор генеративных моделей изображений, представленных Black Forest Labs, лабораторией с выдающимися возможностями генерации изображений по тексту и понимания языка. Flux.1 выделяется качеством визуализации и детализацией изображений, особенно в генерации текста, сложных композициях и изображениях рук. Модель улучшила детализацию рук, значительно уменьшив деформации пальцев, часто встречающиеся в моделях Stable Diffusion. Flux.1 также повысил качество изображений, сократив разрыв с ведущим генеративным ПО, таким как Midjourney.

Black Forest Labs основана Робином Ромбахом, бывшим ключевым участником Stability AI.

Официальный сайт Black Forest Labs: https://blackforestlabs.ai/

Установка или обновление ComfyUI

Чтобы использовать Flux.1 в ComfyUI, необходимо обновить ComfyUI до последней версии. Если вы еще не обновили ComfyUI, воспользуйтесь статьями ниже для установки или обновления.

Часть 1. Официальные и дистиллированные версии Flux.1

Официальные модели Flux.1

Я перечислил 3 версии, официально выпущенные Flux.1, однако для них требуются мощные аппаратные ресурсы. Сейчас существует множество открытых версий с меньшими требованиями, которые вы можете выбрать по своим возможностям.

Подробнее — репозиторий Flux.1: https://github.com/black-forest-labs/flux

Аппаратные требования Flux.1 для ComfyUI

Минимум VRAM: 8-12 ГБ (медленная генерация)
Рекомендуется VRAM: 16-24 ГБ

Существуют и версии с меньшими требованиями, например GGUF, которым достаточно 6 ГБ VRAM.

Официальные и открытые версии Flux.1: ссылки для скачивания

Официально выпущено 3 модели, но только Dev и Schnell доступны в открытом доступе. Из-за высоких требований к железу сообщество выпустило облегчённые версии:

• Официальные: dev, schnell
• ComfyUI FP8: dev, schnell
• Kijai FP8: flux-fp8
• lllyasviel BNB NF4 V2: dev
• City96 GGUF: dev, schnell

Если появятся новые версии, статья будет обновляться. Рекомендуется скачивать модели отдельно под нужный рабочий процесс.

Если вы хотите использовать Flux.1 в ComfyUI, обновите ComfyUI до последней версии. Инструкции по установке и обновлению:

Оригинальный рабочий процесс Flux.1 в ComfyUI

Оригинальный процесс сложнее, требует установки нескольких файлов. Руководство состоит из двух частей:

• Скачивание и установка моделей CLIP, VAE, UNET
• Сложный рабочий процесс Flux.1 (Dev и Schnell), а также пример для малой памяти

Часть 1: Скачивание и установка моделей CLIP, VAE, UNET

Скачивание моделей ComfyUI flux_text_encoders (CLIP)

ComfyUI flux_text_encoders на Hugging Face

1. Скачайте clip_l.safetensors
2. Скачайте t5xxl_fp8_e4m3fn.safetensors или t5xxl_fp16.safetensors в зависимости от вашей VRAM и RAM
3. Поместите файлы в папку ComfyUI/models/clip/ Примечание: если вы использовали SD 3 Medium, эти модели могут уже быть у вас

Скачивание VAE для FLux.1

FLUX.1-schnell на Hugging Face

1. Скачайте ae.safetensors
2. Поместите файл в ComfyUI/models/vae
3. Для удобства переименуйте в flux_ae.safetensors

Скачивание UNET для FLux.1

FLUX.1-schnell на Hugging Face

1. Скачайте нужный файл
2. Поместите в ComfyUI/models/unet/

Часть 2: Пример оригинального рабочего процесса Flux.1 в ComfyUI

Официальный пример: https://comfyanonymous.github.io/ComfyUI_examples/flux/
Можно просто сохранить изображение и загрузить в Comfy!

Пример рабочего процесса Flux Dev

Пример рабочего процесса Flux Schnell

Flux для VRAM менее 12ГБ

https://civitai.com/posts/5006398

Comfy ORG FP8 Checkpoint версия

Эти контрольные точки предоставлены ComfyUI Org — достаточно скачать только один файл.

1. Скачайте нужную модель
2. Поместите в ComfyUI/models/checkpoints/

Также можно использовать Kijai Flux-FP8. Рекомендуется переименовать файл или создать отдельную папку для удобства.

Пример рабочего процесса Flux dev FP8 Checkpoint

Пример рабочего процесса Flux Schnell FP8 Checkpoint

NF4 версия Flux.1: рабочий процесс

Автор: lllyasviel
Сначала установите плагин: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
Инструкции по установке: Руководство по установке плагинов ComfyUI

Скачивание модели NF4

lllyasviel сделал две версии NF4, рекомендуется скачивать V2 — она лучше по деталям.

1. Установите ComfyUI_bitsandbytes_NF4, если не знаете как — инструкция
2. Скачайте flux1-dev-bnb-nf4-v2 и поместите в comfyui/models/checkpoints

Пример рабочего процесса NF4 Flux.1

GGUF версия Flux.1: рабочий процесс

Автор: City96
Проект: https://github.com/city96/ComfyUI-GGUF

Установка плагинов и скачивание моделей

1. Скачайте Flux GGUF dev или Flux GGUF schnell и поместите в comfyui/models/unet
2. Скачайте t5-v1_1-xxl-encoder-gguf и поместите в comfyui/models/clip
3. Скачайте clip_l.safetensors и поместите в comfyui/models/clip
4. Скачайте ae.safetensors и поместите в comfyui/models/vae, переименуйте в flux_ae.safetensors
5. Установите плагин ComfyUI-GGUF, если не знаете как — инструкция

Пример рабочего процесса GGUF Flux.1

Онлайн-использование Flux.1

Вот несколько онлайн-сервисов от Black Forest Labs для работы с Flux.1:

huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell

Настройка ComfyUI и Windows

Следующие шаги помогут оптимизировать настройки Windows для максимального использования ресурсов. При запуске Flux.1 в ComfyUI рекомендуется не запускать другие программы для экономии памяти.

Настройка виртуальной памяти Windows

Решение проблем

1. Предупреждение о нехватке памяти

Используйте односоставную версию fp8

2. Решение проблем с производительностью
   https://github.com/comfyanonymous/ComfyUI/discussions/4457

Ресурсы Flux.1

Больше ресурсов по Flux здесь

Flux GGUF кванты

GGUF кванты: https://huggingface.co/city96/FLUX.1-dev-gguf
Нода для загрузки: https://github.com/city96/ComfyUI-GGUF
Источник: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora — фотореализм для FLUX.1-dev
https://huggingface.co/alvdansen/frosting_lane_flux
https://huggingface.co/alvdansen/softserve_anime
https://huggingface.co/davisbro/half_illustration
https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur
Другие LoRA и ресурсы можно найти на civitai
XLabs-AI/flux-lora-collection: https://huggingface.co/XLabs-AI/flux-lora-collection

Совет: В последних версиях ComfyUI при использовании нескольких FLUX LoRA моделей может возникать чрезмерное потребление видеопамяти, даже на топовых видеокартах (например, NVIDIA RTX 4090). Это не зависит от размера LoRA. Попробуйте GGUF-версию модели или используйте LoRA от Xlab с загрузкой рабочего процесса ComfyUI.

Онлайн-инструмент для обучения Flux LoRA

Простой веб-интерфейс для обучения FLUX LoRA с поддержкой низкой VRAM (12/16/20ГБ):
https://github.com/cocktailpeanut/fluxgym

Онлайн-инструмент для обучения Flux LoRA (Replicate)

Replicate предлагает инструмент “ostris/flux-dev-lora-trainer”, позволяющий обучить свою LoRA-модель минимум на 10 изображениях.

• Цена: обучение на Nvidia H100 — $0.001528/сек.
• Как обучать: документация
• Лицензия: все LoRA для Flux-Dev имеют ту же лицензию, что и базовая FLUX.1-dev

Обучение FLUX.1 от Ostris
https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0
Обучение Flux LoRA от FAI
https://fal.ai/models/fal-ai/flux-lora-general-training?a=1
Пример DreamBooth для FLUX.1 [dev]
https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md

Flux ControlNet

Коллекция ControlNet для Flux: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux Union Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha
FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

IP-Adapter для FLUX.1-dev от Black Forest Labs
https://huggingface.co/XLabs-AI/flux-ip-adapter

Примеры рабочих процессов Flux

Больше примеров: https://openart.ai/workflows/all?keyword=flux