Подробное руководство по workflow Flux ControlNet

В этом руководстве вы узнаете, как использовать официальные модели ControlNet от Flux в ComfyUI. Мы рассмотрим работу с двумя официальными моделями управления: FLUX.1 Depth и FLUX.1 Canny.

Это руководство основано на и обновлено по материалам ComfyUI Flux examples

Описание моделей

FLUX.1 Depth [dev]

• Модель rectified flow transformer с 12 миллиардами параметров
• Управление структурой на основе карт глубины
• Использует метод обучения с направленной дистилляцией для повышения эффективности
• Разрешено личное, исследовательское и коммерческое использование

FLUX.1 Canny [dev]

• Модель rectified flow transformer с 12 миллиардами параметров
• Управление структурой на основе детектора границ Canny
• Также использует метод обучения с направленной дистилляцией
• Следует некоммерческой лицензии FLUX.1 [dev]

Обзор версий моделей

Модели Flux ControlNet доступны в двух вариантах: Полная модель и LoRA-модель.

Полная версия модели

• Полный файл модели, содержащий все веса
• Требует больше видеопамяти (VRAM)
• Обеспечивает наилучшее качество генерации

LoRA-версия

• Облегчённая модель, содержащая только разницу весов
• Требует наличия базовой модели Flux
• Меньше расходует VRAM

Подготовка

1. Обновление ComfyUI

Сначала убедитесь, что ваша версия ComfyUI обновлена до самой последней. Если вы не знаете, как обновить ComfyUI, обратитесь к инструкции по обновлению ComfyUI.

Важно: Для работы Flux ControlNet требуется последняя версия ComfyUI, поэтому обязательно выполните обновление.

2. Скачивание полной версии моделей

3. Скачивание LoRA-версии моделей

4. Скачивание файлов workflow

5. Системные требования

• Требования к VRAM: рекомендуется минимум 16 ГБ видеопамяти
• Если видеопамяти недостаточно, используйте модели fp8 для снижения нагрузки

Полезные ресурсы

• Официальная страница FLUX.1 Depth Dev
• Официальная страница FLUX.1 Canny Dev
• Примеры ComfyUI Flux
• Блог blackforestlabs