Shakker Labs выпускает FLUX.1-dev-ControlNet-Union-Pro-2.0
Shakker Labs недавно выпустил новую версию сети ControlNet для модели FLUX.1-dev - FLUX.1-dev-ControlNet-Union-Pro-2.0. Эта новая модель была оптимизирована в множественных аспектах, особенно в улучшении эффектов контроля и сокращении размера модели.
Ключевые обновления в новой версии
По сравнению с предыдущей FLUX.1-dev-ControlNet-Union-Pro, новая версия имеет следующие значительные улучшения:
- Меньший размер модели: Удалена функция встраивания режима, сокращая размер модели с 6.15GB до 3.98GB
- Улучшенные эффекты контроля: Оптимизировано обнаружение краев Canny и контроль позы, обеспечивая лучшую точность контроля и эстетические эффекты
- Настройки режима контроля: Добавлена поддержка мягкого обнаружения краев, но удалена поддержка режима плитки
Онлайн-опыт
Поддерживаемые режимы контроля
Эта модель ControlNet поддерживает множественные режимы контроля, включая:
- Обнаружение краев Canny
- Мягкие края
- Глубина
- Поза
- Серый
Пользователи могут использовать эту модель как обычный ControlNet, и она может быть объединена с другими моделями ControlNet для достижения множественных эффектов контроля.
Демонстрация модели
Вот демонстрации модели в различных режимах контроля:
Рекомендуемые настройки параметров
Официальная рекомендация для различных типов контроля включает следующие настройки параметров. Вы можете настроить параметры controlnet_conditioning_scale и control_guidance_end для достижения лучших эффектов контроля и сохранения деталей:
- Края Canny: Используя алгоритм cv2.Canny, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
- Мягкие края: Используя AnylineDetector, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
- Глубина: Используя depth-anything, controlnet_conditioning_scale=0.8, control_guidance_end=0.8
- Поза: Используя DWPose, controlnet_conditioning_scale=0.9, control_guidance_end=0.65
- Серый: Используя cv2.cvtColor, controlnet_conditioning_scale=0.9, control_guidance_end=0.8
Для лучшей стабильности генерации настоятельно рекомендуется использовать детальные промпты. В некоторых случаях использование множественных условных контролей даст лучшие результаты.
Технические детали
Эта модель ControlNet состоит из 6 двойных блоков и 0 одинарных блоков, с удаленным встраиванием режима. Модель была обучена с нуля в течение 300,000 шагов при разрешении 512x512, используя набор данных из 20 миллионов высококачественных общих и портретных изображений, с точностью BFloat16, размером батча 128, скоростью обучения 2e-5, диапазоном направляющей выборки от 1 до 7 и скоростью выпадения текста 0.20.
Связанные ресурсы
- InstantX/FLUX.1-dev-IP-Adapter
- InstantX/FLUX.1-dev-Controlnet-Canny
- Shakker-Labs/FLUX.1-dev-ControlNet-Depth
- Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro