Shakker Labs выпускает FLUX.1-dev-ControlNet-Union-Pro-2.0

Shakker Labs недавно выпустил новую версию сети ControlNet для модели FLUX.1-dev - FLUX.1-dev-ControlNet-Union-Pro-2.0. Эта новая модель была оптимизирована в множественных аспектах, особенно в улучшении эффектов контроля и сокращении размера модели.

Ключевые обновления в новой версии

По сравнению с предыдущей FLUX.1-dev-ControlNet-Union-Pro, новая версия имеет следующие значительные улучшения:

• Меньший размер модели: Удалена функция встраивания режима, сокращая размер модели с 6.15GB до 3.98GB
• Улучшенные эффекты контроля: Оптимизировано обнаружение краев Canny и контроль позы, обеспечивая лучшую точность контроля и эстетические эффекты
• Настройки режима контроля: Добавлена поддержка мягкого обнаружения краев, но удалена поддержка режима плитки

Онлайн-опыт

Поддерживаемые режимы контроля

Эта модель ControlNet поддерживает множественные режимы контроля, включая:

• Обнаружение краев Canny
• Мягкие края
• Глубина
• Поза
• Серый

Пользователи могут использовать эту модель как обычный ControlNet, и она может быть объединена с другими моделями ControlNet для достижения множественных эффектов контроля.

Демонстрация модели

Вот демонстрации модели в различных режимах контроля:

Рекомендуемые настройки параметров

Официальная рекомендация для различных типов контроля включает следующие настройки параметров. Вы можете настроить параметры controlnet_conditioning_scale и control_guidance_end для достижения лучших эффектов контроля и сохранения деталей:

• Края Canny: Используя алгоритм cv2.Canny, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
• Мягкие края: Используя AnylineDetector, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
• Глубина: Используя depth-anything, controlnet_conditioning_scale=0.8, control_guidance_end=0.8
• Поза: Используя DWPose, controlnet_conditioning_scale=0.9, control_guidance_end=0.65
• Серый: Используя cv2.cvtColor, controlnet_conditioning_scale=0.9, control_guidance_end=0.8

Для лучшей стабильности генерации настоятельно рекомендуется использовать детальные промпты. В некоторых случаях использование множественных условных контролей даст лучшие результаты.

Технические детали

Эта модель ControlNet состоит из 6 двойных блоков и 0 одинарных блоков, с удаленным встраиванием режима. Модель была обучена с нуля в течение 300,000 шагов при разрешении 512x512, используя набор данных из 20 миллионов высококачественных общих и портретных изображений, с точностью BFloat16, размером батча 128, скоростью обучения 2e-5, диапазоном направляющей выборки от 1 до 7 и скоростью выпадения текста 0.20.

Связанные ресурсы

• InstantX/FLUX.1-dev-IP-Adapter
• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

Связанные ссылки

• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0