Shakker Labs lanza FLUX.1-dev-ControlNet-Union-Pro-2.0
Shakker Labs ha lanzado recientemente una nueva versión de la red ControlNet para el modelo FLUX.1-dev - FLUX.1-dev-ControlNet-Union-Pro-2.0. Este nuevo modelo ha sido optimizado en múltiples aspectos, especialmente en la mejora de los efectos de control y la reducción del tamaño del modelo.
Principales actualizaciones en la nueva versión
En comparación con el anterior FLUX.1-dev-ControlNet-Union-Pro, la nueva versión presenta las siguientes mejoras significativas:
- Tamaño de modelo más pequeño: Se eliminó la función de incrustación de modo, reduciendo el tamaño del modelo de 6.15GB a 3.98GB
- Efectos de control mejorados: Se optimizó la detección de bordes Canny y el control de poses, proporcionando mejor precisión de control y efectos estéticos
- Ajustes en los modos de control: Se añadió soporte para bordes suaves (soft edge) pero se eliminó el soporte para el modo de mosaico (tile)
Experiencia en línea
Modos de control soportados
Este modelo ControlNet admite múltiples modos de control, incluyendo:
- Detección de bordes Canny
- Bordes suaves (Soft Edge)
- Profundidad (Depth)
- Pose
- Escala de grises (Gray)
Los usuarios pueden utilizar este modelo como cualquier ControlNet normal, y puede combinarse con otros modelos ControlNet para lograr múltiples efectos de control.
Demostración del modelo
A continuación se muestran demostraciones del modelo en varios modos de control:
Configuración de parámetros recomendada
La recomendación oficial para diferentes tipos de control incluye las siguientes configuraciones de parámetros. Puede ajustar los parámetros controlnet_conditioning_scale y control_guidance_end para lograr mejores efectos de control y preservación de detalles:
- Bordes Canny: Usando el algoritmo cv2.Canny, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
- Bordes suaves: Usando AnylineDetector, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
- Profundidad: Usando depth-anything, controlnet_conditioning_scale=0.8, control_guidance_end=0.8
- Pose: Usando DWPose, controlnet_conditioning_scale=0.9, control_guidance_end=0.65
- Escala de grises: Usando cv2.cvtColor, controlnet_conditioning_scale=0.9, control_guidance_end=0.8
Para una mejor estabilidad en la generación, se recomienda encarecidamente utilizar prompts detallados. En algunos casos, el uso de controles de múltiples condiciones producirá mejores resultados.
Detalles técnicos
Este modelo ControlNet consta de 6 bloques dobles y 0 bloques simples, con la incrustación de modo eliminada. El modelo se entrenó desde cero durante 300,000 pasos a una resolución de 512x512 utilizando un conjunto de datos de 20 millones de imágenes generales y de retratos de alta calidad, con precisión BFloat16, tamaño de lote de 128, tasa de aprendizaje de 2e-5, rango de muestreo de guía de 1 a 7, y tasa de abandono de texto de 0.20.
Recursos relacionados
- InstantX/FLUX.1-dev-IP-Adapter
- InstantX/FLUX.1-dev-Controlnet-Canny
- Shakker-Labs/FLUX.1-dev-ControlNet-Depth
- Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro