Shakker Labs发布FLUX.1-dev-ControlNet-Union-Pro-2.0

Shakker Labs近日为FLUX.1-dev模型发布了新版本的ControlNet控制网络 - FLUX.1-dev-ControlNet-Union-Pro-2.0。这款新模型在多方面进行了优化，尤其是在提升控制效果和减小模型体积方面有明显改进。

新版本主要更新

与前代FLUX.1-dev-ControlNet-Union-Pro相比，新版本有以下显著改进：

• 更小的模型体积：删除了模式嵌入功能，使模型体积从6.15G减小至3.98G
• 改进控制效果：优化了canny边缘检测和pose姿态控制，提供更好的控制精度和美学效果
• 控制模式调整：新增对软边缘(soft edge)的支持，但移除了对tile模式的支持

在线体验

支持的控制模式

该ControlNet模型支持多种控制模式，包括：

• Canny边缘检测
• 软边缘(Soft Edge)
• 深度图(Depth)
• 姿态(Pose)
• 灰度图(Gray)

用户可以像使用普通ControlNet一样使用这个模型，且它可以与其他ControlNet模型联合使用，实现多种控制效果的组合。

模型展示

以下是模型在各种控制模式下的效果展示：

推荐参数设置

官方推荐根据不同控制类型使用以下参数设置，可以通过调整controlnet_conditioning_scale和control_guidance_end参数来获得更好的控制效果和细节保留：

• Canny边缘：使用cv2.Canny算法，controlnet_conditioning_scale=0.7，control_guidance_end=0.8
• 软边缘：使用AnylineDetector，controlnet_conditioning_scale=0.7，control_guidance_end=0.8
• 深度图：使用depth-anything，controlnet_conditioning_scale=0.8，control_guidance_end=0.8
• 姿态：使用DWPose，controlnet_conditioning_scale=0.9，control_guidance_end=0.65
• 灰度图：使用cv2.cvtColor，controlnet_conditioning_scale=0.9，control_guidance_end=0.8

对于更好的生成稳定性，官方强烈建议使用详细的提示词，在某些情况下，使用多条件控制会有更好的效果。

技术细节

这个ControlNet模型由6个双区块和0个单区块组成，模式嵌入已被移除。模型训练过程中使用了2000万张高质量的通用和人像图像数据集，在512x512分辨率下进行了30万步的从零训练，采用BFloat16精度，批次大小为128，学习率为2e-5，引导采样范围为1到7，文本丢弃率设为0.20。

相关资源

• InstantX/FLUX.1-dev-IP-Adapter
• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

相关链接

• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0