Flux ControlNet工作流详细教程
本教程将指导你如何在ComfyUI中使用Flux官方的ControlNet模型。我们将分别介绍FLUX.1 Depth和FLUX.1 Canny两个官方控制模型的使用方法。
此教程基于ComfyUI Flux示例 整理更新
模型介绍
FLUX.1 Depth [dev]
- 120亿参数的整流流变换器模型
- 基于深度图进行结构引导
- 使用引导蒸馏训练,提高效率
- 支持个人、科研和商业用途
FLUX.1 Canny [dev]
- 120亿参数的整流流变换器模型
- 基于Canny边缘检测进行结构引导
- 同样采用引导蒸馏训练方法
- 遵循FLUX.1 [dev]非商业许可
模型版本说明
Flux ControlNet模型提供了两种使用方式：完整模型和LoRA模型。
完整模型版本
- 完整的模型文件，包含所有权重
- 需要较大显存支持
- 生成质量最佳
LoRA版本
- 轻量级模型，仅包含差异权重
- 需要配合基础Flux模型使用
- 显存占用更少
准备工作
1. 更新 ComfyUI
首先确保你的 ComfyUI 已更新到最新版本，如果你不知道如何更新和升级 ComfyUI 请参考如何更新和升级 ComfyUI。
注意：Flux ControlNet 功能需要最新版本的 ComfyUI 支持，请务必先完成更新。
2. 完整版本模型下载
| 模型名称 | 文件名 | 安装位置 | 下载链接 | 说明 |
|---|---|---|---|---|
| CLIP 模型 | clip_l.safetensors | ComfyUI/models/clip/ | 下载 | 标准CLIP编码器 |
| CLIP 模型 | t5xxl_fp16.safetensors | ComfyUI/models/clip/ | 下载 | 标准精度版本 |
| CLIP 模型 | t5xxl_fp8_e4m3fn.safetensors | ComfyUI/models/clip/ | 下载 | 低精度版本 |
| VAE 模型 | ae.safetensors | ComfyUI/models/vae/ | 下载 | VAE编码解码器 |
| Flux Depth | flux1-depth-dev.safetensors | ComfyUI/models/diffusion_models/ | 下载 | 深度控制模型 |
| Flux Canny | flux1-canny-dev.safetensors | ComfyUI/models/diffusion_models/ | 下载 | 边缘控制模型 |
3. LoRA版本模型下载
| 模型名称 | 文件名 | 安装位置 | 下载链接 | 说明 |
|---|---|---|---|---|
| Flux基础模型 | flux1-dev.safetensors | ComfyUI/models/diffusion_models/ | 下载 | LoRA基础模型 |
| Depth LoRA | flux1-depth-dev-lora.safetensors | ComfyUI/models/loras/ | 下载 | 深度控制LoRA |
| Canny LoRA | flux1-canny-dev-lora.safetensors | ComfyUI/models/loras/ | 下载 | 边缘控制LoRA |
4. 工作流文件下载
5. 系统要求
- 显存要求：建议至少16GB VRAM
- 如果显存不足,可以使用fp8版本的模型降低显存占用
Flux ControlNet 工作流使用说明
完整版本使用提示
-
ControlNetLoader
- Depth模型：用于保持参考图片的3D结构
- Canny模型：用于保持参考图片的边缘线条
-
预处理节点
- DepthPreprocessor：生成深度图，无需额外调整
- CannyEdgePreprocessor：可通过调整阈值控制边缘检测的精细度
- low threshold：边缘检测的敏感度
- high threshold：边缘线条的完整度
-
FluxGuidance
- 建议值：3.5-4.0
- 数值越大，生成结果越接近提示词描述
-
ModelSamplingFlux
- shift_factor：1.15（默认值，通常无需调整）
- multiplier：0.5（可根据需要微调）
LoRA版本使用提示
-
LoraLoaderModelOnly节点
- 加载对应的LoRA模型文件
- strength参数建议设置为1.0
- 需要先加载基础Flux模型
-
InstructPixToPixConditioning节点
- 用于处理图像到图像的条件控制
- 需要连接VAE和原始图像输入
-
KSampler设置
- steps建议设置为20
- sampler选择euler
- scheduler使用normal
- denoise设置为1.0
版本选择建议
-
选择完整版本的情况
- 有足够的显存(16GB以上)
- 追求最佳生成质量
- 需要更精确的控制
-
选择LoRA版本的情况
- 显存受限(8-16GB)
- 需要快速的生成速度
- 对质量要求不是特别严格
参数调优要点
Depth控制
- 适合需要保持空间结构的场景
- 控制强度建议：0.6-0.9
Canny控制
- 适合需要保持线条和轮廓的场景
- 控制强度建议：0.5-0.8
通用建议
- 先用默认参数测试效果
- 根据生成结果逐步调整控制强度
- 可以通过调整提示词来进一步优化效果
进阶应用
-
混合控制
- 可以同时使用Depth和Canny控制
- 调整不同控制网络的权重
-
风格迁移
- 结合LoRA模型
- 使用风格提示词
-
批量处理
- 使用批处理节点
- 优化工作流程