ComfyUI 中多个 ControlNet组合使用教程
在 ControlNet 中,多个 ControlNet 可以组合使用,以实现更精准的控制的,比如在生成人物时,如果出现人物肢体错位,则可以叠加 depth 来保证正确的肢体前后关系。
这篇文章里,我将会使用 OpenPose 和 Lineart 来实现画面风格的转变。
- OpenPose 用于控制人物姿态
- Lineart 用于控制人物服饰和面部特征等特点保持一致
其实主要是在使用多个 ControlNet 的时候将 Apply ControlNet
节点的条件串联
关于 ControlNet 的阶段控制等可以参考 Apply ControlNet 节点使用说明
ComfyUI 中使用多个 ControlNet 的步骤
1. 安装必要插件
如果你学习过ComfyUI Wiki之前的其它教程,那么你应该有安装好了对应的插件,则这个步骤你可以忽略
由于 ComfyUI Core 并不带有对应的 Depth 图像预处理器,所以需要预先下载对应的预处理器插件 本教程需要使用 ComfyUI ControlNet Auxiliary Preprocessors 插件来生成深度图。
这里比较推荐使用 ComfyUI Manager 来进行安装 插件安装的教程可以参考 ComfyUI 插件安装教程 这个部分说得比较详细了
最新版本 ComfyUI Desktop 已经预装 ComfyUI Manager 插件了
2. 下载模型
首先需要下载以下模型:
模型类型 | 模型文件 | 下载地址 |
---|---|---|
SD1.5 基础模型 | dreamshaper_8.safetensors(可选) | Civitai |
OpenPose ControlNet 模型 | control_v11f1p_sd15_openpose.pth(必须) | Hugging Face |
Lineart | control_v11p_sd15_lineart.pth(必须) | Hugging Face |
SD1.5 版本的模型可以使用你自己电脑上的模型,只是我在这篇教程中我使用的是 dreamshaper_8 这个模型作为示例
请按照以下结构放置模型文件:
📁ComfyUI
├── 📁models
│ ├── 📁checkpoints
│ │ └── 📁SD1.5
│ │ └── dreamshaper_8.safetensors
│ ├── 📁controlnet
│ │ └── 📁SD1.5
│ │ └── control_v11f1p_sd15_openpose.pth
│ │ └── control_v11p_sd15_lineart.pth
3. 工作流文文件,以及输入图片
下载下面的工作流文件和图片文件
4. 在 ComfyUI 中导入工作流加载图片用于生成
- 在序号
1
加载对应的 SD1.5 Checkpoint 模型 - 在序号
2
Load Image 加载输入图片 - 在序号
3
加载 OpenPose ControlNet 模型 - 在序号
4
加载 Lineart ControlNet 模型 - 使用 Queue 或者快捷键
Ctrl+Enter
运行工作流进行图片生成
ControlNet 组合使用的场景
1、建筑可视化设计
控制网组合
Canny边缘
+ Depth深度图
+ MLSD直线检测
参数配置方案
ControlNet类型 | 主要作用 | 推荐权重 | 预处理参数建议 | 作用阶段 |
---|---|---|---|---|
Canny | 确保建筑结构轮廓精准 | 0.9-1.0 | 低阈值:50,高阈值:150 | 第一阶段 |
Depth | 构建三维空间透视关系 | 0.7-0.8 | MiDaS模型,Boost反差增强开启 | 第二阶段 |
MLSD | 修正直线变形保持几何精度 | 0.4-0.6 | 最小线长:15,最大线距:20 | 第三阶段 |
2、角色动态生成
控制网组合
OpenPose姿态
+ Lineart线稿
+ Scribble色块
参数配置方案
ControlNet类型 | 主要作用 | 推荐权重 | 分辨率适配建议 | 协同策略 |
---|---|---|---|---|
OpenPose | 控制角色整体姿态和动作 | 1.0 | 保持与输出尺寸一致 | 主控制网络 |
Lineart | 细化面部特征和装备细节 | 0.6-0.7 | 启用Anime模式 | 中后期介入 |
Scribble | 定义服装配色和纹理分布 | 0.4-0.5 | 使用SoftEdge预处理 | 仅影响色彩层 |
3、产品概念设计
控制网组合
HED软边缘
+ Depth景深
+ Normal法线贴图
参数配置方案
ControlNet类型 | 主要作用 | 权重区间 | 预处理关键设置 | 作用效果 |
---|---|---|---|---|
HED | 捕捉产品柔和边缘与曲面过渡 | 0.8 | 高斯模糊:σ=1.5 | 轮廓柔和度控制 |
Depth | 模拟真实光影与背景虚化 | 0.6 | 近景增强模式 | 空间层次构建 |
Normal | 增强材质表面细节与反光特性 | 0.5 | 生成尺寸:768x768 | 材质细节增强 |
4、场景氛围渲染
控制网组合
Segmentation分区
+ Shuffle色调
+ Depth层次
分层控制策略
控制层 | 主要作用 | 权重 | 作用区域 | 介入时机 |
---|---|---|---|---|
Seg | 划分画面元素区域(天空/建筑) | 0.9 | 全局构图 | 全程控制 |
Shuffle | 控制整体色调与风格迁移 | 0.4 | 色彩分布 | 中后期介入 |
Depth | 创建景深效果与空间层次 | 0.7 | 背景虚化区域 | 早期介入 |