ComfyUI 中多个 ControlNet 组合使用方法
ComfyUI 中多个 ControlNet 组合使用的方法,通过在多个 ControlNet 之间串联 Apply ControlNet 节点,实现更精准的控制和生成效果。
在 ControlNet 中,多个 ControlNet 可以组合使用,以实现更精准的控制,比如在生成人物时,如果出现人物肢体错位,则可以叠加 depth 来保证正确的肢体前后关系。
这篇文章里,我将会使用 OpenPose 和 Lineart 来实现画面风格的转变。
- OpenPose 用于控制人物姿态
- Lineart 用于控制人物服饰和面部特征等特点保持一致
关键在于使用多个 ControlNet 时,将 Apply ControlNet 节点的条件串联起来。
关于 ControlNet 的阶段控制等可以参考 Apply ControlNet 节点使用说明。
ComfyUI 中使用多个 ControlNet 的步骤
1. 安装必要插件
如果你学习过 ComfyUI Wiki 之前的其它教程,那么你应该已经安装好了对应的插件,则这个步骤你可以忽略。
由于 ComfyUI Core 并不带有对应的 Depth 图像预处理器,所以需要预先下载对应的预处理器插件。 本教程需要使用 ComfyUI ControlNet Auxiliary Preprocessors 插件来生成深度图。
这里比较推荐使用 ComfyUI Manager 来进行安装。 插件安装的教程可以参考 ComfyUI 插件安装教程,这个部分说得比较详细了。
最新版本 ComfyUI Desktop 已经预装 ComfyUI Manager 插件了。
2. 下载模型
首先需要下载以下模型:
| 模型类型 | 模型文件 | 下载地址 |
|---|---|---|
| SD1.5 基础模型 | dreamshaper_8.safetensors(可选) | Civitai |
| OpenPose ControlNet 模型 | control_v11p_sd15_openpose.pth(必须) | Hugging Face |
| Lineart | control_v11p_sd15_lineart.pth(必须) | Hugging Face |
SD1.5 版本的模型可以使用你自己电脑上的模型,只是我在这篇教程中我使用的是 dreamshaper_8 这个模型作为示例。
请按照以下结构放置模型文件:
📁ComfyUI
├── 📁models
│ ├── 📁checkpoints
│ │ └── 📁SD1.5
│ │ └── dreamshaper_8.safetensors
│ ├── 📁controlnet
│ │ └── 📁SD1.5
│ │ └── control_v11p_sd15_openpose.pth
│ │ └── control_v11p_sd15_lineart.pth3. 工作流文件,以及输入图片
下载下面的工作流文件和图片文件
4. 在 ComfyUI 中导入工作流加载图片用于生成
- 在序号
1加载对应的 SD1.5 Checkpoint 模型 - 在序号
2加载输入图片 - 在序号
3加载 OpenPose ControlNet 模型 - 在序号
4加载 Lineart ControlNet 模型 - 使用 Queue 或者快捷键
Ctrl+Enter运行工作流进行图片生成
ControlNet 组合使用场景
1. 建筑可视化设计
ControlNet 组合
Canny Edge + Depth Map + MLSD Line Detection
参数配置方案
| ControlNet 类型 | 主要作用 | 推荐权重 | 预处理参数建议 | 阶段 |
|---|---|---|---|---|
| Canny | 确保建筑轮廓精准 | 0.9-1.0 | 低阈值:50,高阈值:150 | 第一阶段 |
| Depth | 构建三维空间透视 | 0.7-0.8 | MiDaS 模型,启用 Boost 对比度增强 | 第二阶段 |
| MLSD | 校正线条变形以保持几何准确 | 0.4-0.6 | 最小线长:15,最大线间距:20 | 第三阶段 |
2. 动态人物生成
ControlNet 组合
OpenPose Pose + Lineart Sketch + Scribble Color Blocks
参数配置方案
| ControlNet 类型 | 主要作用 | 推荐权重 | 分辨率适配建议 | 协作策略 |
|---|---|---|---|---|
| OpenPose | 控制人物整体姿态与动作 | 1.0 | 与输出尺寸保持一致 | 主控制网络 |
| Lineart | 细化面部特征与装备细节 | 0.6-0.7 | 启用 Anime 模式 | 中后期介入 |
| Scribble | 定义服装颜色与纹理分布 | 0.4-0.5 | 使用 SoftEdge 预处理 | 仅影响颜色图层 |
3. 产品概念设计
ControlNet 组合
HED Soft Edge + Depth Depth of Field + Normal Normal Map
参数配置方案
| ControlNet 类型 | 主要作用 | 权重范围 | 关键预处理设置 | 效果 |
|---|---|---|---|---|
| HED | 捕获产品柔和边缘与表面过渡 | 0.8 | 高斯模糊:σ=1.5 | 控制轮廓柔和度 |
| Depth | 模拟真实光影与背景虚化 | 0.6 | 近景增强模式 | 构建空间层次 |
| Normal | 增强表面细节与材质反射特性 | 0.5 | 生成尺寸:768x768 | 增强材质细节 |
4. 场景氛围渲染
ControlNet 组合
Segmentation Partition + Shuffle Color Tone + Depth Layers
图层控制策略
| 控制图层 | 主要作用 | 权重 | 影响区域 | 介入时机 |
|---|---|---|---|---|
| Seg | 划分场景元素区域(天空/建筑) | 0.9 | 全局构图 | 全程控制 |
| Shuffle | 控制整体色调与风格迁移 | 0.4 | 颜色分布 | 中后期介入 |
| Depth | 营造景深效果与空间层次 | 0.7 | 背景虚化区域 | 早期介入 |
评论
使用 GitHub 登录后即可参与讨论。