ComfyUI 中多个 ControlNet 组合使用方法

ComfyUI 中多个 ControlNet 组合使用的方法,通过在多个 ControlNet 之间串联 Apply ControlNet 节点,实现更精准的控制和生成效果。

ComfyUI 中多个 ControlNet 组合使用教程 在 ControlNet 中,多个 ControlNet 可以组合使用,以实现更精准的控制,比如在生成人物时,如果出现人物肢体错位,则可以叠加 depth 来保证正确的肢体前后关系。

这篇文章里,我将会使用 OpenPose 和 Lineart 来实现画面风格的转变。

  • OpenPose 用于控制人物姿态
  • Lineart 用于控制人物服饰和面部特征等特点保持一致

关键在于使用多个 ControlNet 时,将 Apply ControlNet 节点的条件串联起来。

Apply ControlNet 节点 关于 ControlNet 的阶段控制等可以参考 Apply ControlNet 节点使用说明。

ComfyUI 中使用多个 ControlNet 的步骤

1. 安装必要插件

如果你学习过 ComfyUI Wiki 之前的其它教程,那么你应该已经安装好了对应的插件,则这个步骤你可以忽略。

由于 ComfyUI Core 并不带有对应的 Depth 图像预处理器,所以需要预先下载对应的预处理器插件。 本教程需要使用 ComfyUI ControlNet Auxiliary Preprocessors 插件来生成深度图。

这里比较推荐使用 ComfyUI Manager 来进行安装。 插件安装的教程可以参考 ComfyUI 插件安装教程,这个部分说得比较详细了。

最新版本 ComfyUI Desktop 已经预装 ComfyUI Manager 插件了。

2. 下载模型

首先需要下载以下模型:

模型类型模型文件下载地址
SD1.5 基础模型dreamshaper_8.safetensors(可选)Civitai
OpenPose ControlNet 模型control_v11p_sd15_openpose.pth(必须)Hugging Face
Lineartcontrol_v11p_sd15_lineart.pth(必须)Hugging Face

SD1.5 版本的模型可以使用你自己电脑上的模型,只是我在这篇教程中我使用的是 dreamshaper_8 这个模型作为示例。

请按照以下结构放置模型文件:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11p_sd15_openpose.pth
│   │       └── control_v11p_sd15_lineart.pth

3. 工作流文件,以及输入图片

下载下面的工作流文件和图片文件

输入图片

4. 在 ComfyUI 中导入工作流加载图片用于生成

工作流示例
  1. 在序号1加载对应的 SD1.5 Checkpoint 模型
  2. 在序号2加载输入图片
  3. 在序号3加载 OpenPose ControlNet 模型
  4. 在序号4加载 Lineart ControlNet 模型
  5. 使用 Queue 或者快捷键 Ctrl+Enter 运行工作流进行图片生成

ControlNet 组合使用场景

1. 建筑可视化设计

ControlNet 组合
Canny Edge + Depth Map + MLSD Line Detection

参数配置方案

ControlNet 类型主要作用推荐权重预处理参数建议阶段
Canny确保建筑轮廓精准0.9-1.0低阈值:50,高阈值:150第一阶段
Depth构建三维空间透视0.7-0.8MiDaS 模型,启用 Boost 对比度增强第二阶段
MLSD校正线条变形以保持几何准确0.4-0.6最小线长:15,最大线间距:20第三阶段

2. 动态人物生成

ControlNet 组合
OpenPose Pose + Lineart Sketch + Scribble Color Blocks

参数配置方案

ControlNet 类型主要作用推荐权重分辨率适配建议协作策略
OpenPose控制人物整体姿态与动作1.0与输出尺寸保持一致主控制网络
Lineart细化面部特征与装备细节0.6-0.7启用 Anime 模式中后期介入
Scribble定义服装颜色与纹理分布0.4-0.5使用 SoftEdge 预处理仅影响颜色图层

3. 产品概念设计

ControlNet 组合
HED Soft Edge + Depth Depth of Field + Normal Normal Map

参数配置方案

ControlNet 类型主要作用权重范围关键预处理设置效果
HED捕获产品柔和边缘与表面过渡0.8高斯模糊:σ=1.5控制轮廓柔和度
Depth模拟真实光影与背景虚化0.6近景增强模式构建空间层次
Normal增强表面细节与材质反射特性0.5生成尺寸:768x768增强材质细节

4. 场景氛围渲染

ControlNet 组合
Segmentation Partition + Shuffle Color Tone + Depth Layers

图层控制策略

控制图层主要作用权重影响区域介入时机
Seg划分场景元素区域(天空/建筑)0.9全局构图全程控制
Shuffle控制整体色调与风格迁移0.4颜色分布中后期介入
Depth营造景深效果与空间层次0.7背景虚化区域早期介入

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…