资源
Controlnet Models
Controlnet V1 Sd15

ControlNet v1.0 模型SD 1.5

作者: lllyasviel
Github仓库:https://github.com/lllyasviel/ControlNet (opens in a new tab) Hugging face仓库:https://huggingface.co/lllyasviel/ControlNet/tree/main (opens in a new tab) 兼容Stable diffusion 版本: stable diffusion SD1.5 / 2.0

这里整理的是 ControlNet 作者 lllyasviel 最早提供的ControlNet 的模型资源

ControlNet v1.0 对应模型文件及下载

文件名大小更新时间说明下载链接
control_sd15_canny.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_depth.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_hed.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_mlsd.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_normal.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_openpose.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_scribble.pth5.71 GB2023年2月下载链接 (opens in a new tab)
control_sd15_seg.pth5.71 GB2023年2月下载链接 (opens in a new tab)

如何在 ComfyUI 中使用 controlNet 模型

关于 ControlNet 模型的使用集中在下面的文章中

ComfyUI ControlNet 使用教程

对应文章将讲解以下内容

  • 在ComfyUI中要如何安装 ControlNet 模型
  • 如何在 ComfyUI 中调用 ControlNet 模型
  • ComfyUI ControlNet 工作流和示例
  • 如何使用多个 ControlNet 模型等

controlNet原理

ControlNet的基本原理是通过添加额外的控制条件来引导扩散模型生成图像。具体来说，它将原始神经网络复制为两个版本：一个“锁定”的副本和一个“可训练”的副本。在使用过程中，可训练副本会根据新的控制条件进行学习和调整，而被锁定的副本则保持原有的权重不变，从而确保扩散模型本身的生成效果不受影响。

ControlNet 使用的使用场景

Stable Diffusion ControlNet 1.0 是一个强大的插件，能够通过各种条件来控制图像生成。在不同类型的图像生成任务中，可以灵活应用该插件以达到预期效果。以下是几种具体的应用方法：

  1. 图像精准控制 ControlNet 可以根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。例如，在需要对人物的特定部分进行详细描绘时，可以通过定义这些条件来实现精准的图像生成。

  2. 固定构图与姿势定义 ControlNet 允许用户固定图像的构图和定义姿势，从而生成符合预期的图像。这对于需要特定动作或姿态的角色设计尤其有用。

  3. 描绘轮廓与线稿生成 使用ControlNet，仅凭线稿就能生成一张丰满精致的插画。这在艺术创作中非常实用，特别是在需要从简单的线条开始构建复杂图像的情况下。

  4. 头像转二次元效果 ControlNet 还可以用于将真实系头像转换为二次元风格，并且能准确还原原图中的人物发型和发色。这种功能对于动漫制作和角色设计非常有帮助。

Controlnet SdxlControlnet V1 1 Sd15 Sd2