资源
Controlnet Models
Controlnet V1 1 Sd15 Sd2

ControlNet v1.1 模型支持stable diffusion 1.5 或2.0

stable diffusion 1.5 和 stable diffusion 2.0的模型是兼容的，所以ControlNet v1.1的模型文件也可以在stable diffusion 2.0上使用。

这篇文章是 ComfyuUI-WIKI 整理的不同类型的支持 SD1.5 / 2.0 的ControlNet 模型

ControlNet v1.1 对应模型文件及下载

Large - 较大体积来自 lllyasviel 提供的版本

提供者: lllyasviel
Github主页:https://github.com/lllyasviel/ControlNet-v1-1-nightly (opens in a new tab)
Hugging face仓库:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main (opens in a new tab) 兼容Stable diffusion 版本: stable diffusion v1.5 模型文件大小: 1.45 GB 较大

文件名大小更新时间说明下载链接
control_v11e_sd15_ip2p.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11e_sd15_shuffle.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11f1e_sd15_tile.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11f1p_sd15_depth.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_canny.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_inpaint.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_lineart.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_mlsd.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_normalbae.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_openpose.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_scribble.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_seg.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15_softedge.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)
control_v11p_sd15s2_lineart_anime.pth1.45 GB2023年5月25日下载链接 (opens in a new tab)

Medium - Safetensors/FP16 中等体积，来自 comfyanonymous 提供的版本

提供者：comfyanonymous Huggingface 仓库地址：https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main (opens in a new tab) 模型文件大小: 723MB 说明: 由 ComfyUI 作者huggingface 仓库提供，在 ComfyUI 中使用体验更好，也兼容其他 UI

文件名大小日期下载链接
control_v11e_sd15_ip2p_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11e_sd15_shuffle_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11f1e_sd15_tile_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11f1p_sd15_depth_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_canny_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_inpaint_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_lineart_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_mlsd_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_normalbae_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_openpose_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_scribble_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_seg_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15_softedge_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd15s2_lineart_anime_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)
control_v11u_sd15_tile_fp16.safetensors723 MB2023年4月下载链接 (opens in a new tab)

Small - Control lora Safetensors/FP16 较小体积来自 comfyanonymous 提供的版本

提供者：comfyanonymous Huggingface 仓库地址：https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main (opens in a new tab) 模型文件大小: 136MB较小 说明: 由 ComfyUI 作者huggingface 仓库提供，在 ComfyUI 中使用体验更好，也兼容其他 UI

文件名大小日期下载链接
control_lora_rank128_v11e_sd15_ip2p_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11e_sd15_shuffle_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11f1e_sd15_tile_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11f1p_sd15_depth_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_canny_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_inpaint_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_lineart_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_mlsd_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_normalbae_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_openpose_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_scribble_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_seg_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15_softedge_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)
control_lora_rank128_v11p_sd15s2_lineart_anime_fp16.safetensors136 MB2023年4月下载链接 (opens in a new tab)

ControlNet for StableDiffusion 2.1

作者: thibaud
Hugging face仓库:https://huggingface.co/thibaud/controlnet-sd21 (opens in a new tab) 兼容Stable diffusion 版本: stable diffusion v2.1

下面文件格式有分为 .safetensors 和 .ckpt 两种格式，通常如果你只是要使用对应的模型，则下载.safetensors 的文件即可

文件名大小更新时间说明下载链接
control_v11p_sd21_ade20k.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_canny.ckpt9.59 GB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_canny.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_color.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_depth.ckpt9.59 GB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_depth.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_hed.ckpt9.59 GB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_hed.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_lineart.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_normalbae.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_openpose.ckpt9.59 GB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_openpose.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_openposev2.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_scribble.ckpt9.59 GB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_scribble.safetensors728 MB2023年4月下载链接 (opens in a new tab)
control_v11p_sd21_zoedepth.safetensors728 MB2023年4月下载链接 (opens in a new tab)

如何在 ComfyUI 中使用 controlNet 模型

关于 ControlNet 模型的使用集中在下面的文章中

ComfyUI ControlNet 使用教程

对应文章将讲解以下内容

  • 在ComfyUI中要如何安装 ControlNet 模型
  • 如何在 ComfyUI 中调用 ControlNet 模型
  • ComfyUI ControlNet 工作流和示例
  • 如何使用多个 ControlNet 模型等

controlNet 1.1模型概述

ControlNet 1.1 是在ControlNet 1.0的基础上进行更新和优化的版本，具有相同的体系结构。它包括了所有以前的模型，并且增加了几个新的模型，使得总数量达到了14个。

新功能与改进 ControlNet 1.1 引入了一些新功能和改进：

  • 新型软边缘：新增了一种名为“SoftEdge_safe”的软边缘处理方式，以提高图像边缘的自然度。
  • 预处理器扩展：新增了多个预处理器，如Canny、Depth、inpaint等，这些预处理器可以用于不同的图像处理任务。
  • 鲁棒性和质量提升：版本主要增强了模型的鲁棒性和生成图像的质量。

controlNet 1.1 应用场景

ControlNet 1.1 可以应用于多种AI绘画场景，包括但不限于：

图像修复：利用inpaint预处理器对破损或缺失的图像部分进行填充和修复。 边缘检测：使用Canny预处理器提取图像的边缘信息，进一步应用于其他图像处理任务 。 深度图生成：通过Depth预处理器生成图像的深度信息，用于创建更加立体的视觉效果。

Controlnet V1 Sd15ComfyUI 自定义节点插件推荐