ControlNet v1.1 模型支持stable diffusion 1.5 或2.0
stable diffusion 1.5 和 stable diffusion 2.0的模型是兼容的,所以ControlNet v1.1的模型文件也可以在stable diffusion 2.0上使用。
这篇文章是 ComfyuUI-WIKI 整理的不同类型的支持 SD1.5 / 2.0 的ControlNet 模型
ControlNet v1.1 对应模型文件及下载
Large - 较大体积来自 lllyasviel 提供的版本
提供者: lllyasviel
Github主页:https://github.com/lllyasviel/ControlNet-v1-1-nightly (opens in a new tab)
Hugging face仓库:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main (opens in a new tab)
兼容Stable diffusion 版本: stable diffusion v1.5
模型文件大小: 1.45 GB 较大
文件名 | 大小 | 更新时间 | 说明 | 下载链接 |
---|---|---|---|---|
control_v11e_sd15_ip2p.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11e_sd15_shuffle.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11f1e_sd15_tile.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11f1p_sd15_depth.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_canny.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_inpaint.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_lineart.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_mlsd.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_normalbae.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_openpose.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_scribble.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_seg.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15_softedge.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) | |
control_v11p_sd15s2_lineart_anime.pth | 1.45 GB | 2023年5月25日 | 下载链接 (opens in a new tab) |
Medium - Safetensors/FP16 中等体积,来自 comfyanonymous 提供的版本
提供者:comfyanonymous Huggingface 仓库地址:https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main (opens in a new tab) 模型文件大小: 723MB 说明: 由 ComfyUI 作者huggingface 仓库提供,在 ComfyUI 中使用体验更好,也兼容其他 UI
文件名 | 大小 | 日期 | 下载链接 |
---|---|---|---|
control_v11e_sd15_ip2p_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11e_sd15_shuffle_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11f1e_sd15_tile_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11f1p_sd15_depth_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_canny_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_inpaint_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_lineart_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_mlsd_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_normalbae_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_openpose_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_scribble_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_seg_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15_softedge_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11p_sd15s2_lineart_anime_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_v11u_sd15_tile_fp16.safetensors | 723 MB | 2023年4月 | 下载链接 (opens in a new tab) |
Small - Control lora Safetensors/FP16 较小体积来自 comfyanonymous 提供的版本
提供者:comfyanonymous Huggingface 仓库地址:https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main (opens in a new tab) 模型文件大小: 136MB较小 说明: 由 ComfyUI 作者huggingface 仓库提供,在 ComfyUI 中使用体验更好,也兼容其他 UI
文件名 | 大小 | 日期 | 下载链接 |
---|---|---|---|
control_lora_rank128_v11e_sd15_ip2p_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11e_sd15_shuffle_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11f1e_sd15_tile_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11f1p_sd15_depth_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_canny_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_inpaint_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_lineart_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_mlsd_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_normalbae_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_openpose_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_scribble_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_seg_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15_softedge_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
control_lora_rank128_v11p_sd15s2_lineart_anime_fp16.safetensors | 136 MB | 2023年4月 | 下载链接 (opens in a new tab) |
ControlNet for StableDiffusion 2.1
作者: thibaud
Hugging face仓库:https://huggingface.co/thibaud/controlnet-sd21 (opens in a new tab)
兼容Stable diffusion 版本: stable diffusion v2.1
下面文件格式有分为 .safetensors
和 .ckpt
两种格式,通常如果你只是要使用对应的模型,则下载.safetensors
的文件即可
文件名 | 大小 | 更新时间 | 说明 | 下载链接 |
---|---|---|---|---|
control_v11p_sd21_ade20k.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_canny.ckpt | 9.59 GB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_canny.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_color.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_depth.ckpt | 9.59 GB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_depth.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_hed.ckpt | 9.59 GB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_hed.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_lineart.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_normalbae.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_openpose.ckpt | 9.59 GB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_openpose.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_openposev2.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_scribble.ckpt | 9.59 GB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_scribble.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) | |
control_v11p_sd21_zoedepth.safetensors | 728 MB | 2023年4月 | 下载链接 (opens in a new tab) |
如何在 ComfyUI 中使用 controlNet 模型
关于 ControlNet 模型的使用集中在下面的文章中
ComfyUI ControlNet 使用教程对应文章将讲解以下内容
- 在ComfyUI中要如何安装 ControlNet 模型
- 如何在 ComfyUI 中调用 ControlNet 模型
- ComfyUI ControlNet 工作流和示例
- 如何使用多个 ControlNet 模型等
controlNet 1.1模型概述
ControlNet 1.1 是在ControlNet 1.0的基础上进行更新和优化的版本,具有相同的体系结构。它包括了所有以前的模型,并且增加了几个新的模型,使得总数量达到了14个。
新功能与改进 ControlNet 1.1 引入了一些新功能和改进:
- 新型软边缘:新增了一种名为“SoftEdge_safe”的软边缘处理方式,以提高图像边缘的自然度。
- 预处理器扩展:新增了多个预处理器,如Canny、Depth、inpaint等,这些预处理器可以用于不同的图像处理任务。
- 鲁棒性和质量提升:版本主要增强了模型的鲁棒性和生成图像的质量。
controlNet 1.1 应用场景
ControlNet 1.1 可以应用于多种AI绘画场景,包括但不限于:
图像修复:利用inpaint预处理器对破损或缺失的图像部分进行填充和修复。 边缘检测:使用Canny预处理器提取图像的边缘信息,进一步应用于其他图像处理任务 。 深度图生成:通过Depth预处理器生成图像的深度信息,用于创建更加立体的视觉效果。