ControlNet v1.1 para Stable Diffusion 1.5 y 2.0

Los modelos de Stable Diffusion 1.5 y Stable Diffusion 2.0 son compatibles, lo que significa que los archivos de modelo de ControlNet v1.1 también se pueden usar en Stable Diffusion 2.0.

Este artículo es una compilación de diferentes tipos de modelos de ControlNet que son compatibles con SD1.5 / 2.0, organizados por ComfyUI-WIKI.

ControlNet v1.1

Tamaño grande de lllyasviel

Proveedor: lllyasviel
Repositorio de GitHub:https://github.com/lllyasviel/ControlNet-v1-1-nightly
Repositorio de Hugging Face:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main Versiones de Stable Diffusion compatibles: stable diffusion v1.5,2.0 Tamaño: 1.45 GB

Mediano - Safetensors/FP16 tamaño medio, de la versión proporcionada por comfyanonymous

Proveedor：comfyanonymous Repositorio de Hugging Face：https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main Tamaño: 723MB Nota: Proporcionado por el repositorio de Hugging Face del autor de ComfyUI, ofrece una mejor experiencia de usuario en ComfyUI y también es compatible con otras interfaces.

Pequeño - Control lora Safetensors/FP16 tamaño pequeño de la versión proporcionada por comfyanonymous

Proveedor：comfyanonymous Repositorio de Hugging Face：https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main Tamaño: 136MB Nota: Proporcionado por el repositorio de Hugging Face del autor de ComfyUI, ofrece una mejor experiencia de usuario en ComfyUI y también es compatible con otras interfaces.

ControlNet para StableDiffusion 2.1

Proveedor: thibaud
Repositorio de Hugging Face:https://huggingface.co/thibaud/controlnet-sd21

Los siguientes formatos de archivo se dividen en .safetensors y .ckpt. Generalmente, si solo pretende usar el modelo correspondiente, descargar el archivo .safetensors será suficiente.

Cómo usar el modelo ControlNet en ComfyUI

El uso del modelo ControlNet se centra en el siguiente artículo:

Cubrirá los siguientes temas:

• Cómo instalar el modelo ControlNet en ComfyUI
• Cómo invocar el modelo ControlNet en ComfyUI
• Flujo de trabajo y ejemplos de ControlNet en ComfyUI
• Cómo usar múltiples modelos de ControlNet, etc.

Resumen del modelo ControlNet 1.1

ControlNet 1.1 es una versión actualizada y optimizada basada en ControlNet 1.0, con la misma arquitectura. Incluye todos los modelos anteriores y agrega varios nuevos, llevando el total a 14.

Nuevas características y mejoras ControlNet 1.1 introduce varias nuevas características y mejoras:

• Nuevos bordes suaves: Se ha añadido un nuevo método de procesamiento de bordes suaves llamado “SoftEdge_safe” para mejorar la naturalidad de los bordes de la imagen.
• Expansión de preprocesadores: Se han añadido múltiples nuevos preprocesadores, como Canny, Depth, inpaint, etc., que se pueden utilizar para diversas tareas de procesamiento de imágenes.
• Robustez y mejora de calidad: La versión refuerza principalmente la robustez del modelo y la calidad de las imágenes generadas.

Escenarios de aplicación para ControlNet 1.1

ControlNet 1.1 se puede aplicar a una variedad de escenarios de pintura AI, incluyendo, pero no limitado a:

Restauración de imágenes: Utilizar el preprocesador inpaint para rellenar y restaurar partes dañadas o faltantes de una imagen. Detección de bordes: Extraer información de bordes de imágenes utilizando el preprocesador Canny para su posterior aplicación en otras tareas de procesamiento de imágenes. Generación de mapas de profundidad: Generar información de profundidad de imágenes a través del preprocesador Depth para crear un efecto visual más tridimensional.