ControlNet v1.0 para SD 1.5
Autor: lllyasviel
Repositorio de GitHub:https://github.com/lllyasviel/ControlNet
Repositorio de Hugging Face:https://huggingface.co/lllyasviel/ControlNet/tree/main
Versiones Compatibles de Stable Diffusion: stable diffusion SD1.5,2.0
Aquí hay una compilación de los recursos iniciales del modelo para ControlNet proporcionados por su autor original, lllyasviel.
Archivos del modelo ControlNet v1.0 y enlaces de descarga.
| Nombre del Archivo | Tamaño | Fecha de Actualización | 说明 | Enlaces de Descarga |
|---|---|---|---|---|
control_sd15_canny.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_depth.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_hed.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_mlsd.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_normal.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_openpose.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_scribble.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga | |
control_sd15_seg.pth | 5.71 GB | Febrero 2023 | Enlace de Descarga |
Cómo Usar el Modelo ControlNet en ComfyUI
El uso del modelo ControlNet se centra en el siguiente artículo:
Cubrirá los siguientes temas:
- Cómo instalar el modelo ControlNet en ComfyUI
- Cómo invocar el modelo ControlNet en ComfyUI
- Flujo de trabajo y ejemplos de ControlNet en ComfyUI
- Cómo usar múltiples modelos ControlNet, etc.
Principios de ControlNet
El principio fundamental de ControlNet es guiar el modelo de difusión en la generación de imágenes añadiendo condiciones de control adicionales. Específicamente, duplica la red neuronal original en dos versiones: una copia “bloqueada” y una copia “entrenable”. Durante su uso, la copia entrenable aprende y se ajusta según nuevas condiciones de control, mientras que la copia bloqueada mantiene sus pesos originales sin cambios, asegurando que el efecto de generación del modelo de difusión en sí no se vea afectado.
Casos de Uso para ControlNet
Stable Diffusion ControlNet 1.0 es un potente complemento capaz de controlar la generación de imágenes a través de diversas condiciones. En diferentes tipos de tareas de generación de imágenes, este complemento se puede aplicar de manera flexible para lograr el efecto deseado. Aquí hay varios métodos de aplicación específicos:
-
Control Preciso de Imágenes ControlNet puede controlar la generación de imágenes en función de condiciones como la detección de bordes, el procesamiento de bocetos o la pose humana. Por ejemplo, cuando se necesita una representación detallada de partes específicas de una persona, se puede lograr una generación de imágenes precisa definiendo estas condiciones.
-
Composición Fija y Definición de Poses ControlNet permite a los usuarios fijar la composición de las imágenes y definir poses, generando así imágenes que cumplen con las expectativas. Esto es particularmente útil para el diseño de personajes que requieren acciones o poses específicas.
-
Dibujo de Contornos y Generación de Arte Lineal Con ControlNet, se puede generar una ilustración rica y exquisita a partir de un simple dibujo lineal. Esto es muy práctico en la creación artística, especialmente al construir imágenes complejas a partir de líneas simples.
-
Efecto de Estilo de Anime a partir de Retratos ControlNet también se puede utilizar para convertir retratos reales en estilo anime, reproduciendo con precisión el peinado y el color del cabello de los personajes en la imagen original. Esta característica es muy útil para la producción de anime y el diseño de personajes.