¿Cómo usar ControlNet para la Generación de Imágenes en ComfyUI? 🚧

ControlNet es una tecnología de control de generación de imágenes potente que permite a los usuarios guiar precisamente el proceso de generación de imágenes del modelo de IA mediante la entrada de una imagen condicional. Al usar ControlNet, los usuarios pueden controlar mejor el proceso de generación de imágenes de IA y crear imágenes que mejor se ajusten a necesidades específicas e imaginaciones.

Dado que ComfyUI no tiene un modelo de ControlNet integrado, necesitarás instalar los archivos del modelo de ControlNet correspondientes antes de empezar este tutorial. Al igual que otros tipos de modelos como embedding, LoRA, etc., ControlNet tiene una correspondencia de versiones con el modelo de Checkpoint, como:

• Si estás usando la versión SD1.5 del modelo de checkpoint, entonces el ControlNet correspondiente también debería apoyar SD1.5.
• Si estás usando el modelo Flux.1, entonces el ControlNet correspondiente también debería apoyar Flux.1.

Este tutorial cubrirá las siguientes partes:

• Una breve explicación de las funciones y roles del modelo de ControlNet.
• Cómo instalar el modelo de ControlNet en ComfyUI (incluyendo canales de descarga correspondientes).
• El uso de diferentes tipos de modelos de ControlNet en ComfyUI.

Debido a las muchas versiones de modelos de ControlNet, este tutorial solo proporciona una explicación general del método de instalación.

La Función y el Rol de ControlNet

Imagina que ControlNet es como un director de arte que da orientación a un pintor durante el proceso de pintura.

1. Lienzo y pinceles (modelo base): El modelo de Difusión Estable es como el lienzo y los pinceles del pintor, capaz de crear diversas imágenes.

2. Director de arte (ControlNet): ControlNet es como un director de arte parado junto al pintor, sosteniendo una imagen de referencia o un boceto.

3. Proceso de orientación:

   • El director de arte le dirá al pintor qué pintar dónde en el lienzo basado en la imagen de referencia.
   • El pintor (modelo base) aún usa sus propias habilidades y estilo para pintar, pero sigue las sugerencias del director de arte.

4. Diferentes tipos de orientación:

   • Orientación de contorno (como Canny ControlNet): Es como el director de arte sosteniendo un dibujo lineal, guiando al pintor sobre cómo dibujar el contorno.
   • Orientación de pose (como Openpose ControlNet): Es como el director de arte demostrando la pose de la figura, permitiendo al pintor crear según sea necesario.
   • Orientación de profundidad (como Depth ControlNet): Es como el director de arte proporcionando información sobre el sentido tridimensional de la escena, guiando al pintor sobre cómo representar la profundidad.

5. Ajustar la intensidad:

   • A veces el pintor seguirá más de cerca las sugerencias del director de arte (alta intensidad de control).
   • A veces el pintor ejercerá más de su propia creatividad (baja intensidad de control).

6. Orientación múltiple:

   • Se puede imaginar que hay múltiples directores de arte dando consejos sobre diferentes aspectos, y el pintor necesita equilibrar estas opiniones.

De esta manera, ControlNet nos permite controlar más precisamente el proceso de imágenes generadas por IA, justo como un director de arte ayuda al pintor a crear obras que mejor se ajusten a requisitos específicos.

Descarga e Instalación del Modelo de ControlNet

Después de entender los conceptos básicos, necesitamos instalar los archivos del modelo de ControlNet correspondientes primero. Aquí, he compilado algunos recursos de descarga de ControlNet para que elijas el ControlNet que se ajuste a la versión de Checkpoint que estás usando actualmente.

Descargando el Modelo de ControlNet

Puedes encontrar el modelo de ControlNet correspondiente en la sección de recursos.

¿Cómo Instalar el Modelo de ControlNet?

1. Instalar ControlNet Solo para ComfyUI

Después de descargar el modelo, necesitas colocar los archivos en la carpeta /ComfyUI/models/controlnet.

2. Compartir el Modelo de ControlNet con WebUI

Si estás compartiendo archivos de modelo con WebUI, asegúrate de que las configuraciones de archivo correspondientes sean correctas.

1. Localiza el archivo de configuración para archivos de modelo adicionales en ComfyUI: /ComfyUI/extra_model_paths.yaml
2. Abre extra_model_paths.yaml con un editor de texto.
3. Verifica la información del archivo de configuración de la siguiente manera:

#todo lo que tienes que hacer es cambiar la base_path a donde está instalado el tuyo
a111:
    base_path: D:\sd-webui-aki-v4.2 # Tu directorio WebUI
 
    checkpoints: models/Stable-diffusion
    configs: models/Stable-diffusion
    vae: models/VAE
    loras: |
         models/Lora
         models/LyCORIS
    upscale_models: |
                  models/ESRGAN
                  models/RealESRGAN
                  models/SwinIR
    embeddings: embeddings
    hypernetworks: models/hypernetworks
    controlnet: models/ControlNet # El modelo debe estar instalado en esta carpeta
    ipadapter: models/ipadapter
 

Debes prestar atención a las opciones de configuración para controlnet. Por ejemplo, en mi archivo de configuración, la ruta para mi modelo instalado de ControlNet debería ser D:\sd-webui-aki-v4.2\models\ControlNet. Solo coincidiendo con la configuración puedes asegurar que ComfyUI pueda encontrar los archivos de modelo correspondientes.

¿Cómo Usar ControlNet en ComfyUI?

🚧