Tutorial sobre el uso de múltiples ControlNets en ComfyUI
En ControlNet, se pueden combinar múltiples ControlNets para lograr un control más preciso. Por ejemplo, al generar personajes, si hay un desalineamiento en las extremidades, se puede superponer la profundidad para asegurar la correcta relación frontal y trasera de las extremidades.
En este artículo, utilizaré OpenPose y Lineart para lograr una transformación en el estilo visual.
- OpenPose se utiliza para controlar la postura del personaje.
- Lineart se utiliza para mantener la consistencia en la vestimenta y características faciales del personaje.
La clave es encadenar las condiciones de los nodos Apply ControlNet al usar múltiples ControlNets.
Para más información sobre el control de etapas de ControlNet, puedes consultar las Instrucciones de uso del nodo Apply ControlNet.
Pasos para usar múltiples ControlNets en ComfyUI
1. Instalar los plugins necesarios
Si has aprendido de otros tutoriales en ComfyUI Wiki, deberías haber instalado los plugins correspondientes, por lo que puedes omitir este paso.
Dado que ComfyUI Core no incluye un preprocesador de imágenes de profundidad correspondiente, necesitas descargar el plugin de preprocesador correspondiente por adelantado. Este tutorial requiere el uso del plugin ComfyUI ControlNet Auxiliary Preprocessors para generar mapas de profundidad.
Se recomienda utilizar ComfyUI Manager para la instalación. Puedes consultar el Tutorial de instalación de plugins de ComfyUI para obtener instrucciones detalladas sobre la instalación de plugins.
La última versión de ComfyUI Desktop ya tiene preinstalado el plugin ComfyUI Manager.
2. Descargar modelos
Primero, necesitas descargar los siguientes modelos:
| Tipo de modelo | Archivo del modelo | Enlace de descarga |
|---|---|---|
| Modelo base SD1.5 | dreamshaper_8.safetensors (opcional) | Civitai |
| Modelo ControlNet OpenPose | control_v11f1p_sd15_openpose.pth (requerido) | Hugging Face |
| Lineart | control_v11p_sd15_lineart.pth (requerido) | Hugging Face |
La versión SD1.5 del modelo puede usar los modelos en tu propia computadora; sin embargo, en este tutorial, estoy usando el modelo dreamshaper_8 como ejemplo.
Por favor, coloca los archivos del modelo según la siguiente estructura:
📁ComfyUI
├── 📁models
│ ├── 📁checkpoints
│ │ └── 📁SD1.5
│ │ └── dreamshaper_8.safetensors
│ ├── 📁controlnet
│ │ └── 📁SD1.5
│ │ └── control_v11f1p_sd15_openpose.pth
│ │ └── control_v11p_sd15_lineart.pth3. Archivo de flujo de trabajo e imagen de entrada
Descarga el siguiente archivo de flujo de trabajo y el archivo de imagen
4. Importar flujo de trabajo en ComfyUI para cargar imágenes para generación
- Cargar el modelo Checkpoint SD1.5 correspondiente en el paso
1 - Cargar la imagen de entrada en el paso
2 - Cargar el modelo ControlNet OpenPose en el paso
3 - Cargar el modelo ControlNet Lineart en el paso
4 - Usar Queue o la tecla de acceso rápido
Ctrl+Enterpara ejecutar el flujo de trabajo y generar la imagen
Escenarios de uso combinado de ControlNet
1. Diseño de visualización arquitectónica
Combinación de ControlNet
Canny Edge + Depth Map + MLSD Line Detection
Plan de configuración de parámetros
| Tipo de ControlNet | Función principal | Peso recomendado | Sugerencias de parámetros de preprocesamiento | Fase |
|---|---|---|---|---|
| Canny | Asegurar contornos arquitectónicos precisos | 0.9-1.0 | Umbral bajo: 50, umbral alto: 150 | Fase uno |
| Depth | Construir relaciones de perspectiva tridimensional | 0.7-0.8 | Modelo MiDaS, Boost contraste habilitado | Fase dos |
| MLSD | Corregir deformaciones de líneas para mantener precisión geométrica | 0.4-0.6 | Longitud mínima de línea: 15, distancia máxima de línea: 20 | Fase tres |
2. Generación dinámica de personajes
Combinación de ControlNet
OpenPose Pose + Lineart Sketch + Scribble Color Blocks
Plan de configuración de parámetros
| Tipo de ControlNet | Función principal | Peso recomendado | Sugerencias de adaptación de resolución | Estrategia de colaboración |
|---|---|---|---|---|
| OpenPose | Controlar la postura y acciones generales del personaje | 1.0 | Mantener consistente con el tamaño de salida | Red principal de control |
| Lineart | Refinar características faciales y detalles del equipo | 0.6-0.7 | Habilitar modo Anime | Intervención media a tardía |
| Scribble | Definir colores de ropa y distribución de texturas | 0.4-0.5 | Usar preprocesamiento SoftEdge | Solo afecta la capa de color |
3. Diseño de concepto de producto
Combinación de ControlNet
HED Soft Edge + Depth Depth of Field + Normal Normal Map
Plan de configuración de parámetros
| Tipo de ControlNet | Función principal | Rango de peso | Configuraciones clave de preprocesamiento | Efecto |
|---|---|---|---|---|
| HED | Capturar bordes suaves y transiciones de superficie de productos | 0.8 | Desenfoque gaussiano: σ=1.5 | Control de suavidad de contornos |
| Depth | Simular luz y sombra reales con desenfoque de fondo | 0.6 | Modo de mejora de primer plano | Construcción de capas espaciales |
| Normal | Mejorar detalles de superficie y propiedades reflectantes de materiales | 0.5 | Tamaño de generación: 768x768 | Mejora de detalles de materiales |
4. Renderizado de atmósfera de escena
Combinación de ControlNet
Segmentation Partition + Shuffle Color Tone + Depth Layers
Estrategia de control por capas
| Capa de control | Función principal | Peso | Área de efecto | Momento de intervención |
|---|---|---|---|---|
| Seg | Dividir áreas de elementos de la escena (cielo/edificio) | 0.9 | Composición global | Control total |
| Shuffle | Controlar el tono general y la transferencia de estilo | 0.4 | Distribución de color | Intervención media a tardía |
| Depth | Crear efecto de profundidad y capas espaciales | 0.7 | Área de desenfoque de fondo | Intervención temprana |