Cómo usar múltiples ControlNets en ComfyUI
Este artículo explica cómo combinar múltiples ControlNets en ComfyUI mediante la conexión de los nodos Apply ControlNet para un control y efectos de generación más precisos.
En ControlNet, se pueden combinar múltiples ControlNets para lograr un control más preciso. Por ejemplo, al generar personajes, si hay un desalineamiento en las extremidades, se puede superponer la profundidad para asegurar la correcta relación frontal y trasera de las extremidades.
En este artículo, utilizaré OpenPose y Lineart para lograr una transformación en el estilo visual.
- OpenPose se utiliza para controlar la postura del personaje.
- Lineart se utiliza para mantener la consistencia en la vestimenta y características faciales del personaje.
La clave es encadenar las condiciones de los nodos Apply ControlNet al usar múltiples ControlNets.
Para más información sobre el control de etapas de ControlNet, puedes consultar las Instrucciones de uso del nodo Apply ControlNet.
Pasos para usar múltiples ControlNets en ComfyUI
1. Instalar los plugins necesarios
Si has aprendido de otros tutoriales en ComfyUI Wiki, deberías haber instalado los plugins correspondientes, por lo que puedes omitir este paso.
Dado que ComfyUI Core no incluye un preprocesador de imágenes de profundidad correspondiente, necesitas descargar el plugin de preprocesador correspondiente por adelantado. Este tutorial requiere el uso del plugin ComfyUI ControlNet Auxiliary Preprocessors para generar mapas de profundidad.
Se recomienda utilizar ComfyUI Manager para la instalación. Puedes consultar el Tutorial de instalación de plugins de ComfyUI para obtener instrucciones detalladas sobre la instalación de plugins.
La última versión de ComfyUI Desktop ya tiene preinstalado el plugin ComfyUI Manager.
2. Descargar modelos
Primero, necesitas descargar los siguientes modelos:
| Tipo de modelo | Archivo del modelo | Enlace de descarga |
|---|---|---|
| Modelo base SD1.5 | dreamshaper_8.safetensors (opcional) | Civitai |
| Modelo ControlNet OpenPose | control_v11p_sd15_openpose.pth (requerido) | Hugging Face |
| Lineart | control_v11p_sd15_lineart.pth (requerido) | Hugging Face |
La versión SD1.5 del modelo puede usar los modelos en tu propia computadora; sin embargo, en este tutorial, estoy usando el modelo dreamshaper_8 como ejemplo.
Por favor, coloca los archivos del modelo según la siguiente estructura:
📁ComfyUI
├── 📁models
│ ├── 📁checkpoints
│ │ └── 📁SD1.5
│ │ └── dreamshaper_8.safetensors
│ ├── 📁controlnet
│ │ └── 📁SD1.5
│ │ └── control_v11p_sd15_openpose.pth
│ │ └── control_v11p_sd15_lineart.pth3. Archivo de flujo de trabajo e imagen de entrada
Descarga el siguiente archivo de flujo de trabajo y el archivo de imagen
4. Importar flujo de trabajo en ComfyUI para cargar imágenes para generación
- Cargar el modelo Checkpoint SD1.5 correspondiente en el paso
1 - Cargar la imagen de entrada en el paso
2 - Cargar el modelo ControlNet OpenPose en el paso
3 - Cargar el modelo ControlNet Lineart en el paso
4 - Usar Queue o la tecla de acceso rápido
Ctrl+Enterpara ejecutar el flujo de trabajo y generar la imagen
Escenarios para combinar ControlNets
1. Diseño de visualización arquitectónica
Combinación de ControlNet
Canny Edge + Depth Map + MLSD Line Detection
Plan de configuración de parámetros
| Tipo de ControlNet | Función principal | Peso recomendado | Sugerencias de parámetros de preprocesamiento | Fase |
|---|---|---|---|---|
| Canny | Garantizar contornos arquitectónicos precisos | 0.9-1.0 | Umbral bajo: 50, umbral alto: 150 | Fase uno |
| Depth | Construir una perspectiva espacial tridimensional | 0.7-0.8 | Modelo MiDaS, mejora de contraste Boost activada | Fase dos |
| MLSD | Corregir la deformación de líneas para mantener la precisión geométrica | 0.4-0.6 | Longitud mínima de línea: 15, distancia máxima de línea: 20 | Fase tres |
2. Generación dinámica de personajes
Combinación de ControlNet
OpenPose Pose + Lineart Sketch + Scribble Color Blocks
Plan de configuración de parámetros
| Tipo de ControlNet | Función principal | Peso recomendado | Sugerencias de adaptación de resolución | Estrategia de colaboración |
|---|---|---|---|---|
| OpenPose | Controlar la postura y las acciones generales del personaje | 1.0 | Mantener consistente con el tamaño de salida | Red de control principal |
| Lineart | Refinar rasgos faciales y detalles del equipamiento | 0.6-0.7 | Activar modo Anime | Intervención de mitad a final |
| Scribble | Definir colores de la ropa y distribución de texturas | 0.4-0.5 | Usar preprocesamiento SoftEdge | Solo afecta la capa de color |
3. Diseño conceptual de productos
Combinación de ControlNet
HED Soft Edge + Depth Depth of Field + Normal Normal Map
Plan de configuración de parámetros
| Tipo de ControlNet | Función principal | Rango de peso | Configuraciones clave de preprocesamiento | Efecto |
|---|---|---|---|---|
| HED | Capturar bordes suaves y transiciones de superficie de los productos | 0.8 | Desenfoque gaussiano: σ=1.5 | Controlar la suavidad del contorno |
| Depth | Simular luz y sombra reales con desenfoque de fondo | 0.6 | Modo de mejora de campo cercano | Construir capas espaciales |
| Normal | Mejorar los detalles de superficie y las propiedades reflectantes de los materiales | 0.5 | Tamaño de generación: 768x768 | Mejorar los detalles del material |
4. Renderizado de la atmósfera de escena
Combinación de ControlNet
Segmentation Partition + Shuffle Color Tone + Depth Layers
Estrategia de control por capas
| Capa de control | Función principal | Peso | Área de efecto | Momento de intervención |
|---|---|---|---|---|
| Seg | Dividir áreas de elementos de la escena (cielo/edificio) | 0.9 | Composición global | Control total |
| Shuffle | Controlar el tono de color general y la transferencia de estilo | 0.4 | Distribución del color | Intervención de mitad a final |
| Depth | Crear efecto de profundidad y capas espaciales | 0.7 | Área de desenfoque de fondo | Intervención temprana |
Comentarios
Inicia sesión con GitHub para unirte a la conversación.