ControlNet y T2I-Adapter - Ejemplos de Flujo de Trabajo de ComfyUI
Nota que en estos ejemplos se pasa directamente la imagen cruda al adaptador ControlNet/T2I.
Cada adaptador ControlNet/T2I necesita que la imagen que se le pasa esté en un formato específico como mapas de profundidad, mapas de canny, etc., dependiendo del modelo específico si se desean buenos resultados.
El nodo ControlNetApply no convertirá imágenes regulares en mapas de profundidad, mapas de canny, etc. para ti. Tendrás que hacerlo por separado o usando nodos para preprocesar tus imágenes que puedes encontrar: Aquí
Puedes encontrar los archivos del modelo ControlNet más recientes aquí: Versión Original o Versión más pequeña de fp16 de safetensors
Para la estabilidad de SDXL, stability.ai ha lanzado Control Loras que puedes encontrar Aquí (rango 256) o Aquí (rango 128). Se usan exactamente de la misma manera (poniéndolos en el mismo directorio) que los archivos del modelo ControlNet regulares.
Los archivos del modelo ControlNet van en el directorio ComfyUI/models/controlnet.
ControlNet de Garabato
Aquí hay un ejemplo simple de cómo usar controlnets, este ejemplo usa el controlnet de garabato y el modelo AnythingV3. Puedes cargar esta imagen en ComfyUI para obtener el flujo de trabajo completo.
Aquí está la imagen de entrada que usé para este flujo de trabajo:
T2I-Adapter vs ControlNets
Los T2I-Adapters son mucho más eficientes que los ControlNets, por lo que te recomiendo encarecidamente. Los ControlNets ralentizarán significativamente la velocidad de generación, mientras que los T2I-Adapters tienen un impacto negativo casi nulo en la velocidad de generación.
En los ControlNets, el modelo ControlNet se ejecuta una vez cada iteración. Para el T2I-Adapter, el modelo se ejecuta una vez en total.
Los T2I-Adapters se usan de la misma manera que los ControlNets en ComfyUI: usando el nodo ControlNetLoader.
Esta es la imagen de entrada que se usará en este ejemplo fuente:
Aquí está cómo se usa el adaptador T2I de profundidad:
Aquí está cómo se usa el controlnet de profundidad. Tenga en cuenta que este ejemplo usa el nodo DiffControlNetLoader porque el controlnet utilizado es un controlnet de diferencia. Los controlnets de diferencia necesitan que los pesos de un modelo se carguen correctamente. El nodo DiffControlNetLoader también se puede usar para cargar modelos controlnet regulares. Cuando se cargan modelos controlnet regulares, se comportará de la misma manera que el nodo ControlNetLoader.
Puedes cargar estas imágenes en ComfyUI para obtener el flujo de trabajo completo.
ControlNet de Pose
Esta es la imagen de entrada que se usará en este ejemplo:
Aquí hay un ejemplo usando un primer paso con AnythingV3 con el controlnet y un segundo paso sin el controlnet con AOM3A3 (mix de naranja abisal 3) y usando su VAE.
Puedes cargar esta imagen en ComfyUI para obtener el flujo de trabajo completo.
Mezclando ControlNets
Se pueden aplicar múltiples ControlNets y T2I-Adapters de esta manera con resultados interesantes:
Puedes cargar esta imagen en ComfyUI para obtener el flujo de trabajo completo.
Imagenes de entrada:
