Guía Detallada del Flujo de Trabajo de Flux ControlNet

Este tutorial te guiará sobre cómo usar los modelos oficiales ControlNet de Flux en ComfyUI. Cubriremos el uso de dos modelos de control oficiales: FLUX.1 Depth y FLUX.1 Canny.

Este tutorial está basado y actualizado desde los ejemplos de ComfyUI Flux

Introducción a los Modelos

FLUX.1 Depth [dev]

• Modelo transformador de flujo rectificado de 12 mil millones de parámetros
• Guía estructural basada en mapas de profundidad
• Utiliza entrenamiento de destilación guiada para mejorar la eficiencia
• Admite uso personal, investigación y comercial

FLUX.1 Canny [dev]

• Modelo transformador de flujo rectificado de 12 mil millones de parámetros
• Guía estructural basada en detección de bordes Canny
• También utiliza método de entrenamiento de destilación guiada
• Sigue la licencia no comercial de FLUX.1 [dev]

Descripción de Versiones del Modelo

Los modelos Flux ControlNet están disponibles en dos versiones: Modelo Completo y Modelo LoRA.

Versión de Modelo Completo

• Archivo de modelo completo que contiene todos los pesos
• Requiere mayor VRAM
• Mejor calidad de generación

Versión LoRA

• Modelo ligero que contiene solo pesos diferenciales
• Requiere modelo base Flux
• Menor uso de VRAM

Preparación

1. Actualizar ComfyUI

Primero, asegúrate de que tu ComfyUI esté actualizado a la última versión. Si no sabes cómo actualizar y mejorar ComfyUI, consulta Cómo Actualizar y Mejorar ComfyUI.

Nota: La funcionalidad Flux ControlNet requiere la última versión de ComfyUI, así que por favor completa la actualización primero.

2. Descargas del Modelo Completo

3. Descargas del Modelo LoRA

4. Descargas de Archivos de Flujo de Trabajo

5. Requisitos del Sistema

• Requisitos de VRAM: Se recomienda al menos 16GB VRAM
• Si la VRAM es limitada, puede usar la versión fp8 del modelo para reducir el uso de memoria

Guía de Uso del Flujo de Trabajo Flux ControlNet

Consejos para la Versión Completa

1. ControlNetLoader

   • Modelo Depth: Para mantener la estructura 3D de la imagen de referencia
   • Modelo Canny: Para mantener los bordes de la imagen de referencia

2. Nodos de Preprocesamiento

   • DepthPreprocessor: Genera mapas de profundidad, no requiere ajustes adicionales
   • CannyEdgePreprocessor: Puede ajustar los umbrales para controlar la detección de bordes
     • umbral bajo: sensibilidad de la detección de bordes
     • umbral alto: integridad de las líneas de borde

3. FluxGuidance

   • Valores recomendados: 3.5-4.0
   • Valores más altos producen resultados más cercanos a la descripción del prompt

4. ModelSamplingFlux

   • shift_factor: 1.15 (valor predeterminado, generalmente no necesita ajuste)
   • multiplier: 0.5 (puede ajustarse según sea necesario)

Consejos para la Versión LoRA

1. Nodo LoraLoaderModelOnly

   • Cargar el archivo de modelo LoRA correspondiente
   • Se recomienda establecer el parámetro strength en 1.0
   • Requiere cargar primero el modelo base Flux

2. Nodo InstructPixToPixConditioning

   • Usado para el control de condiciones de imagen a imagen
   • Requiere conexiones de VAE y entrada de imagen original

3. Configuración de KSampler

   • Se recomienda establecer steps en 20
   • Seleccionar euler como sampler
   • Usar normal como scheduler
   • Establecer denoise en 1.0

Recomendaciones de Selección de Versión

1. Cuándo Elegir la Versión Completa

   • Tiene suficiente VRAM (16GB+)
   • Busca la mejor calidad de generación
   • Necesita control más preciso

2. Cuándo Elegir la Versión LoRA

   • VRAM limitada (8-16GB)
   • Necesita velocidad de generación más rápida
   • Los requisitos de calidad no son extremadamente estrictos

Consejos de Ajuste de Parámetros

Control de Profundidad

• Adecuado para escenas que requieren mantener la estructura espacial
• Fuerza de control recomendada: 0.6-0.9

Control Canny

• Adecuado para escenas que requieren mantener líneas y contornos
• Fuerza de control recomendada: 0.5-0.8

Consejos Generales

• Probar primero con parámetros predeterminados
• Ajustar gradualmente la fuerza de control según los resultados
• Optimizar resultados ajustando los prompts

Aplicaciones Avanzadas

1. Control Mixto

   • Puede usar control de Profundidad y Canny simultáneamente
   • Ajustar pesos de diferentes redes de control

2. Transferencia de Estilo

   • Combinar con modelos LoRA
   • Usar prompts de estilo

3. Procesamiento por Lotes

   • Usar nodos de procesamiento por lotes
   • Optimizar el flujo de trabajo

Recursos de Referencia

• Página Oficial de FLUX.1 Depth Dev
• Página Oficial de FLUX.1 Canny Dev
• Ejemplos de ComfyUI Flux
• Blog de blackforestlabs