Guía de instalación de Flux.1 ComfyUI, flujo de trabajo y ejemplo

Esta guía trata sobre cómo configurar ComfyUI en tu computadora con Windows para ejecutar Flux.1. Cubre los siguientes temas:

• Introducción a Flux.1
• Resumen de las diferentes versiones de Flux.1
• Requisitos de hardware de Flux
• Cómo instalar y usar Flux.1 con ComfyUI
• Recursos relacionados con Flux.1, como LoRA, ControlNet, etc.

En este artículo, presentaré las diferentes versiones del modelo FLux, principalmente la versión oficial y las versiones destiladas de terceros, y además, ComfyUI también proporciona una versión de archivo único de FP8.

• La primera parte del tutorial explicará principalmente la versión oficial y las versiones destiladas de terceros, que requieren más modelos relacionados para ser instalados.
• La segunda parte utilizará la versión FP8 de ComfyUI, que se puede usar directamente con solo un modelo Checkpoint instalado.

Introducción a Flux.1

Flux.1 es un conjunto de modelos generativos de imágenes introducido por Black Forest Labs, un laboratorio con capacidades excepcionales de generación de texto a imagen y comprensión del lenguaje. Flux.1 sobresale en calidad visual y detalle de imagen, particularmente en generación de texto, composiciones complejas y representaciones de manos. El modelo ha refinado los detalles de las manos, mejorando significativamente las deformidades de los dedos que a menudo se ven en los modelos de Stable Diffusion. Flux.1 también ha mejorado la calidad de la imagen, cerrando la brecha con el software de imagen generativa de primer nivel, Midjourney.

Black Forest Labs fue fundado por Robin Rombach, un ex miembro principal de Stability AI.

Sitio web oficial de Black Forest Labs: https://blackforestlabs.ai/

Instalar o actualizar Comfy UI

Para utilizar Flux.1 dentro de ComfyUI, necesitarás actualizar al último modelo de ComfyUI. Si aún no has actualizado ComfyUI, puedes seguir los artículos a continuación para obtener instrucciones de actualización o instalación.

Parte 1. Versiones oficiales y destiladas de Flux.1

Modelos oficiales de Flux.1

He enumerado las 3 versiones actualmente lanzadas oficialmente por Flux.1, pero las versiones oficiales tienen altos requisitos de hardware. Actualmente hay muchas versiones de código abierto disponibles con menores requisitos de hardware, que puedes elegir según tus necesidades.

Para más información, visita el repositorio de Flux.1: https://github.com/black-forest-labs/flux

Requisitos de Hardware de Flux.1 ComfyUI

VRAM mínima: 8-12GB o más (velocidad de generación más lenta) VRAM recomendada: 16-24GB

Actualmente, hay muchas versiones de la comunidad de código abierto disponibles con menores requisitos de hardware, como las versiones GGUF, con un requisito mínimo de VRAM de 6GB.

Dirección de Descarga de la Versión Oficial y de la Comunidad de Código Abierto de Flux.1

Flux.1 actualmente tiene 3 modelos lanzados oficialmente, pero solo las versiones Dev y Schnell son de código abierto. Debido a los altos requisitos de hardware de Flux, muchas versiones han sido iteradas por la comunidad de código abierto basadas en la versión original, incluyendo principalmente:

• Versiones oficiales de Black Forest Labs dev 、 schnell
• Versiones FP8 de ComfyUI dev 、schnell
• Versiones FP8 de Kijia flux-fp8
• Versiones BNB NF4 V2 de lllyasviel dev
• Versiones GGUF de City96 dev 、 schnell

Si hay nuevas versiones, también las actualizaré en este artículo, así que no olvides marcar este artículo. La información correspondiente a las diferentes versiones es la siguiente. Aunque la tabla proporciona enlaces de descarga, sugiero descargar modelos por separado según diferentes flujos de trabajo en lugar de descargar directamente los archivos de modelos correspondientes en la tabla.

Si deseas usar Flux.1 en ComfyUI, necesitas actualizar a la última versión de ComfyUI. Si aún no has actualizado ComfyUI, puedes seguir los artículos a continuación para obtener instrucciones de actualización o instalación.

Guía de flujo de trabajo de Flux.1 ComfyUI versión original

El flujo de trabajo de la versión original es más complejo, requiriendo la instalación de múltiples archivos. Este tutorial incluye dos partes:

• Descargar e instalar los modelos CLIP、VAE、UNET
• Flujo de trabajo complejo de la versión original de Flux.1, incluyendo las versiones Dev y Schnell, así como ejemplos de flujo de trabajo de versión de baja memoria

Parte 1: Descargar e instalar los modelos CLIP、VAE、UNET

Descargar modelos ComfyUI flux_text_encoders clip

ComfyUI flux_text_encoders en hugging face

1. Descargar clip_l.safetensors
2. Descargar t5xxl_fp8_e4m3fn.safetensors o t5xxl_fp16.safetensors Dependiendo de tu VRAM y RAM
3. Colocar los archivos de modelos descargados en la carpeta ComfyUI/models/clip/. Nota: Si has usado SD 3 Medium antes, es posible que ya tengas los dos modelos anteriores

Descargar Modelo VAE de FLux.1

FLUX.1-schnell en hugging face

1. Descargar el modelo ae.safetensors.
2. Colocar los archivos de modelos descargados en la carpeta ComfyUI/models/vae.
3. Para identificación, puedes renombrarlo a flux_ae.safetensors;

Descargar Modelo UNET de FLux.1

FLUX.1-schnell en hugging face

1. Descargue el flux1-schnell.safetensors
2. Coloque los archivos de modelo descargados en la carpeta ComfyUI/models/unet/

Parte 2: Ejemplo de flujo de trabajo original de Flux.1 ComfyUI

Ejemplo de flujo de trabajo oficial de Flux.1 de ComfyUI: https://comfyanonymous.github.io/ComfyUI_examples/flux/ Solo necesitas guardar la imagen y cargarla en Comfy!

Ejemplo de flujo de trabajo de Flux Dev ComfyUI

Ejemplo de flujo de trabajo de Flux Schnell ComfyUI

Flux con menos de 12GB de VRAM

https://civitai.com/posts/5006398

Versión de Checkpoint FP8 de Comfy ORG

Los siguientes modelos de Checkpoint son proporcionados por ComfyUI Org, solo necesitas descargar un archivo de modelo y puedes usarlo directamente.

1. Descargue la versión del modelo que necesita
2. Colóquelo en ComfyUI/models/checkpoints/

También puedes usar el Kijia Flux-FP8, ya que los nombres de los archivos son similares, se recomienda renombrar el archivo después de descargarlo o crear una carpeta separada para distinguirlo.

Ejemplo de flujo de trabajo de la versión de Checkpoint FP8 de Flux dev

Ejemplo de flujo de trabajo de la versión de Checkpoint FP8 de Flux Schnell

Ejemplo de flujo de trabajo de la versión NF4 de Flux.1

Autor: lllyasviel Primero, necesitas instalar el plugin correspondiente: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 Las instrucciones de instalación del plugin se pueden encontrar en Guía de Instalación de Plugins de ComfyUI

Descarga del Modelo de la Versión NF4

lllyasviel hizo dos versiones del modelo NF4 Flux, por favor descarga directamente la versión V2, esta versión tiene mejores detalles y efectos

1. Instala el plugin ComfyUI_bitsandbytes_NF4, si no sabes cómo instalar el plugin, puedes referirte a Guía de Instalación de Plugins de ComfyUI
2. Descarga el archivo flux1-dev-bnb-nf4-v2, y coloca el archivo descargado en el directorio comfyui/models/checkpoints

Ejemplo de flujo de trabajo de la versión NF4 de Flux.1

Ejemplo de flujo de trabajo de la versión GGUF de Flux.1

Autor: City96 Dirección del Proyecto: https://github.com/city96/ComfyUI-GGUF

Instalar Plugins y Descargar Modelos

1. Descarga el modelo Flux GGUF dev o el modelo Flux GGUF schnell y coloca los archivos del modelo en el directorio comfyui/models/unet.
2. Descarga t5-v1_1-xxl-encoder-gguf, y coloca los archivos del modelo en el directorio comfyui/models/clip.
3. Descarga clip_l.safetensors y coloca los archivos del modelo en el directorio comfyui/models/clip.
4. Descarga ae.safetensors y coloca los archivos del modelo en el directorio comfyui/models/vae, y renómbralo a flux_ae.safetensors.
5. Instala el plugin ComfyUI-GGUF, si no sabes cómo instalar el plugin, puedes referirte a Guía de Instalación de Plugins de ComfyUI

Ejemplo de flujo de trabajo de la versión GGUF de Flux.1

Ejecutar Flux.1 en línea

Aquí hay algunos métodos en línea proporcionados por Black Forest Labs para utilizar o invocar el modelo Flux.1.

huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell

Ajustes de Configuración del Sistema Windows y ComfyUI

Los siguientes pasos están diseñados para optimizar la configuración de tu sistema Windows, permitiéndote utilizar los recursos del sistema al máximo. Además, cuando ejecutes el modelo Flux.1 con ComfyUI, por favor evita ejecutar otros programas para minimizar el uso de memoria.

Configuración de Memoria Virtual de Windows

Solución de Problemas

1. Advertencia de falta de memoria

Usa la versión de archivo único fp8

2. Resolución de Problemas de Rendimiento
   https://github.com/comfyanonymous/ComfyUI/discussions/4457

Recursos de Flux.1

Cuantificaciones GGUF de Flux

Las cuantificaciones GGUF están aquí: https://huggingface.co/city96/FLUX.1-dev-gguf Aquí está el nodo para cargarlas: https://github.com/city96/ComfyUI-GGUF vía: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora fotorealismo para el modelo FLUX.1-dev de Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime alvdansen/softserve_anime https://huggingface.co/davisbro/half_illustration davisbro/half_illustration https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur Flux.1 LoRA y otros recursos, puedes descargarlos en civitai
XLabs-AI/flux-lora-collection: https://huggingface.co/XLabs-AI/flux-lora-collection

Consejo: La última versión de ComfyUI es propensa a un uso excesivo de memoria gráfica al usar múltiples modelos FLUX LoRA, y este problema no está relacionado con el tamaño de los modelos LoRA. Incluso las tarjetas gráficas de alta gama como la NVIDIA GeForce RTX 4090 son susceptibles a problemas similares. Podrías considerar usar la versión GGUF del modelo, o alternativamente, emplear el LoRA de Xlab para cargar el flujo de trabajo de ComfyUI como una posible solución a este problema.

Herramienta de entrenamiento en línea de Flux LoRA

Interfaz web extremadamente simple para entrenar Flux LoRA con soporte de BAJA VRAM (12GB/16GB/20GB). https://github.com/cocktailpeanut/fluxgym

Herramienta de entrenamiento en línea de Flux LoRA

Replicate ofrece una herramienta de entrenamiento llamada “ostris/flux-dev-lora-trainer,” que te permite entrenar tu propio modelo estilo LoRA con un mínimo de solo 10 imágenes. Puedes probarlo.

• Precio: Los entrenamientos para este modelo se ejecutan en hardware de GPU Nvidia H100, que cuesta $0.001528 por segundo.
• Cómo Entrenar: Lee este documento
• Licencia: Todos los LoRAs de Flux-Dev tienen la misma licencia que el modelo base original para FLUX.1-dev

Entrenamiento de FLUX.1 por Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 Entrenar Flux LoRA por FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 Ejemplo de entrenamiento DreamBooth para FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md

Flux ControlNet

Colecciones de Flux ControlNet: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

Checkpoint de IP-Adapter para el modelo FLUX.1-dev por Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter

Ejemplo de flujo de trabajo de Flux

Encuentra más ejemplos de flujo de trabajo en: https://openart.ai/workflows/all?keyword=flux