Skip to content

Guía de instalación de Flux.1 ComfyUI, flujo de trabajo y ejemplo

Esta guía trata sobre cómo configurar ComfyUI en tu computadora con Windows para ejecutar Flux.1. Cubre los siguientes temas:

  • Introducción a Flux.1
  • Resumen de las diferentes versiones de Flux.1
  • Requisitos de hardware de Flux
  • Cómo instalar y usar Flux.1 con ComfyUI
  • Recursos relacionados con Flux.1, como LoRA, ControlNet, etc.

En este artículo, presentaré las diferentes versiones del modelo FLux, principalmente la versión oficial y las versiones destiladas de terceros, y además, ComfyUI también proporciona una versión de archivo único de FP8.

  • La primera parte del tutorial explicará principalmente la versión oficial y las versiones destiladas de terceros, que requieren más modelos relacionados para ser instalados.
  • La segunda parte utilizará la versión FP8 de ComfyUI, que se puede usar directamente con solo un modelo Checkpoint instalado.

Introducción a Flux.1

Flux.1 es un conjunto de modelos generativos de imágenes introducido por Black Forest Labs, un laboratorio con capacidades excepcionales de generación de texto a imagen y comprensión del lenguaje. Flux.1 sobresale en calidad visual y detalle de imagen, particularmente en generación de texto, composiciones complejas y representaciones de manos. El modelo ha refinado los detalles de las manos, mejorando significativamente las deformidades de los dedos que a menudo se ven en los modelos de Stable Diffusion. Flux.1 también ha mejorado la calidad de la imagen, cerrando la brecha con el software de imagen generativa de primer nivel, Midjourney.

Black Forest Labs fue fundado por Robin Rombach, un ex miembro principal de Stability AI.

Sitio web oficial de Black Forest Labs: https://blackforestlabs.ai/

Instalar o actualizar Comfy UI

Para utilizar Flux.1 dentro de ComfyUI, necesitarás actualizar al último modelo de ComfyUI. Si aún no has actualizado ComfyUI, puedes seguir los artículos a continuación para obtener instrucciones de actualización o instalación.

Parte 1. Versiones oficiales y destiladas de Flux.1

Modelos oficiales de Flux.1

He enumerado las 3 versiones actualmente lanzadas oficialmente por Flux.1, pero las versiones oficiales tienen altos requisitos de hardware. Actualmente hay muchas versiones de código abierto disponibles con menores requisitos de hardware, que puedes elegir según tus necesidades.

Característica/VersiónFlux.1 ProFlux.1 DevFlux.1 Schnell
ResumenRendimiento de vanguardia en generación de imágenes con seguimiento de indicaciones de primer nivel, calidad visual, detalle de imagen y diversidad de salida.Modelo de código abierto con calidad y adherencia a indicaciones similar a Pro, más eficiente para usuarios con GPUs.Modelo de código abierto, la opción más rápida para desarrollo local y uso personal, con respuesta rápida y bajos requisitos de configuración.
Calidad VisualDe primer nivelSimilar a ProBuena
Detalle de ImagenDe primer nivelSimilar a ProBueno
Diversidad de SalidaAltaMediaMedia
Adherencia a IndicacionesAltaMediaMedia
Optimización de Detalle de Manos
Precio (Por Imagen)$0.055API: $0.03, Descarga gratuitaAPI: $0.003, Descarga gratuita
Tipo de LicenciaSoluciones empresariales, solo APICódigo abierto, Licencia No Comercial FLUX.1-devApache2.0, Uso comercial permitido
Descarga del ModeloNo disponible para descargaDisponible para descarga Repositorio GitHub de Flux.1 DevFlux.1 Dev en Hugging FaceDisponible para descarga Repositorio GitHub de Flux.1 SchnellFlux.1 Schnell en Hugging Face
Acceso a APIAPI FLUX.1 [pro]API Replicate de Flux.1 ProAPI FAL AI de Flux.1 ProAPI Mystic AI de Flux.1 ProAPI Replicate de Flux.1 DevAPI FAL AI de Flux.1 DevMystic AIAPI Replicate de Flux.1 SchnellPrueba Flux.1 Schnell en FAL AIAPI Mystic AI de Flux.1 Schnell
Caso de UsoUso profesional, personalización empresarialDesarrollo y uso personalUso personal y comercial

Para más información, visita el repositorio de Flux.1: https://github.com/black-forest-labs/flux

Requisitos de Hardware de Flux.1 ComfyUI

VRAM mínima: 8-12GB o más (velocidad de generación más lenta) VRAM recomendada: 16-24GB

Actualmente, hay muchas versiones de la comunidad de código abierto disponibles con menores requisitos de hardware, como las versiones GGUF, con un requisito mínimo de VRAM de 6GB.

Dirección de Descarga de la Versión Oficial y de la Comunidad de Código Abierto de Flux.1

Flux.1 actualmente tiene 3 modelos lanzados oficialmente, pero solo las versiones Dev y Schnell son de código abierto. Debido a los altos requisitos de hardware de Flux, muchas versiones han sido iteradas por la comunidad de código abierto basadas en la versión original, incluyendo principalmente:

  • Versiones oficiales de Black Forest Labs devschnell
  • Versiones FP8 de ComfyUI devschnell
  • Versiones FP8 de Kijia flux-fp8
  • Versiones BNB NF4 V2 de lllyasviel dev
  • Versiones GGUF de City96 devschnell

Si hay nuevas versiones, también las actualizaré en este artículo, así que no olvides marcar este artículo. La información correspondiente a las diferentes versiones es la siguiente. Aunque la tabla proporciona enlaces de descarga, sugiero descargar modelos por separado según diferentes flujos de trabajo en lugar de descargar directamente los archivos de modelos correspondientes en la tabla.

AutorNombre del ModeloUso ComercialSoporte para ControlNet y LoRACaracterísticasRequisito de VRAMTamaño del ArchivoDirección de Descarga
Black Forest LabsFlux.1 DevNoSoportadoNecesita descargar CLIP、VAE、UNET16GB+23.8GBDescargar
Black Forest LabsFlux.1 SchnellSoportadoNecesita descargar CLIP、VAE、UNET16GB+23.8GBDescargar
ComfyUIFlux.1 Dev FP8NoSoportadoFusiona Clip y VAE, solo necesita descargar un modelo8GB+17.2GBDescargar
ComfyUIFlux.1 Schnell FP8SoportadoFusiona Clip y VAE, solo necesita descargar un modelo8GB+17.2GBDescargar
KijiaFlux.1 Dev FP8NoSoportadoFusiona Clip y VAE, solo necesita descargar un modelo8GB+Descargar
KijiaFlux.1 Schnell FP8SoportadoFusiona Clip y VAE, solo necesita descargar un modelo8GB+Descargar
lllyasvielFlux.1 Dev BNB NF4 V1NoSoportadoFusiona Clip y VAE, solo necesita descargar un modelo, necesita instalar plugin ComfyUI_bitsandbytes_NF46GB+11.5GBDescargar
lllyasvielFlux.1 Dev BNB NF4 V2NoSoportadoFusiona Clip y VAE, solo necesita descargar un modelo, necesita instalar plugin ComfyUI_bitsandbytes_NF46GB+12GBDescargar
City96Flux.1 Dev GGUFNoSoportadoNecesita descargar CLIP、VAE、UNET , necesita instalar plugin ComfyUI-GGUF6GB+12GBDescargar
City96Flux.1 Schnell GGUFSoportadoNecesita descargar CLIP、VAE、UNET , necesita instalar plugin ComfyUI-GGUF6GB+12GBDescargar

Si deseas usar Flux.1 en ComfyUI, necesitas actualizar a la última versión de ComfyUI. Si aún no has actualizado ComfyUI, puedes seguir los artículos a continuación para obtener instrucciones de actualización o instalación.

💡

A continuación se presentan 4 versiones diferentes de flujos de trabajo de Flux.1. Si tu computadora tiene una gran cantidad de VRAM, puedes considerar usar el flujo de trabajo de la versión original de Flux.1. Si tu computadora tiene menos VRAM o el rendimiento no es suficiente, se recomienda usar directamente la versión GGUF.

Guía de flujo de trabajo de Flux.1 ComfyUI versión original

El flujo de trabajo de la versión original es más complejo, requiriendo la instalación de múltiples archivos. Este tutorial incluye dos partes:

  • Descargar e instalar los modelos CLIP、VAE、UNET
  • Flujo de trabajo complejo de la versión original de Flux.1, incluyendo las versiones Dev y Schnell, así como ejemplos de flujo de trabajo de versión de baja memoria

Parte 1: Descargar e instalar los modelos CLIP、VAE、UNET

Descargar modelos ComfyUI flux_text_encoders clip

ComfyUI flux_text_encoders en hugging face

Nombre del Archivo del ModeloTamañoNotaEnlace
clip_l.safetensors246 MBDescargar
t5xxl_fp8_e4m3fn.safetensors (Recomendado)4.89 GBPara menor uso de memoria (8-12GB)Descargar
t5xxl_fp16.safetensors9.79 GBPara mejores resultados, si tienes alta VRAM y RAM (más de 32GB de RAM).Descargar
  1. Descargar clip_l.safetensors
  2. Descargar t5xxl_fp8_e4m3fn.safetensors o t5xxl_fp16.safetensors Dependiendo de tu VRAM y RAM
  3. Colocar los archivos de modelos descargados en la carpeta ComfyUI/models/clip/. Nota: Si has usado SD 3 Medium antes, es posible que ya tengas los dos modelos anteriores

Descargar Modelo VAE de FLux.1

FLUX.1-schnell en hugging face

Nombre del ArchivoTamañoEnlace
ae.safetensors335 MBDescargar
  1. Descargar el modelo ae.safetensors.
  2. Colocar los archivos de modelos descargados en la carpeta ComfyUI/models/vae.
  3. Para identificación, puedes renombrarlo a flux_ae.safetensors;

Descargar Modelo UNET de FLux.1

FLUX.1-schnell en hugging face

Nombre del ArchivoTamañoEnlaceNota
flux1-schnell.safetensors23.8GBDescargarPara menor uso de memoria
flux1-dev.safetensors23.8GBDescargarSi tienes alta VRAM y RAM.
  1. Descargue el flux1-schnell.safetensors
  2. Coloque los archivos de modelo descargados en la carpeta ComfyUI/models/unet/

Parte 2: Ejemplo de flujo de trabajo original de Flux.1 ComfyUI

Ejemplo de flujo de trabajo oficial de Flux.1 de ComfyUI: https://comfyanonymous.github.io/ComfyUI_examples/flux/ Solo necesitas guardar la imagen y cargarla en Comfy!

Ejemplo de flujo de trabajo de Flux Dev ComfyUI

Ejemplo de flujo de trabajo de Flux Dev ComfyUI

Ejemplo de flujo de trabajo de Flux Schnell ComfyUI

Ejemplo de flujo de trabajo de Flux Schnell ComfyUI

Flux con menos de 12GB de VRAM

Ejemplo de flujo de trabajo de Flux con menos de 12GB de VRAM ComfyUI

https://civitai.com/posts/5006398

Versión de Checkpoint FP8 de Comfy ORG

Los siguientes modelos de Checkpoint son proporcionados por ComfyUI Org, solo necesitas descargar un archivo de modelo y puedes usarlo directamente.

Nombre del ModeloTamaño del ArchivoEnlace de Descarga
flux1-dev-fp817.2GBDescargar
flux1-schnell-fp817.2GBDescargar
  1. Descargue la versión del modelo que necesita
  2. Colóquelo en ComfyUI/models/checkpoints/

También puedes usar el Kijia Flux-FP8, ya que los nombres de los archivos son similares, se recomienda renombrar el archivo después de descargarlo o crear una carpeta separada para distinguirlo.

Ejemplo de flujo de trabajo de la versión de Checkpoint FP8 de Flux dev

Ejemplo de flujo de trabajo de Checkpoint FP8 de Flux Dev ComfyUI

Ejemplo de flujo de trabajo de la versión de Checkpoint FP8 de Flux Schnell

Ejemplo de flujo de trabajo de Checkpoint FP8 de Flux Schnell ComfyUI

Ejemplo de flujo de trabajo de la versión NF4 de Flux.1

Autor: lllyasviel Primero, necesitas instalar el plugin correspondiente: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 Las instrucciones de instalación del plugin se pueden encontrar en Guía de Instalación de Plugins de ComfyUI

Descarga del Modelo de la Versión NF4

Nombre del ModeloDirección
flux1-dev-bnb-nf4Descargar

lllyasviel hizo dos versiones del modelo NF4 Flux, por favor descarga directamente la versión V2, esta versión tiene mejores detalles y efectos

  1. Instala el plugin ComfyUI_bitsandbytes_NF4, si no sabes cómo instalar el plugin, puedes referirte a Guía de Instalación de Plugins de ComfyUI
  2. Descarga el archivo flux1-dev-bnb-nf4-v2, y coloca el archivo descargado en el directorio comfyui/models/checkpoints

Ejemplo de flujo de trabajo de la versión NF4 de Flux.1

Ejemplo de flujo de trabajo de la versión GGUF de Flux.1

Autor: City96 Dirección del Proyecto: https://github.com/city96/ComfyUI-GGUF

💡

City96 proporciona múltiples versiones GGUF del modelo Flux, si no sabes qué versión descargar en el repositorio correspondiente, aquí hay una guía simple:

  • Cuanto mayor sea el número después de Q, más VRAM se requiere y mayor es la calidad de la imagen generada. Por ejemplo, Q2 requiere menos VRAM pero genera imágenes de menor calidad, mientras que Q8 requiere más VRAM pero genera imágenes de mayor calidad.
  • También puedes determinar la calidad por el tamaño del archivo del modelo; generalmente, archivos más grandes significan mayor calidad y más VRAM requerida.

Instalar Plugins y Descargar Modelos

  1. Descarga el modelo Flux GGUF dev o el modelo Flux GGUF schnell y coloca los archivos del modelo en el directorio comfyui/models/unet.
  2. Descarga t5-v1_1-xxl-encoder-gguf, y coloca los archivos del modelo en el directorio comfyui/models/clip.
  3. Descarga clip_l.safetensors y coloca los archivos del modelo en el directorio comfyui/models/clip.
  4. Descarga ae.safetensors y coloca los archivos del modelo en el directorio comfyui/models/vae, y renómbralo a flux_ae.safetensors.
  5. Instala el plugin ComfyUI-GGUF, si no sabes cómo instalar el plugin, puedes referirte a Guía de Instalación de Plugins de ComfyUI

Ejemplo de flujo de trabajo de la versión GGUF de Flux.1

Ejecutar Flux.1 en línea

Aquí hay algunos métodos en línea proporcionados por Black Forest Labs para utilizar o invocar el modelo Flux.1.

huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell

Ajustes de Configuración del Sistema Windows y ComfyUI

Los siguientes pasos están diseñados para optimizar la configuración de tu sistema Windows, permitiéndote utilizar los recursos del sistema al máximo. Además, cuando ejecutes el modelo Flux.1 con ComfyUI, por favor evita ejecutar otros programas para minimizar el uso de memoria.

Configuración de Memoria Virtual de Windows

Configuración de memoria virtual de Windows

Solución de Problemas

  1. Advertencia de falta de memoria

Usa la versión de archivo único fp8

  1. Resolución de Problemas de Rendimiento
    https://github.com/comfyanonymous/ComfyUI/discussions/4457

Recursos de Flux.1

Haga clic aquí para más recursos de Flux

Cuantificaciones GGUF de Flux

Las cuantificaciones GGUF están aquí: https://huggingface.co/city96/FLUX.1-dev-gguf Aquí está el nodo para cargarlas: https://github.com/city96/ComfyUI-GGUF vía: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora fotorealismo para el modelo FLUX.1-dev de Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime alvdansen/softserve_anime https://huggingface.co/davisbro/half_illustration davisbro/half_illustration https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur Flux.1 LoRA y otros recursos, puedes descargarlos en civitai
XLabs-AI/flux-lora-collection: https://huggingface.co/XLabs-AI/flux-lora-collection

Consejo: La última versión de ComfyUI es propensa a un uso excesivo de memoria gráfica al usar múltiples modelos FLUX LoRA, y este problema no está relacionado con el tamaño de los modelos LoRA. Incluso las tarjetas gráficas de alta gama como la NVIDIA GeForce RTX 4090 son susceptibles a problemas similares. Podrías considerar usar la versión GGUF del modelo, o alternativamente, emplear el LoRA de Xlab para cargar el flujo de trabajo de ComfyUI como una posible solución a este problema.

Herramienta de entrenamiento en línea de Flux LoRA

Interfaz web extremadamente simple para entrenar Flux LoRA con soporte de BAJA VRAM (12GB/16GB/20GB). https://github.com/cocktailpeanut/fluxgym

Herramienta de entrenamiento en línea de Flux LoRA

Replicate ofrece una herramienta de entrenamiento llamada “ostris/flux-dev-lora-trainer,” que te permite entrenar tu propio modelo estilo LoRA con un mínimo de solo 10 imágenes. Puedes probarlo.

  • Precio: Los entrenamientos para este modelo se ejecutan en hardware de GPU Nvidia H100, que cuesta $0.001528 por segundo.
  • Cómo Entrenar: Lee este documento
  • Licencia: Todos los LoRAs de Flux-Dev tienen la misma licencia que el modelo base original para FLUX.1-dev

Entrenamiento de FLUX.1 por Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 Entrenar Flux LoRA por FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 Ejemplo de entrenamiento DreamBooth para FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md

Flux ControlNet

Colecciones de Flux ControlNet: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

Checkpoint de IP-Adapter para el modelo FLUX.1-dev por Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter

Ejemplo de flujo de trabajo de Flux

Encuentra más ejemplos de flujo de trabajo en: https://openart.ai/workflows/all?keyword=flux