Guía de instalación de Flux.1 ComfyUI, flujo de trabajo y ejemplo
Esta guía trata sobre cómo configurar ComfyUI en tu computadora con Windows para ejecutar Flux.1. Cubre los siguientes temas:
- Introducción a Flux.1
- Resumen de las diferentes versiones de Flux.1
- Requisitos de hardware de Flux
- Cómo instalar y usar Flux.1 con ComfyUI
- Recursos relacionados con Flux.1, como LoRA, ControlNet, etc.
En este artículo, presentaré las diferentes versiones del modelo FLux, principalmente la versión oficial y las versiones destiladas de terceros, y además, ComfyUI también proporciona una versión de archivo único de FP8.
- La primera parte del tutorial explicará principalmente la versión oficial y las versiones destiladas de terceros, que requieren más modelos relacionados para ser instalados.
- La segunda parte utilizará la versión FP8 de ComfyUI, que se puede usar directamente con solo un modelo Checkpoint instalado.
Introducción a Flux.1
Flux.1 es un conjunto de modelos generativos de imágenes introducido por Black Forest Labs, un laboratorio con capacidades excepcionales de generación de texto a imagen y comprensión del lenguaje. Flux.1 sobresale en calidad visual y detalle de imagen, particularmente en generación de texto, composiciones complejas y representaciones de manos. El modelo ha refinado los detalles de las manos, mejorando significativamente las deformidades de los dedos que a menudo se ven en los modelos de Stable Diffusion. Flux.1 también ha mejorado la calidad de la imagen, cerrando la brecha con el software de imagen generativa de primer nivel, Midjourney.
Black Forest Labs fue fundado por Robin Rombach, un ex miembro principal de Stability AI.
Sitio web oficial de Black Forest Labs: https://blackforestlabs.ai/
Instalar o actualizar Comfy UI
Para utilizar Flux.1 dentro de ComfyUI, necesitarás actualizar al último modelo de ComfyUI. Si aún no has actualizado ComfyUI, puedes seguir los artículos a continuación para obtener instrucciones de actualización o instalación.
Parte 1. Versiones oficiales y destiladas de Flux.1
Modelos oficiales de Flux.1
He enumerado las 3 versiones actualmente lanzadas oficialmente por Flux.1, pero las versiones oficiales tienen altos requisitos de hardware. Actualmente hay muchas versiones de código abierto disponibles con menores requisitos de hardware, que puedes elegir según tus necesidades.
Característica/Versión | Flux.1 Pro | Flux.1 Dev | Flux.1 Schnell |
---|---|---|---|
Resumen | Rendimiento de vanguardia en generación de imágenes con seguimiento de indicaciones de primer nivel, calidad visual, detalle de imagen y diversidad de salida. | Modelo de código abierto con calidad y adherencia a indicaciones similar a Pro, más eficiente para usuarios con GPUs. | Modelo de código abierto, la opción más rápida para desarrollo local y uso personal, con respuesta rápida y bajos requisitos de configuración. |
Calidad Visual | De primer nivel | Similar a Pro | Buena |
Detalle de Imagen | De primer nivel | Similar a Pro | Bueno |
Diversidad de Salida | Alta | Media | Media |
Adherencia a Indicaciones | Alta | Media | Media |
Optimización de Detalle de Manos | Sí | Sí | Sí |
Precio (Por Imagen) | $0.055 | API: $0.03, Descarga gratuita | API: $0.003, Descarga gratuita |
Tipo de Licencia | Soluciones empresariales, solo API | Código abierto, Licencia No Comercial FLUX.1-dev | Apache2.0, Uso comercial permitido |
Descarga del Modelo | No disponible para descarga | Disponible para descarga Repositorio GitHub de Flux.1 Dev、Flux.1 Dev en Hugging Face | Disponible para descarga Repositorio GitHub de Flux.1 Schnell、Flux.1 Schnell en Hugging Face |
Acceso a API | API FLUX.1 [pro]、API Replicate de Flux.1 Pro、API FAL AI de Flux.1 Pro、 API Mystic AI de Flux.1 Pro | API Replicate de Flux.1 Dev、API FAL AI de Flux.1 Dev、Mystic AI | API Replicate de Flux.1 Schnell、 Prueba Flux.1 Schnell en FAL AI、API Mystic AI de Flux.1 Schnell |
Caso de Uso | Uso profesional, personalización empresarial | Desarrollo y uso personal | Uso personal y comercial |
Para más información, visita el repositorio de Flux.1: https://github.com/black-forest-labs/flux
Requisitos de Hardware de Flux.1 ComfyUI
VRAM mínima: 8-12GB o más (velocidad de generación más lenta) VRAM recomendada: 16-24GB
Actualmente, hay muchas versiones de la comunidad de código abierto disponibles con menores requisitos de hardware, como las versiones GGUF, con un requisito mínimo de VRAM de 6GB.
Dirección de Descarga de la Versión Oficial y de la Comunidad de Código Abierto de Flux.1
Flux.1 actualmente tiene 3 modelos lanzados oficialmente, pero solo las versiones Dev y Schnell son de código abierto. Debido a los altos requisitos de hardware de Flux, muchas versiones han sido iteradas por la comunidad de código abierto basadas en la versión original, incluyendo principalmente:
- Versiones oficiales de Black Forest Labs dev 、 schnell
- Versiones FP8 de ComfyUI dev 、schnell
- Versiones FP8 de Kijia flux-fp8
- Versiones BNB NF4 V2 de lllyasviel dev
- Versiones GGUF de City96 dev 、 schnell
Si hay nuevas versiones, también las actualizaré en este artículo, así que no olvides marcar este artículo. La información correspondiente a las diferentes versiones es la siguiente. Aunque la tabla proporciona enlaces de descarga, sugiero descargar modelos por separado según diferentes flujos de trabajo en lugar de descargar directamente los archivos de modelos correspondientes en la tabla.
Autor | Nombre del Modelo | Uso Comercial | Soporte para ControlNet y LoRA | Características | Requisito de VRAM | Tamaño del Archivo | Dirección de Descarga |
---|---|---|---|---|---|---|---|
Black Forest Labs | Flux.1 Dev | No | Soportado | Necesita descargar CLIP、VAE、UNET | 16GB+ | 23.8GB | Descargar |
Black Forest Labs | Flux.1 Schnell | Sí | Soportado | Necesita descargar CLIP、VAE、UNET | 16GB+ | 23.8GB | Descargar |
ComfyUI | Flux.1 Dev FP8 | No | Soportado | Fusiona Clip y VAE, solo necesita descargar un modelo | 8GB+ | 17.2GB | Descargar |
ComfyUI | Flux.1 Schnell FP8 | Sí | Soportado | Fusiona Clip y VAE, solo necesita descargar un modelo | 8GB+ | 17.2GB | Descargar |
Kijia | Flux.1 Dev FP8 | No | Soportado | Fusiona Clip y VAE, solo necesita descargar un modelo | 8GB+ | Descargar | |
Kijia | Flux.1 Schnell FP8 | Sí | Soportado | Fusiona Clip y VAE, solo necesita descargar un modelo | 8GB+ | Descargar | |
lllyasviel | Flux.1 Dev BNB NF4 V1 | No | Soportado | Fusiona Clip y VAE, solo necesita descargar un modelo, necesita instalar plugin ComfyUI_bitsandbytes_NF4 | 6GB+ | 11.5GB | Descargar |
lllyasviel | Flux.1 Dev BNB NF4 V2 | No | Soportado | Fusiona Clip y VAE, solo necesita descargar un modelo, necesita instalar plugin ComfyUI_bitsandbytes_NF4 | 6GB+ | 12GB | Descargar |
City96 | Flux.1 Dev GGUF | No | Soportado | Necesita descargar CLIP、VAE、UNET , necesita instalar plugin ComfyUI-GGUF | 6GB+ | 12GB | Descargar |
City96 | Flux.1 Schnell GGUF | Sí | Soportado | Necesita descargar CLIP、VAE、UNET , necesita instalar plugin ComfyUI-GGUF | 6GB+ | 12GB | Descargar |
Si deseas usar Flux.1 en ComfyUI, necesitas actualizar a la última versión de ComfyUI. Si aún no has actualizado ComfyUI, puedes seguir los artículos a continuación para obtener instrucciones de actualización o instalación.
A continuación se presentan 4 versiones diferentes de flujos de trabajo de Flux.1. Si tu computadora tiene una gran cantidad de VRAM, puedes considerar usar el flujo de trabajo de la versión original de Flux.1. Si tu computadora tiene menos VRAM o el rendimiento no es suficiente, se recomienda usar directamente la versión GGUF.
Guía de flujo de trabajo de Flux.1 ComfyUI versión original
El flujo de trabajo de la versión original es más complejo, requiriendo la instalación de múltiples archivos. Este tutorial incluye dos partes:
- Descargar e instalar los modelos CLIP、VAE、UNET
- Flujo de trabajo complejo de la versión original de Flux.1, incluyendo las versiones Dev y Schnell, así como ejemplos de flujo de trabajo de versión de baja memoria
Parte 1: Descargar e instalar los modelos CLIP、VAE、UNET
Descargar modelos ComfyUI flux_text_encoders clip
ComfyUI flux_text_encoders en hugging face
Nombre del Archivo del Modelo | Tamaño | Nota | Enlace |
---|---|---|---|
clip_l.safetensors | 246 MB | Descargar | |
t5xxl_fp8_e4m3fn.safetensors (Recomendado) | 4.89 GB | Para menor uso de memoria (8-12GB) | Descargar |
t5xxl_fp16.safetensors | 9.79 GB | Para mejores resultados, si tienes alta VRAM y RAM (más de 32GB de RAM). | Descargar |
- Descargar clip_l.safetensors
- Descargar t5xxl_fp8_e4m3fn.safetensors o t5xxl_fp16.safetensors Dependiendo de tu VRAM y RAM
- Colocar los archivos de modelos descargados en la carpeta
ComfyUI/models/clip/
. Nota: Si has usado SD 3 Medium antes, es posible que ya tengas los dos modelos anteriores
Descargar Modelo VAE de FLux.1
FLUX.1-schnell en hugging face
Nombre del Archivo | Tamaño | Enlace |
---|---|---|
ae.safetensors | 335 MB | Descargar |
- Descargar el modelo
ae.safetensors
. - Colocar los archivos de modelos descargados en la carpeta
ComfyUI/models/vae
. - Para identificación, puedes renombrarlo a
flux_ae.safetensors
;
Descargar Modelo UNET de FLux.1
FLUX.1-schnell en hugging face
Nombre del Archivo | Tamaño | Enlace | Nota |
---|---|---|---|
flux1-schnell.safetensors | 23.8GB | Descargar | Para menor uso de memoria |
flux1-dev.safetensors | 23.8GB | Descargar | Si tienes alta VRAM y RAM. |
- Descargue el
flux1-schnell.safetensors
- Coloque los archivos de modelo descargados en la carpeta
ComfyUI/models/unet/
Parte 2: Ejemplo de flujo de trabajo original de Flux.1 ComfyUI
Ejemplo de flujo de trabajo oficial de Flux.1 de ComfyUI: https://comfyanonymous.github.io/ComfyUI_examples/flux/ Solo necesitas guardar la imagen y cargarla en Comfy!
Ejemplo de flujo de trabajo de Flux Dev ComfyUI
Ejemplo de flujo de trabajo de Flux Schnell ComfyUI
Flux con menos de 12GB de VRAM
https://civitai.com/posts/5006398
Versión de Checkpoint FP8 de Comfy ORG
Los siguientes modelos de Checkpoint son proporcionados por ComfyUI Org, solo necesitas descargar un archivo de modelo y puedes usarlo directamente.
Nombre del Modelo | Tamaño del Archivo | Enlace de Descarga |
---|---|---|
flux1-dev-fp8 | 17.2GB | Descargar |
flux1-schnell-fp8 | 17.2GB | Descargar |
- Descargue la versión del modelo que necesita
- Colóquelo en
ComfyUI/models/checkpoints/
También puedes usar el Kijia Flux-FP8, ya que los nombres de los archivos son similares, se recomienda renombrar el archivo después de descargarlo o crear una carpeta separada para distinguirlo.
Ejemplo de flujo de trabajo de la versión de Checkpoint FP8 de Flux dev
Ejemplo de flujo de trabajo de la versión de Checkpoint FP8 de Flux Schnell
Ejemplo de flujo de trabajo de la versión NF4 de Flux.1
Autor: lllyasviel Primero, necesitas instalar el plugin correspondiente: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 Las instrucciones de instalación del plugin se pueden encontrar en Guía de Instalación de Plugins de ComfyUI
Descarga del Modelo de la Versión NF4
Nombre del Modelo | Dirección |
---|---|
flux1-dev-bnb-nf4 | Descargar |
lllyasviel hizo dos versiones del modelo NF4 Flux, por favor descarga directamente la versión V2, esta versión tiene mejores detalles y efectos
- Instala el plugin ComfyUI_bitsandbytes_NF4, si no sabes cómo instalar el plugin, puedes referirte a Guía de Instalación de Plugins de ComfyUI
- Descarga el archivo flux1-dev-bnb-nf4-v2, y coloca el archivo descargado en el directorio
comfyui/models/checkpoints
Ejemplo de flujo de trabajo de la versión NF4 de Flux.1
Ejemplo de flujo de trabajo de la versión GGUF de Flux.1
Autor: City96 Dirección del Proyecto: https://github.com/city96/ComfyUI-GGUF
City96 proporciona múltiples versiones GGUF del modelo Flux, si no sabes qué versión descargar en el repositorio correspondiente, aquí hay una guía simple:
- Cuanto mayor sea el número después de Q, más VRAM se requiere y mayor es la calidad de la imagen generada. Por ejemplo, Q2 requiere menos VRAM pero genera imágenes de menor calidad, mientras que Q8 requiere más VRAM pero genera imágenes de mayor calidad.
- También puedes determinar la calidad por el tamaño del archivo del modelo; generalmente, archivos más grandes significan mayor calidad y más VRAM requerida.
Instalar Plugins y Descargar Modelos
- Descarga el modelo Flux GGUF dev o el modelo Flux GGUF schnell y coloca los archivos del modelo en el directorio
comfyui/models/unet
. - Descarga t5-v1_1-xxl-encoder-gguf, y coloca los archivos del modelo en el directorio
comfyui/models/clip
. - Descarga clip_l.safetensors y coloca los archivos del modelo en el directorio
comfyui/models/clip
. - Descarga ae.safetensors y coloca los archivos del modelo en el directorio
comfyui/models/vae
, y renómbralo aflux_ae.safetensors
. - Instala el plugin ComfyUI-GGUF, si no sabes cómo instalar el plugin, puedes referirte a Guía de Instalación de Plugins de ComfyUI
Ejemplo de flujo de trabajo de la versión GGUF de Flux.1
Ejecutar Flux.1 en línea
Aquí hay algunos métodos en línea proporcionados por Black Forest Labs para utilizar o invocar el modelo Flux.1.
huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell
Ajustes de Configuración del Sistema Windows y ComfyUI
Los siguientes pasos están diseñados para optimizar la configuración de tu sistema Windows, permitiéndote utilizar los recursos del sistema al máximo. Además, cuando ejecutes el modelo Flux.1 con ComfyUI, por favor evita ejecutar otros programas para minimizar el uso de memoria.
Configuración de Memoria Virtual de Windows
Solución de Problemas
- Advertencia de falta de memoria
Usa la versión de archivo único fp8
- Resolución de Problemas de Rendimiento
https://github.com/comfyanonymous/ComfyUI/discussions/4457
Recursos de Flux.1
Haga clic aquí para más recursos de Flux
Cuantificaciones GGUF de Flux
Las cuantificaciones GGUF están aquí: https://huggingface.co/city96/FLUX.1-dev-gguf Aquí está el nodo para cargarlas: https://github.com/city96/ComfyUI-GGUF vía: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/
Flux LoRA
https://huggingface.co/XLabs-AI/flux-RealismLora fotorealismo para el modelo FLUX.1-dev de Black Forest Labs
https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux
https://huggingface.co/alvdansen/softserve_anime alvdansen/softserve_anime
https://huggingface.co/davisbro/half_illustration davisbro/half_illustration
https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur
Flux.1 LoRA y otros recursos, puedes descargarlos en civitai
XLabs-AI/flux-lora-collection: https://huggingface.co/XLabs-AI/flux-lora-collection
Consejo: La última versión de ComfyUI es propensa a un uso excesivo de memoria gráfica al usar múltiples modelos FLUX LoRA, y este problema no está relacionado con el tamaño de los modelos LoRA. Incluso las tarjetas gráficas de alta gama como la NVIDIA GeForce RTX 4090 son susceptibles a problemas similares. Podrías considerar usar la versión GGUF del modelo, o alternativamente, emplear el LoRA de Xlab para cargar el flujo de trabajo de ComfyUI como una posible solución a este problema.
Herramienta de entrenamiento en línea de Flux LoRA
Interfaz web extremadamente simple para entrenar Flux LoRA con soporte de BAJA VRAM (12GB/16GB/20GB). https://github.com/cocktailpeanut/fluxgym
Herramienta de entrenamiento en línea de Flux LoRA
Replicate ofrece una herramienta de entrenamiento llamada “ostris/flux-dev-lora-trainer,” que te permite entrenar tu propio modelo estilo LoRA con un mínimo de solo 10 imágenes. Puedes probarlo.
- Precio: Los entrenamientos para este modelo se ejecutan en hardware de GPU Nvidia H100, que cuesta $0.001528 por segundo.
- Cómo Entrenar: Lee este documento
- Licencia: Todos los LoRAs de Flux-Dev tienen la misma licencia que el modelo base original para FLUX.1-dev
Entrenamiento de FLUX.1 por Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 Entrenar Flux LoRA por FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 Ejemplo de entrenamiento DreamBooth para FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md
Flux ControlNet
Colecciones de Flux ControlNet: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha
FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting
Flux IP-Adapter
Checkpoint de IP-Adapter para el modelo FLUX.1-dev por Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter
Ejemplo de flujo de trabajo de Flux
Encuentra más ejemplos de flujo de trabajo en: https://openart.ai/workflows/all?keyword=flux