Flux.1 ComfyUI guide d’installation, workflow et exemple

Ce guide explique comment configurer ComfyUI sur votre ordinateur Windows pour exécuter Flux.1. Il couvre les sujets suivants :

• Introduction à Flux.1
• Aperçu des différentes versions de Flux.1
• Exigences matérielles pour Flux
• Comment installer et utiliser Flux.1 avec ComfyUI
• Ressources associées pour Flux.1, telles que LoRA, ControlNet, etc.

Dans cet article, je vais présenter les différentes versions du modèle Flux, principalement la version officielle et les versions distillées par des tiers. De plus, ComfyUI propose également une version en fichier unique de FP8.

• La première partie du tutoriel expliquera principalement la version officielle et les versions distillées par des tiers, qui nécessitent l’installation de plusieurs modèles associés.
• La deuxième partie utilisera la version FP8 de ComfyUI, qui peut être utilisée directement avec un seul modèle Checkpoint installé.

Introduction à Flux.1

Flux.1 est une suite de modèles d’images génératives introduite par Black Forest Labs, un laboratoire doté de capacités exceptionnelles en génération d’images à partir de texte et en compréhension du langage. Flux.1 excelle en qualité visuelle et en détail d’image, notamment dans la génération de texte, les compositions complexes et les représentations des mains. Le modèle a affiné les détails des mains, améliorant considérablement les déformations des doigts souvent observées dans les modèles de Stable Diffusion. Flux.1 a également amélioré la qualité de l’image, comblant l’écart avec les meilleurs logiciels d’images génératives, comme Midjourney.

Black Forest Labs a été fondé par Robin Rombach, un ancien membre clé de Stability AI.

Site officiel de Black Forest Labs : https://blackforestlabs.ai/

Installer ou mettre à jour Comfy UI

Pour utiliser Flux.1 avec ComfyUI, vous devez mettre à jour vers le dernier modèle ComfyUI. Si vous n’avez pas encore mis à jour ComfyUI, vous pouvez suivre les articles ci-dessous pour les instructions de mise à niveau ou d’installation.

Partie 1. Versions officielles et distillées de Flux.1

Modèles officiels Flux.1

J’ai listé les 3 versions actuellement publiées par Flux.1 officiellement, mais les versions officielles ont des exigences matérielles élevées. Actuellement, il existe de nombreuses versions open source disponibles avec des exigences matérielles plus faibles, que vous pouvez choisir en fonction de vos besoins.

Pour plus d’informations, visitez le dépôt Flux.1 : https://github.com/black-forest-labs/flux

Exigences matérielles pour Flux.1 ComfyUI

VRAM minimum : 8-12GB ou plus (vitesse de génération plus lente) VRAM recommandée : 16-24GB

Actuellement, il existe de nombreuses versions open source disponibles avec des exigences matérielles plus faibles, telles que les versions GGUF, avec une exigence de VRAM minimale de 6GB.

Adresse de téléchargement des versions officielles et open source de Flux.1

Flux.1 a actuellement 3 modèles publiés par l’officiel, mais seules les versions Dev et Schnell sont open source. En raison des exigences matérielles élevées de Flux, de nombreuses versions ont été itérées par la communauté open source sur la base de la version originale, principalement y compris :

• Versions officielles de Black Forest Labs dev 、 schnell
• Versions FP8 de ComfyUI dev 、schnell
• Versions FP8 de Kijia flux-fp8
• Versions BNB NF4 V2 de lllyasviel dev
• Versions GGUF de City96 dev 、 schnell

S’il y a de nouvelles versions, je les mettrai également à jour dans cet article, alors n’oubliez pas de mettre cet article en favori. Les informations correspondant à différentes versions sont les suivantes. Bien que le tableau fournisse des liens de téléchargement, je suggère de télécharger les modèles séparément en fonction des différents workflows plutôt que de télécharger directement les fichiers de modèles correspondants dans le tableau.

Si vous souhaitez utiliser Flux.1 dans ComfyUI, vous devez mettre à jour vers la dernière version de ComfyUI. Si vous n’avez pas encore mis à jour ComfyUI, vous pouvez suivre les articles ci-dessous pour les instructions de mise à niveau ou d’installation.

Guide du workflow de la version originale de Flux.1 ComfyUI

Le workflow de la version originale est plus complexe, nécessitant l’installation de plusieurs fichiers. Ce tutoriel comprend deux parties :

• Télécharger et installer les modèles CLIP、VAE、UNET
• Workflow complexe de la version originale de Flux.1, y compris les versions Dev et Schnell, ainsi que des exemples de workflow pour les versions à faible mémoire

Partie 1 : Télécharger et installer les modèles CLIP、VAE、UNET

Télécharger les modèles clip de ComfyUI flux_text_encoders

ComfyUI flux_text_encoders sur hugging face

1. Télécharger clip_l.safetensors
2. Télécharger t5xxl_fp8_e4m3fn.safetensors ou t5xxl_fp16.safetensors en fonction de votre VRAM et RAM
3. Placer les fichiers de modèles téléchargés dans le dossier ComfyUI/models/clip/. Note : Si vous avez utilisé SD 3 Medium auparavant, vous pourriez déjà avoir les deux modèles ci-dessus

Télécharger le modèle VAE de FLux.1

FLUX.1-schnell sur hugging face

1. Télécharger le modèle ae.safetensors.
2. Placer les fichiers de modèles téléchargés dans le dossier ComfyUI/models/vae.
3. Pour identification, vous pouvez le renommer en flux_ae.safetensors;

Télécharger le modèle UNET de FLux.1

FLUX.1-schnell sur hugging face

1. Téléchargez le fichier flux1-schnell.safetensors
2. Placez les fichiers de modèles téléchargés dans le dossier ComfyUI/models/unet/

Partie 2 : Exemple de workflow original de Flux.1 ComfyUI

Exemple de workflow officiel de ComfyUI Flux.1 : https://comfyanonymous.github.io/ComfyUI_examples/flux/ Vous pouvez simplement enregistrer l’image et la charger dans Comfy!

Exemple de workflow ComfyUI Flux Dev

Exemple de workflow ComfyUI Flux Schnell

Flux sous 12GB de VRAM

https://civitai.com/posts/5006398

Version Checkpoint FP8 de Comfy ORG

Les modèles Checkpoint suivants sont fournis par ComfyUI Org, vous n’avez besoin de télécharger qu’un seul fichier de modèle, et vous pouvez l’utiliser directement.

1. Téléchargez la version du modèle dont vous avez besoin
2. Placez-la dans le dossier ComfyUI/models/checkpoints/

Vous pouvez également utiliser le Kijia Flux-FP8, étant donné que les noms de fichiers sont similaires, il est recommandé de renommer le fichier après le téléchargement ou de créer un dossier séparé pour les distinguer.

Exemple de workflow Checkpoint FP8 de Flux dev

Exemple de workflow Checkpoint FP8 de Flux Schnell

Version NF4 Flux.1 Workflow

Auteur : lllyasviel Tout d’abord, vous devez installer le plugin correspondant : https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 Les instructions d’installation du plugin se trouvent dans le Guide d’installation des plugins ComfyUI

Téléchargement du modèle Version NF4

lllyasviel a créé deux versions du modèle NF4 Flux, veuillez télécharger directement la version V2, cette version a de meilleurs détails et effets

1. Installez le plugin ComfyUI_bitsandbytes_NF4, si vous ne savez pas comment installer le plugin, vous pouvez vous référer au Guide d’installation des plugins ComfyUI
2. Téléchargez le fichier flux1-dev-bnb-nf4-v2, et placez le fichier téléchargé dans le répertoire comfyui/models/checkpoints

Exemple de workflow Version NF4 Flux.1

Version GGUF Flux.1 Workflow

Auteur : City96 Adresse du projet : https://github.com/city96/ComfyUI-GGUF

Installer les plugins et télécharger les modèles

1. Téléchargez le modèle Flux GGUF dev ou le modèle Flux GGUF schnell et placez les fichiers de modèles dans le répertoire comfyui/models/unet.
2. Téléchargez t5-v1_1-xxl-encoder-gguf, et placez les fichiers de modèles dans le répertoire comfyui/models/clip.
3. Téléchargez clip_l.safetensors et placez les fichiers de modèles dans le répertoire comfyui/models/clip.
4. Téléchargez ae.safetensors et placez les fichiers de modèles dans le répertoire comfyui/models/vae, et renommez-le en flux_ae.safetensors.
5. Installez le plugin ComfyUI-GGUF, si vous ne savez pas comment installer le plugin, vous pouvez vous référer au Guide d’installation des plugins ComfyUI

Exemple de workflow Version GGUF Flux.1

Exécuter Flux.1 en ligne

Voici quelques méthodes en ligne fournies par Black Forest Labs pour utiliser ou invoquer le modèle Flux.1.

huggingface FLUX.1-dev : https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell : https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate : https://replicate.com/black-forest-labs
mystic.ai : https://www.mystic.ai/black-forest-labs
fal.ai : https://fal.ai/models/fal-ai/flux/schnell

ComfyUI et ajustements de configuration du système Windows

Les étapes suivantes sont conçues pour optimiser les paramètres de votre système Windows, vous permettant d’utiliser pleinement les ressources du système. De plus, lors de l’exécution du modèle Flux.1 avec ComfyUI, veuillez éviter d’exécuter d’autres logiciels pour minimiser l’utilisation de la mémoire.

Paramètre de mémoire virtuelle Windows

Dépannage

1. Avertissement de manque de mémoire

Utilisez la version fp8 en un seul fichier

2. Résolution des problèmes de performance
   https://github.com/comfyanonymous/ComfyUI/discussions/4457

Ressources Flux.1

Cliquez ici pour plus de ressources Flux

Quants GGUF Flux

Les quants GGUF sont là : https://huggingface.co/city96/FLUX.1-dev-gguf Voici le nœud pour les charger : https://github.com/city96/ComfyUI-GGUF via : https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora photoréalisme pour le modèle FLUX.1-dev par Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime alvdansen/softserve_anime https://huggingface.co/davisbro/half_illustration davisbro/half_illustration https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur Flux.1 LoRA et d’autres ressources, vous pouvez les télécharger sur civitai
XLabs-AI/flux-lora-collection : https://huggingface.co/XLabs-AI/flux-lora-collection

Astuce : La dernière version de ComfyUI est sujette à une utilisation excessive de la mémoire graphique lors de l’utilisation de plusieurs modèles FLUX Lora, et ce problème n’est pas lié à la taille des modèles LoRA. Même les cartes graphiques haut de gamme comme la NVIDIA GeForce RTX 4090 sont susceptibles de rencontrer des problèmes similaires. Vous pourriez envisager d’utiliser la version GGUF du modèle, ou alternativement, utiliser le LoRA de Xlab pour charger le workflow ComfyUI comme solution potentielle à ce problème.

Outil de formation en ligne Flux LoRA

Interface web simple pour former Flux LoRA avec un support de faible VRAM (12GB/16GB/20GB). https://github.com/cocktailpeanut/fluxgym

Outil de formation en ligne Flux LoRA

Replicate propose un outil de formation appelé “ostris/flux-dev-lora-trainer,” qui vous permet de former votre propre modèle de style Lora avec un minimum de seulement 10 images. Vous pouvez l’essayer.

• Prix : Les formations pour ce modèle fonctionnent sur du matériel GPU Nvidia H100, ce qui coûte 0,001528 $ par seconde.
• Comment former : Lisez ce document
• Licence : Tous les LoRAs Flux-Dev ont la même licence que le mode de base original pour FLUX.1-dev

Formation FLUX.1 par Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 Former Flux LoRA par FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 Exemple de formation DreamBooth pour FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md

Flux ControlNet

Collections Flux ControlNet : https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet : https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha FLUX-Controlnet-Inpainting : https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

IP-Adapter checkpoint pour le modèle FLUX.1-dev par Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter

Exemple de workflow Flux

Trouvez plus d’exemples de workflow sur : https://openart.ai/workflows/all?keyword=flux