Flux ControlNet

Cet article compile les modèles ControlNet actuellement disponibles pour l’écosystème Flux.

XLabs-AI/flux-controlnet-collections

XLabs-AI/flux-controlnet-collections est une collection de checkpoints ControlNet fournis pour le modèle FLUX.1-dev. Ce dépôt a été développé par Black Forest Labs, visant à offrir plus d’options de contrôle pour l’écosystème Flux.

Caractéristiques principales :

1. Prend en charge trois modèles ControlNet :

   • Canny (détection des contours)
   • HED (détection des contours)
   • Depth (carte de profondeur, basé sur Midas)

2. Tous les modèles sont entraînés à une résolution de 1024x1024, adaptés pour générer des images de résolution 1024x1024.

3. Fournit la version v3, qui est une version améliorée et plus réaliste pouvant être utilisée directement dans ComfyUI.

4. Offre des nœuds personnalisés et des workflows pour ComfyUI, facilitant ainsi la prise en main pour les utilisateurs.

5. Fournit des images d’exemple et des résultats de génération, montrant les effets du modèle.

Utilisation :

1. Utilisation via le script main.py du dépôt officiel.
2. Utilisation des nœuds personnalisés et des workflows fournis dans ComfyUI, workflow officiel disponible à https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main/workflows
3. Utilisation de l’interface de démonstration Gradio.

Licence :

Ces poids de modèle suivent la licence non commerciale FLUX.1 [dev].

Liens :

• Dépôt du modèle : https://huggingface.co/XLabs-AI/flux-controlnet-collections
• Dépôt GitHub : Contient les workflows ComfyUI, les scripts d’entraînement et les scripts de démonstration d’inférence.

Voici une liste des modèles ControlNet fournis dans le dépôt XLabs-AI/flux-controlnet-collections :

Ce projet fournit des modèles ControlNet puissants pour l’écosystème Flux, permettant aux utilisateurs de contrôler plus précisément le processus de génération d’images, particulièrement adapté aux applications nécessitant une génération d’images basée sur la détection des contours ou les informations de profondeur.

InstantX Flux Union ControlNet

InstantX Flux Union ControlNet est un modèle ControlNet polyvalent conçu pour la version de développement FLUX.1. Ce modèle intègre plusieurs modes de contrôle, permettant aux utilisateurs de contrôler plus flexiblement le processus de génération d’images.

Caractéristiques principales :

1. Multiples modes de contrôle : Prend en charge divers modes de contrôle, y compris la détection des contours Canny, Tile, carte de profondeur, flou, contrôle de pose, etc.

2. Haute performance : La plupart des modes de contrôle ont atteint une grande efficacité, en particulier les modes Canny, Tile, carte de profondeur, flou et contrôle de pose.

3. Optimisation continue : L’équipe de développement améliore constamment le modèle pour en augmenter la performance et la stabilité.

4. Compatibilité : Entièrement compatible avec le modèle de base de la version de développement FLUX.1, s’intégrant facilement dans les workflows existants de Flux.

5. Inférence multi-contrôle : Prend en charge l’utilisation simultanée de plusieurs modes de contrôle, offrant aux utilisateurs un contrôle plus précis de la génération d’images.

Utilisation :

1. Mode de contrôle unique :

   • Charger le modèle Union ControlNet
   • Sélectionner le mode de contrôle souhaité (par exemple, Canny, carte de profondeur, etc.)
   • Définir l’image de contrôle et les paramètres associés
   • Générer l’image

2. Mode multi-contrôle :

   • Charger le modèle Union ControlNet en tant que FluxMultiControlNetModel
   • Définir différentes images de contrôle et paramètres pour chaque mode de contrôle
   • Appliquer plusieurs modes de contrôle simultanément pour générer l’image

Remarques :

• La version actuelle est une version bêta et peut ne pas être entièrement entraînée, vous pouvez donc rencontrer certaines imperfections lors de l’utilisation.
• Certains modes de contrôle (comme le contrôle en niveaux de gris) peuvent avoir une efficacité moindre, il est donc recommandé de privilégier les modes à haute efficacité.
• Comparé aux modèles ControlNet spécialisés à fonction unique, le modèle Union peut être légèrement moins performant sur certaines tâches spécifiques, mais il offre une plus grande flexibilité et polyvalence.

Liens de ressources :

• Téléchargement du modèle : InstantX/FLUX.1-dev-Controlnet-Union-alpha

Remarque : Après avoir téléchargé le modèle, il est recommandé de renommer le fichier avec un nom plus descriptif, tel que “flux_union_controlnet.safetensors”, pour une gestion et une identification des fichiers plus faciles à l’avenir.

Ce modèle Union ControlNet fournit un outil de contrôle d’image puissant et flexible pour l’écosystème Flux, particulièrement adapté aux utilisateurs qui ont besoin de mettre en œuvre plusieurs fonctions de contrôle dans un seul modèle. Avec une optimisation et des mises à jour continues, il a le potentiel de devenir l’un des modèles ControlNet les plus complets et puissants sur la plateforme Flux.

InstantX Flux Canny ControlNet

En plus du modèle Union ControlNet, InstantX propose également un modèle ControlNet spécifiquement pour la détection des contours Canny. Ce modèle se concentre sur l’utilisation de l’algorithme de détection des contours Canny pour contrôler le processus de génération d’images, offrant aux utilisateurs des capacités de contrôle des contours plus précises.

Caractéristiques principales :

1. Concentration sur la détection des contours Canny : Ce modèle est spécifiquement optimisé pour la détection des contours Canny, permettant un meilleur traitement et une meilleure utilisation des informations de contours.

2. Entraînement haute résolution : Le modèle a été entraîné dans un environnement multi-échelle avec un nombre total de pixels de 10241024, utilisant une taille de lot de 88 pour 30k étapes.

3. Compatible avec FLUX.1 : Conçu pour la version de développement FLUX.1, il peut s’intégrer parfaitement dans les workflows de Flux.

4. Utilise la précision bfloat16 : Le modèle utilise la précision bfloat16, ce qui peut améliorer l’efficacité computationnelle tout en maintenant la précision.

Utilisation :

1. Installer la dernière version de la bibliothèque Diffusers.
2. Charger le modèle Flux Canny ControlNet et le modèle de base FLUX.1.
3. Préparer l’image d’entrée et appliquer la détection des contours Canny.
4. Utiliser les contours détectés comme entrée de contrôle pour générer l’image.

Jasperai Flux.1-dev ControlNets Series

Jasperai a développé une série de modèles ControlNet pour Flux.1-dev, conçus pour offrir un contrôle plus précis pour la génération d’images IA. Cette série comprend des modèles de normales de surface, de carte de profondeur et de super-résolution, offrant aux utilisateurs un ensemble diversifié d’outils créatifs.

Vous pouvez consulter des informations détaillées sur ces modèles sur la page de collection Jasperai sur Hugging Face.

1. Modèle ControlNet de Normales de Surface

Le Modèle ControlNet de Normales de Surface utilise des cartes de normales de surface pour guider la génération d’images. Ce modèle est spécifiquement optimisé pour les informations de normales de surface, permettant un meilleur traitement et une meilleure utilisation des informations géométriques de surface des objets.

Caractéristiques principales :

• Se concentre sur le traitement des normales de surface
• Fournit des informations géométriques précises des surfaces des objets
• Améliore la perception de la profondeur et le réalisme des images
• Compatible avec la version de développement FLUX.1

2. Modèle ControlNet de Carte de Profondeur

Le Modèle ControlNet de Carte de Profondeur utilise des informations de profondeur pour contrôler la génération d’images. Ce modèle est spécifiquement optimisé pour les informations de carte de profondeur, permettant une meilleure compréhension et utilisation des informations de structure spatiale des scènes.

Caractéristiques principales :

• Se concentre sur le traitement des cartes de profondeur
• Fournit des informations de structure spatiale des scènes
• Améliore la perspective et le sens spatial des images
• Compatible avec la version de développement FLUX.1

3. Modèle ControlNet de Super-résolution

Le Modèle ControlNet de Super-résolution se concentre sur l’amélioration de la qualité des images basse résolution. Ce modèle peut convertir des images de faible qualité en versions haute résolution, reconstruisant et améliorant les détails des images.

Caractéristiques principales :

• Se concentre sur le traitement de la super-résolution des images
• Convertit les images basse résolution en versions haute résolution
• Reconstruit et améliore les détails des images
• Compatible avec la version de développement FLUX.1

Ces modèles offrent un contrôle plus précis pour la génération d’images IA, permettant aux créateurs de générer des images plus réalistes et détaillées. Chaque modèle est conçu pour des besoins spécifiques de traitement d’images, offrant aux utilisateurs un ensemble diversifié d’outils créatifs. Les utilisateurs peuvent choisir le modèle approprié en fonction de leurs besoins pour obtenir différents effets de génération d’images.