Guide détaillé du Flux ControlNet Workflow

Ce tutoriel vous guidera sur l’utilisation des modèles officiels ControlNet de Flux dans ComfyUI. Nous couvrirons l’utilisation de deux modèles de contrôle officiels : FLUX.1 Depth et FLUX.1 Canny.

Ce tutoriel est basé sur et mis à jour à partir des exemples ComfyUI Flux

Introduction des Modèles

FLUX.1 Depth [dev]

• Modèle de transformateur de flux rectifié de 12 milliards de paramètres
• Guidance structurelle basée sur des cartes de profondeur
• Utilise une formation par distillation guidée pour une efficacité améliorée
• Supporte une utilisation personnelle, de recherche et commerciale

FLUX.1 Canny [dev]

• Modèle de transformateur de flux rectifié de 12 milliards de paramètres
• Guidance structurelle basée sur la détection des contours de Canny
• Utilise également la méthode de formation par distillation guidée
• Suivant la licence non commerciale FLUX.1 [dev]

Aperçu des Versions des Modèles

Les modèles Flux ControlNet sont disponibles en deux versions : Modèle Complet et Modèle LoRA.

Version Modèle Complet

• Fichier de modèle complet contenant tous les poids
• Nécessite plus de VRAM
• Meilleure qualité de génération

Version LoRA

• Modèle léger contenant uniquement les poids de différence
• Nécessite le modèle de base Flux
• Utilisation de VRAM réduite

Préparation

1. Mettre à jour ComfyUI

Tout d’abord, assurez-vous que votre ComfyUI est mis à jour à la dernière version. Si vous ne savez pas comment mettre à jour et upgrader ComfyUI, veuillez vous référer à Comment mettre à jour et upgrader ComfyUI.

Remarque : La fonctionnalité Flux ControlNet nécessite la dernière version de ComfyUI, veuillez donc compléter la mise à jour en premier.

2. Téléchargements des Modèles Version Complète

3. Téléchargements des Modèles Version LoRA

4. Téléchargements des Fichiers de Workflow

5. Exigences Système

• Exigences VRAM : Minimum recommandé 16GB VRAM
• Si la VRAM est limitée, vous pouvez utiliser des modèles version fp8 pour réduire l’utilisation de VRAM

Guide d’Utilisation du Flux ControlNet Workflow

Conseils d’Utilisation de la Version Complète

1. ControlNetLoader

   • Modèle de Profondeur : Pour maintenir la structure 3D de l’image de référence
   • Modèle de Contours : Pour maintenir les lignes de contour de l’image de référence

2. Nœuds de Prétraitement

   • DepthPreprocessor : Génère des cartes de profondeur, aucun ajustement supplémentaire nécessaire
   • CannyEdgePreprocessor : Les ajustements de seuil contrôlent le détail de la détection des contours
     • seuil bas : Sensibilité de la détection des contours
     • seuil haut : Complétude des lignes de contour

3. FluxGuidance

   • Valeur recommandée : 3.5-4.0
   • Des valeurs plus élevées rendent les résultats de génération plus proches de la description du prompt

4. ModelSamplingFlux

   • shift_factor : 1.15 (valeur par défaut, généralement aucun ajustement nécessaire)
   • multiplier : 0.5 (peut être ajusté selon les besoins)

Conseils d’Utilisation de la Version LoRA

1. LoraLoaderModelOnly Node

   • Charger le fichier de modèle LoRA correspondant
   • Paramètre de force recommandé : 1.0
   • Nécessite que le modèle de base Flux soit chargé en premier

2. InstructPixToPixConditioning Node

   • Utilisé pour le contrôle de condition image-à-image
   • Nécessite des connexions d’entrée VAE et image originale

3. Paramètres KSampler

   • Étapes recommandées : 20
   • Sampler : euler
   • Scheduler : normal
   • Denoise : 1.0

Lignes Directrices pour la Sélection de Version

1. Quand Choisir la Version Complète

   • Avoir suffisamment de VRAM (16GB+)
   • Rechercher la meilleure qualité de génération
   • Besoin de contrôle plus précis

2. Quand Choisir la Version LoRA

   • VRAM limitée (8-16GB)
   • Besoin de vitesse de génération plus rapide
   • Les exigences de qualité ne sont pas extrêmement strictes

Conseils de Réglage des Paramètres

Contrôle de Profondeur

• Convient aux scènes nécessitant le maintien de la structure spatiale
• Force de contrôle recommandée : 0.6-0.9

Contrôle de Contours

• Convient aux scènes nécessitant le maintien des lignes et des contours
• Force de contrôle recommandée : 0.5-0.8

Conseils Généraux

• Tester d’abord avec les paramètres par défaut
• Ajuster progressivement la force de contrôle en fonction des résultats de génération
• Optimiser davantage les résultats en ajustant les prompts

Applications Avancées

1. Contrôle Mixte

   • Peut utiliser simultanément le contrôle de Profondeur et de Contours
   • Ajuster les poids des différents réseaux de contrôle

2. Transfert de Style

   • Combiner avec des modèles LoRA
   • Utiliser des prompts de style

3. Traitement par Lots

   • Utiliser des nœuds de traitement par lots
   • Optimiser le workflow

Ressources de Référence

• Page Officielle FLUX.1 Depth Dev
• Page Officielle FLUX.1 Canny Dev
• Exemples ComfyUI Flux
• Blog blackforestlabs