Tutoriel sur l’utilisation de plusieurs ControlNet dans ComfyUI
Dans ControlNet, plusieurs ControlNet peuvent être combinés pour un contrôle plus précis. Par exemple, lors de la génération de personnages, si des désalignements corporels apparaissent, il est possible d’ajouter une profondeur pour garantir la bonne relation avant-arrière des membres.
Dans cet article, j’utiliserai OpenPose et Lineart pour réaliser une transformation de style d’image.
- OpenPose est utilisé pour contrôler la posture des personnages
- Lineart est utilisé pour maintenir la cohérence des vêtements et des caractéristiques faciales des personnages
L’essentiel est de chaîner les conditions des nœuds Apply ControlNet lors de l’utilisation de plusieurs ControlNet.
Pour plus d’informations sur le contrôle des phases de ControlNet, vous pouvez consulter Instructions d’utilisation du nœud Apply ControlNet.
Étapes pour utiliser plusieurs ControlNet dans ComfyUI
1. Installer les plugins nécessaires
Si vous avez déjà étudié d’autres tutoriels sur ComfyUI Wiki, vous devriez avoir installé les plugins correspondants, donc vous pouvez ignorer cette étape.
Comme ComfyUI Core ne comprend pas de préprocesseur d’image Depth, il est nécessaire de télécharger à l’avance le plugin de prétraitement correspondant. Ce tutoriel nécessite d’utiliser le plugin ComfyUI ControlNet Auxiliary Preprocessors pour générer des cartes de profondeur.
Il est recommandé d’utiliser ComfyUI Manager pour l’installation. Pour des instructions sur l’installation des plugins, vous pouvez consulter Tutoriel d’installation des plugins ComfyUI, qui est assez détaillé.
La dernière version de ComfyUI Desktop a déjà préinstallé le plugin ComfyUI Manager.
2. Télécharger les modèles
Tout d’abord, vous devez télécharger les modèles suivants :
| Type de modèle | Fichier modèle | Lien de téléchargement |
|---|---|---|
| Modèle de base SD1.5 | dreamshaper_8.safetensors (optionnel) | Civitai |
| Modèle OpenPose ControlNet | control_v11f1p_sd15_openpose.pth (obligatoire) | Hugging Face |
| Lineart | control_v11p_sd15_lineart.pth (obligatoire) | Hugging Face |
Le modèle de version SD1.5 peut utiliser le modèle sur votre propre ordinateur, mais dans ce tutoriel, j’utilise le modèle dreamshaper_8 comme exemple.
Veuillez placer les fichiers de modèle selon la structure suivante :
📁ComfyUI
├── 📁models
│ ├── 📁checkpoints
│ │ └── 📁SD1.5
│ │ └── dreamshaper_8.safetensors
│ ├── 📁controlnet
│ │ └── 📁SD1.5
│ │ └── control_v11f1p_sd15_openpose.pth
│ │ └── control_v11p_sd15_lineart.pth3. Fichier de flux de travail et image d’entrée
Téléchargez le fichier de flux de travail et l’image ci-dessous
4. Importer le flux de travail dans ComfyUI pour charger l’image à générer
- Chargez le modèle Checkpoint SD1.5 correspondant au numéro
1 - Chargez l’image d’entrée au numéro
2 - Chargez le modèle OpenPose ControlNet au numéro
3 - Chargez le modèle Lineart ControlNet au numéro
4 - Utilisez Queue ou le raccourci
Ctrl+Enterpour exécuter le flux de travail et générer l’image
Scénarios d’utilisation combinée de ControlNet
1. Conception de visualisation architecturale
Combinaison de ControlNet
Canny Edge + Depth Map + MLSD Line Detection
Plan de configuration des paramètres
| Type de ControlNet | Fonction principale | Poids recommandé | Suggestions de paramètres de prétraitement | Phase |
|---|---|---|---|---|
| Canny | Assurer des contours architecturaux précis | 0.9-1.0 | Seuil bas : 50, seuil haut : 150 | Première phase |
| Depth | Construire des relations de perspective tridimensionnelle | 0.7-0.8 | Modèle MiDaS, Boost contraste activé | Deuxième phase |
| MLSD | Corriger les déformations de lignes pour maintenir la précision géométrique | 0.4-0.6 | Longueur minimale de ligne : 15, distance maximale de ligne : 20 | Troisième phase |
2. Génération dynamique de personnages
Combinaison de ControlNet
OpenPose Pose + Lineart Sketch + Scribble Color Blocks
Plan de configuration des paramètres
| Type de ControlNet | Fonction principale | Poids recommandé | Suggestions d’adaptation de résolution | Stratégie de collaboration |
|---|---|---|---|---|
| OpenPose | Contrôler la posture et les actions générales du personnage | 1.0 | Maintenir la cohérence avec la taille de sortie | Réseau de contrôle principal |
| Lineart | Affiner les caractéristiques faciales et les détails de l’équipement | 0.6-0.7 | Activer le mode Anime | Intervention moyenne à tardive |
| Scribble | Définir les couleurs des vêtements et la distribution des textures | 0.4-0.5 | Utiliser le prétraitement SoftEdge | N’affecte que la couche de couleur |
3. Conception de concept de produit
Combinaison de ControlNet
HED Soft Edge + Depth Depth of Field + Normal Normal Map
Plan de configuration des paramètres
| Type de ControlNet | Fonction principale | Plage de poids | Paramètres clés de prétraitement | Effet |
|---|---|---|---|---|
| HED | Capturer les bords doux et les transitions de surface des produits | 0.8 | Flou gaussien : σ=1.5 | Contrôle de la douceur des contours |
| Depth | Simuler la lumière et l’ombre réelles avec flou d’arrière-plan | 0.6 | Mode d’amélioration de premier plan | Construction de couches spatiales |
| Normal | Améliorer les détails de surface et les propriétés réfléchissantes des matériaux | 0.5 | Taille de génération : 768x768 | Amélioration des détails des matériaux |
4. Rendu de l’atmosphère de la scène
Combinaison de ControlNet
Segmentation Partition + Shuffle Color Tone + Depth Layers
Stratégie de contrôle par couches
| Couche de contrôle | Fonction principale | Poids | Zone d’effet | Moment d’intervention |
|---|---|---|---|---|
| Seg | Diviser les zones d’éléments de la scène (ciel/bâtiment) | 0.9 | Composition globale | Contrôle total |
| Shuffle | Contrôler le ton général et le transfert de style | 0.4 | Distribution des couleurs | Intervention moyenne à tardive |
| Depth | Créer un effet de profondeur et des couches spatiales | 0.7 | Zone de flou d’arrière-plan | Intervention précoce |