Comment utiliser ControlNet pour la génération d’images dans ComfyUI ? 🚧

ControlNet est une technologie puissante de contrôle de génération d’images qui permet aux utilisateurs de guider précisément le processus de génération d’images par l’IA en entrant une image conditionnelle. En utilisant ControlNet, les utilisateurs peuvent mieux contrôler le processus de génération d’images par l’IA et créer des images qui répondent mieux à des besoins et des imaginations spécifiques.

Comme ComfyUI n’a pas de modèle ControlNet intégré, vous devez installer les fichiers de modèle ControlNet correspondants avant de commencer ce tutoriel. Comme pour d’autres types de modèles tels que embedding, LoRA, etc., ControlNet a une correspondance de version avec le modèle Checkpoint, par exemple :

• Si vous utilisez la version SD1.5 du modèle checkpoint, alors le ControlNet correspondant doit également prendre en charge SD1.5.
• Si vous utilisez le modèle Flux.1, alors le ControlNet correspondant doit également prendre en charge Flux.1.

Ce tutoriel couvrira les parties suivantes :

• Une brève explication des fonctions et rôles du modèle ControlNet.
• Comment installer le modèle ControlNet dans ComfyUI (y compris les canaux de téléchargement de modèles correspondants).
• L’utilisation de différents types de modèles ControlNet dans ComfyUI.

En raison des nombreuses versions de modèles ControlNet, ce tutoriel ne fournit qu’une explication générale de la méthode d’installation.

La Fonction et le Rôle de ControlNet

Imaginez que ControlNet est comme un directeur artistique donnant des conseils à un peintre pendant le processus de peinture.

1. Toile et pinceaux (modèle de base) : Le modèle Stable Diffusion est comme la toile et les pinceaux du peintre, capable de créer diverses images.

2. Directeur artistique (ControlNet) : ControlNet est comme un directeur artistique se tenant à côté du peintre, tenant une image de référence ou un croquis.

3. Processus de guidage :

   • Le directeur artistique dira au peintre quoi peindre et où sur la toile en se basant sur l’image de référence.
   • Le peintre (modèle de base) utilise toujours ses propres compétences et style pour peindre mais suit les suggestions du directeur artistique.

4. Différents types de guidage :

   • Guidage de contour (comme Canny ControlNet) : Comme le directeur artistique tenant un dessin au trait, guidant le peintre sur la façon de tracer les contours.
   • Guidage de pose (comme Openpose ControlNet) : C’est comme si le directeur artistique démontrait la pose de la figure, permettant au peintre de créer en conséquence.
   • Guidage de profondeur (comme Depth ControlNet) : Comme si le directeur artistique fournissait des informations sur le sens tridimensionnel de la scène, guidant le peintre sur la façon de représenter la profondeur.

5. Ajustement de l’influence :

   • Parfois, le peintre suivra de plus près les suggestions du directeur artistique (intensité de contrôle élevée).
   • Parfois, le peintre exercera plus de sa propre créativité (intensité de contrôle faible).

6. Guidage multiple :

   • On peut imaginer qu’il y a plusieurs directeurs artistiques donnant des conseils sur différents aspects, et le peintre doit équilibrer ces opinions.

De cette manière, ControlNet nous permet de contrôler plus précisément le processus de génération d’images par l’IA, tout comme un directeur artistique aide le peintre à créer des œuvres qui répondent mieux à des exigences spécifiques.

Téléchargement et Installation du Modèle ControlNet

Après avoir compris les concepts de base, nous devons d’abord installer les fichiers de modèle ControlNet correspondants. Ici, j’ai compilé quelques ressources de téléchargement ControlNet pour vous permettre de choisir le ControlNet qui correspond à la version de Checkpoint que vous utilisez actuellement.

Téléchargement du Modèle ControlNet

Vous pouvez trouver le modèle ControlNet correspondant dans la section des ressources.

Comment Installer le Modèle ControlNet ?

1. Installer ControlNet uniquement pour ComfyUI

Après avoir téléchargé le modèle, vous devez placer les fichiers dans le dossier /ComfyUI/models/controlnet.

2. Partager le Modèle ControlNet avec WebUI

Si vous partagez des fichiers de modèle avec WebUI, veuillez vous assurer que les configurations de fichiers correspondantes sont correctes.

1. Localisez le fichier de configuration pour les fichiers de modèle supplémentaires dans ComfyUI : /ComfyUI/extra_model_paths.yaml
2. Ouvrez extra_model_paths.yaml avec un éditeur de texte.
3. Vérifiez les informations du fichier de configuration comme suit :

#all you have to do is change the base_path to where yours is installed
a111:
    base_path: D:\sd-webui-aki-v4.2 # Your WebUI directory
 
    checkpoints: models/Stable-diffusion
    configs: models/Stable-diffusion
    vae: models/VAE
    loras: |
         models/Lora
         models/LyCORIS
    upscale_models: |
                  models/ESRGAN
                  models/RealESRGAN
                  models/SwinIR
    embeddings: embeddings
    hypernetworks: models/hypernetworks
    controlnet: models/ControlNet # The model should be installed in this folder
    ipadapter: models/ipadapter
 

Vous devez faire attention aux options de configuration pour ControlNet. Par exemple, dans mon fichier de configuration, le chemin pour mon modèle ControlNet installé devrait être D:\sd-webui-aki-v4.2\models\ControlNet. Ce n’est qu’en faisant correspondre la configuration que vous pouvez vous assurer que ComfyUI peut trouver les fichiers de modèle correspondants.

Comment utiliser ControlNet dans ComfyUI?

🚧