ControlNet v1.0 pour SD 1.5
Auteur: lllyasviel
Dépôt GitHub:https://github.com/lllyasviel/ControlNet
Dépôt Hugging Face:https://huggingface.co/lllyasviel/ControlNet/tree/main
Versions de Stable Diffusion Compatibles: stable diffusion SD1.5,2.0
Voici une compilation des ressources initiales du modèle ControlNet fournies par son auteur original, lllyasviel.
Fichiers du modèle ControlNet v1.0 et liens de téléchargement.
| Nom du fichier | Taille | Date de mise à jour | Description | Liens de téléchargement |
|---|---|---|---|---|
control_sd15_canny.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_depth.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_hed.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_mlsd.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_normal.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_openpose.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_scribble.pth | 5.71 GB | Février 2023 | Lien de téléchargement | |
control_sd15_seg.pth | 5.71 GB | Février 2023 | Lien de téléchargement |
Comment utiliser le modèle ControlNet dans ComfyUI
L’utilisation du modèle ControlNet est détaillée dans l’article suivant :
Il couvrira les sujets suivants :
- Comment installer le modèle ControlNet dans ComfyUI
- Comment invoquer le modèle ControlNet dans ComfyUI
- Flux de travail et exemples de ComfyUI ControlNet
- Comment utiliser plusieurs modèles ControlNet, etc.
Principes de ControlNet
Le principe fondamental de ControlNet est de guider le modèle de diffusion dans la génération d’images en ajoutant des conditions de contrôle supplémentaires. Plus précisément, il duplique le réseau neuronal original en deux versions : une copie “verrouillée” et une copie “entraînable”. Lors de l’utilisation, la copie entraînable apprend et s’ajuste selon de nouvelles conditions de contrôle, tandis que la copie verrouillée maintient ses poids originaux inchangés, garantissant que l’effet de génération du modèle de diffusion lui-même n’est pas affecté.
Cas d’utilisation de ControlNet
Stable Diffusion ControlNet 1.0 est un puissant plugin capable de contrôler la génération d’images à travers diverses conditions. Dans différents types de tâches de génération d’images, ce plugin peut être appliqué de manière flexible pour obtenir l’effet désiré. Voici plusieurs méthodes d’application spécifiques :
-
Contrôle précis de l’image ControlNet peut contrôler la génération d’images en fonction de conditions telles que la détection des contours, le traitement des croquis ou la pose humaine. Par exemple, lorsque la représentation détaillée de certaines parties d’une personne est nécessaire, une génération d’image précise peut être obtenue en définissant ces conditions.
-
Composition fixe et définition de pose ControlNet permet aux utilisateurs de fixer la composition des images et de définir des poses, générant ainsi des images qui répondent aux attentes. Cela est particulièrement utile pour la conception de personnages nécessitant des actions ou des poses spécifiques.
-
Dessin de contour et génération de line art Avec ControlNet, une illustration riche et exquise peut être générée à partir d’un simple dessin au trait. Cela est très pratique dans la création artistique, surtout lors de la construction d’images complexes à partir de lignes simples.
-
Effet de style portrait à anime ControlNet peut également être utilisé pour convertir des portraits réels en style anime, reproduisant fidèlement la coiffure et la couleur des cheveux des personnages dans l’image originale. Cette fonctionnalité est très utile pour la production d’anime et la conception de personnages.