ControlNet v1.1 pour Stable Diffusion 1.5 et 2.0

Les modèles de Stable Diffusion 1.5 et Stable Diffusion 2.0 sont compatibles, ce qui signifie que les fichiers de modèle de ControlNet v1.1 peuvent également être utilisés sur Stable Diffusion 2.0.

Cet article est une compilation de différents types de modèles ControlNet qui prennent en charge SD1.5 / 2.0, organisés par ComfyUI-WIKI.

ControlNet v1.1

Grande Taille de lllyasviel

Fournisseur : lllyasviel
Dépôt GitHub : https://github.com/lllyasviel/ControlNet-v1-1-nightly
Dépôt Hugging Face : https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main Versions Compatibles de Stable Diffusion : stable diffusion v1.5, 2.0 Taille : 1.45 GB

Medium - Safetensors/FP16 de taille moyenne, version fournie par comfyanonymous

Fournisseur：comfyanonymous
Dépôt Hugging Face：https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main
Taille: 723MB
Remarque: Ce modèle est fourni par le dépôt Hugging Face de l’auteur de ComfyUI, offrant une meilleure expérience utilisateur dans ComfyUI et est également compatible avec d’autres interfaces utilisateur.

Petit - Control lora Safetensors/FP16 de petite taille, version fournie par comfyanonymous

Fournisseur : comfyanonymous
Dépôt Hugging Face : https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main
Taille : 136MB
Remarque : Ce modèle est fourni par le dépôt Hugging Face de l’auteur de ComfyUI, offrant une meilleure expérience utilisateur dans ComfyUI et est également compatible avec d’autres interfaces utilisateur.

ControlNet pour StableDiffusion 2.1

Fournisseur : thibaud
Dépôt Hugging Face : https://huggingface.co/thibaud/controlnet-sd21

Les formats de fichiers suivants sont divisés en .safetensors et .ckpt. En général, si vous avez seulement l’intention d’utiliser le modèle correspondant, le téléchargement du fichier .safetensors suffira.

Comment utiliser le modèle ControlNet dans ComfyUI

L’utilisation du modèle ControlNet est détaillée dans l’article suivant :

Il couvrira les sujets suivants :

• Comment installer le modèle ControlNet dans ComfyUI
• Comment invoquer le modèle ControlNet dans ComfyUI
• Flux de travail et exemples de ComfyUI ControlNet
• Comment utiliser plusieurs modèles ControlNet, etc.

Aperçu du Modèle ControlNet 1.1

ControlNet 1.1 est une version mise à jour et optimisée basée sur ControlNet 1.0, avec la même architecture. Il inclut tous les modèles précédents et en ajoute plusieurs nouveaux, portant le total à 14.

Nouvelles Fonctionnalités et Améliorations ControlNet 1.1 introduit plusieurs nouvelles fonctionnalités et améliorations :

• Nouveaux Bords Doux : Une nouvelle méthode de traitement des bords doux appelée “SoftEdge_safe” a été ajoutée pour améliorer le naturel des bords d’image.
• Expansion des Préprocesseurs : Plusieurs nouveaux préprocesseurs ont été ajoutés, tels que Canny, Depth, inpaint, etc., qui peuvent être utilisés pour diverses tâches de traitement d’image.
• Amélioration de la Robustesse et de la Qualité : La version renforce principalement la robustesse du modèle et la qualité des images générées.

Scénarios d’Application pour ControlNet 1.1

ControlNet 1.1 peut être appliqué à une variété de scénarios de peinture IA, y compris mais sans s’y limiter :

Restauration d’Image : Utilisez le préprocesseur inpaint pour remplir et restaurer les parties endommagées ou manquantes d’une image. Détection des Contours : Extrayez les informations de contour des images en utilisant le préprocesseur Canny pour une application ultérieure dans d’autres tâches de traitement d’image. Génération de Carte de Profondeur : Générez des informations de profondeur des images grâce au préprocesseur Depth pour créer un effet visuel plus tridimensionnel.