Guide Complet - Comment Utiliser Depth ControlNet avec SD1.5 dans ComfyUI

Introduction à SD1.5 Depth ControlNet

Comparaison SD1.5 Depth ControlNet

Depth ControlNet est un modèle ControlNet spécialisé conçu pour contrôler la profondeur et la structure spatiale des images. En analysant les informations de profondeur des images d’entrée, il aide l’IA à maintenir des relations spatiales et des effets de perspective corrects lors de la génération de nouvelles images. Ce modèle est particulièrement utile en design d’intérieur, en conception architecturale et en reconstruction de scènes car il peut comprendre et préserver avec précision les informations de profondeur spatiale.

Ce tutoriel se concentre sur l’utilisation et les techniques du modèle Depth ControlNet pour SD1.5. Nous couvrirons d’autres versions et types de modèles ControlNet dans de futurs tutoriels.

Caractéristiques Principales de Depth ControlNet

Contrôle Spatial: Contrôle précis des relations de profondeur spatiale et de perspective
Reconstruction de Scènes: Maintient la disposition spatiale d’origine tout en changeant le style et le contenu
Design d’Intérieur: Particulièrement adapté à la refonte et à la transformation de style des scènes intérieures
Visualisation Architecturale: Très efficace pour la visualisation 3D des designs architecturaux et intérieurs
Présentation de Produits: Idéal pour créer des présentations de produits avec perception de la profondeur
Planification de Scènes: Aide à la visualisation du design paysager et de la planification urbaine

Préparation du Flux de Travail SD1.5 Depth ControlNet

1. Installation des Plugins Requis

Comme ComfyUI Core ne comprend pas le préprocesseur d’images Depth correspondant, vous devrez d’abord télécharger le plugin préprocesseur. Ce tutoriel nécessite le plugin ComfyUI ControlNet Auxiliary Preprocessors pour générer des cartes de profondeur.

Nous recommandons d’utiliser ComfyUI Manager pour l’installation. Pour des instructions détaillées sur l’installation des plugins, consultez le Guide d’Installation des Plugins ComfyUI

La dernière version de ComfyUI Desktop est livrée avec ComfyUI Manager préinstallé

Méthode 1: Utilisation de ComfyUI Manager (Recommandée)

Installez d’abord ComfyUI Manager
Recherchez et installez “ComfyUI ControlNet Auxiliary Preprocessors” dans le Manager

Méthode 2: Installation via Git

Ouvrez la ligne de commande et accédez au répertoire custom_nodes de ComfyUI
Exécutez les commandes suivantes:

git clone https://github.com/Fannovel16/comfyui_controlnet_aux
cd comfyui_controlnet_aux
pip install -r requirements.txt

Note : Redémarrez ComfyUI après l’installation des plugins

Méthode 3 : Installation Manuelle (Non Recommandée)

Visitez https://github.com/Fannovel16/comfyui_controlnet_aux
Téléchargez le fichier ZIP du code du dépôt
Extrayez et copiez les fichiers dans le dossier ComfyUI/custom_nodes/

2.1 Téléchargement des Modèles Requis

Vous devez installer les modèles suivants :

Type de Modèle	Fichier du Modèle	Lien de Téléchargement
Modèle de Base SD1.5	dreamshaper_8.safetensors	Civitai
Modèle Depth ControlNet	control_v11f1p_sd15_depth.pth	Hugging Face
Modèle VAE (Optionnel)	vae-ft-mse-840000-ema-pruned.safetensors	Hugging Face

Vous pouvez utiliser n’importe quel modèle SD1.5 que vous avez déjà, mais dans ce tutoriel, nous utilisons dreamshaper_8 comme exemple. Pour le design d’intérieur et les applications similaires, vous devriez choisir des modèles spécifiquement optimisés pour le design d’intérieur ou architectural.

2.2 Structure des Fichiers des Modèles

Placez les fichiers des modèles selon cette structure :

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11f1p_sd15_depth.pth
│   └── 📁vae
│       └── vae-ft-mse-840000-ema-pruned.safetensors

3. Fichiers de Workflow

Le design d’intérieur est l’une des applications les plus courantes de Depth ControlNet. Grâce au contrôle des informations de profondeur, vous pouvez maintenir la disposition spatiale d’origine tout en transformant complètement le style et l’ambiance de l’intérieur.

Voici un exemple de conversion d’un salon traditionnel en style cyberpunk :

Image d'entrée Résultat

Guide du Workflow SD1.5 Depth ControlNet

Composants Principaux

Ce workflow utilise les nœuds clés suivants :

LoadImage: Charge l’image d’entrée
Zoe-DepthMapPreprocessor: Génère des cartes de profondeur, fourni par le plugin ComfyUI ControlNet Auxiliary Preprocessors
- resolution: Contrôle la résolution de la carte de profondeur, affectant son niveau de détail :
  - Haute résolution (ex. 768, 1024) :
    - Avantages : Capture plus de détails, meilleur pour les intérieurs complexes et l’architecture
    - Inconvénients : Traitement plus lent, utilisation plus élevée de VRAM
    - Cas d’utilisation : Design d’intérieur détaillé, reproduction de détails architecturaux
  - Basse résolution (ex. 384, 512) :
    - Avantages : Traitement plus rapide, utilisation moindre de VRAM
    - Inconvénients : Peut perdre certaines informations détaillées
    - Cas d’utilisation : Aperçus rapides, reconstruction de scènes simples
  - Paramètres recommandés :
    - Scènes générales : 512 est un bon équilibre
    - Exigences de détails élevées : 768 ou plus
    - Tests rapides : 384
- Utilise l’algorithme d’estimation de profondeur Zoe pour des cartes de haute qualité
- Particulièrement adapté aux scènes intérieures et architecturales
- Peut prévisualiser les cartes de profondeur générées via le nœud PreviewImage

Conseil : Commencez avec une résolution plus basse pour les tests et ajustements, puis augmentez la résolution pour la génération finale

Conseil : Zoe-DepthMapPreprocessor est actuellement l’un des meilleurs générateurs de cartes de profondeur pour les scènes architecturales et intérieures, gérant bien les structures spatiales complexes et les détails

Guide des Paramètres Depth ControlNet et Recommandations

Paramètres KSampler

steps
- Objectif : Contrôle le détail et la qualité de la génération
- Plage recommandée : 25-30 étapes
- Détails :
  - Étapes élevées (30+) : Résultats plus détaillés mais plus lents
  - Étapes basses (20-) : Plus rapide mais peut perdre des détails
  - Minimum recommandé de 25 étapes pour une structure spatiale précise
cfg (Classifier Free Guidance)
- Objectif : Contrôle l’adhérence aux prompts
- Plage recommandée : 6-8
- Détails :
  - Valeurs élevées (8+) : Adhérence plus stricte aux prompts mais moins créatif
  - Valeurs basses (5-) : Plus créatif mais peut dévier de l’intention
  - Recommandé 6-7 pour le design d’intérieur pour équilibrer précision et créativité
sampler_name
- Recommandations :
  - euler : Rapide, bon pour les aperçus
  - dpmpp_2m : Haute qualité, idéal pour la génération finale
- Choix selon la scène :
  - Design d’intérieur : Préférer dpmpp_2m
  - Tests rapides : Utiliser euler
scheduler
- Recommandé : karras
- Raison : Meilleur pour maintenir la structure spatiale

Paramètres de Contrôle ControlNet

strength
- Objectif : Détermine l’influence des informations de profondeur
- Plage recommandée : 0.8-1.0
- Recommandations par scène :
  - Design d’intérieur : 0.9-1.0
  - Extérieurs de bâtiments : 0.8-0.9
  - Scènes simples : 0.7-0.8
start_percent et end_percent
- Objectif : Contrôle le timing du guidage de profondeur
- Paramètres par défaut :
  - start_percent : 0 (appliquer dès le début)
  - end_percent : 1 (maintenir jusqu’à la fin)
- Cas spéciaux :
  - Pour plus de liberté créative : régler end_percent à 0.8-0.9
  - Pour une structure spatiale stricte : garder les valeurs par défaut

Conseil : Combinez efficacement les paramètres - pour le design d’intérieur, utilisez une force élevée (0.9+) avec beaucoup d’étapes (30+) pour les meilleurs résultats

Description des Nœuds du Workflow

Principales connexions des nœuds :

Section d’Entrée :
- LoadImage → Zoe-DepthMapPreprocessor → PreviewImage (pour l’aperçu de la carte de profondeur)
- LoadImage → Zoe-DepthMapPreprocessor → ControlNetApplyAdvanced
Section de Chargement des Modèles :
- CheckpointLoaderSimple (charge le modèle de base)
- ControlNetLoader (charge Depth ControlNet)
Section de Traitement des Prompts :
- CLIPTextEncode (traite les prompts positifs)
- CLIPTextEncode (traite les prompts négatifs)
Section de Contrôle de Génération :
- KSampler (contrôle le processus de génération)
- VAEDecode (convertit l’image latente en image finale)

Conseils et Meilleures Pratiques pour Depth ControlNet

Contrôle de la Qualité des Cartes de Profondeur
- Utilisez des images d’entrée de haute qualité
- Assurez une hiérarchie spatiale claire
- Évitez les scènes trop complexes
- Tenez compte de l’effet de l’éclairage
Rédaction des Prompts
- Détaillez les relations spatiales
- Incluez les informations de matériaux et d’éclairage
- Spécifiez les éléments de profondeur importants
- Utilisez une terminologie professionnelle
- Mots-clés recommandés :
  - Spatial : depth, perspective, spatial layout, composition
  - Qualité : professional, high quality, detailed, realistic
  - Style : modern, minimalist, futuristic (selon les besoins)
Dépannage
- Sensation spatiale faible : Augmentez strength
- Perte de détails : Baissez cfg
- Distorsion structurelle : Augmentez steps
- Profondeur inexacte : Ajustez resolution
- Style incorrect : Optimisez les prompts

FAQ

Pourquoi le sens spatial est-il faible dans les images générées ?
- Vérifiez la clarté de la carte de profondeur
- Vérifiez la valeur de strength
- Envisagez d’augmenter les steps
Comment améliorer la qualité d’image ?
- Utilisez une résolution plus élevée
- Sélectionnez un sampler approprié
- Optimisez les prompts
Comment accélérer la génération ?
- Baissez la résolution
- Utilisez un sampler plus rapide
- Réduisez les steps
Comment maintenir la disposition d’origine ?
- Augmentez strength
- Gardez end_percent à 1
- Utilisez des descriptions spatiales détaillées