Skip to content
ComfyUI Wiki
Помогите создать лучшую базу знаний ComfyUI Стать спонсором

Полное руководство по использованию Depth ControlNet с SD1.5 в ComfyUI

Введение в SD1.5 Depth ControlNet

SD1.5 Depth ControlNet Comparison

Depth ControlNet — это специализированная модель ControlNet, предназначенная для управления глубиной и пространственной структурой изображения. Анализируя информацию о глубине на входном изображении, она помогает искусственному интеллекту сохранять правильные пространственные отношения и перспективу при генерации новых изображений. Эта модель особенно полезна для интерьерного дизайна, архитектурных проектов и реконструкции сцен, так как позволяет точно понимать и сохранять глубину пространства.

В этом руководстве рассматривается использование и основные приёмы работы с Depth ControlNet для SD1.5. Другие версии и типы моделей ControlNet будут рассмотрены в будущих материалах.

Основные особенности Depth ControlNet

  • Пространственное управление: Точное управление глубиной и перспективой на изображении
  • Реконструкция сцен: Сохраняет исходную планировку пространства при изменении стиля и содержимого
  • Дизайн интерьера: Особенно подходит для редизайна интерьеров и смены стиля помещений
  • Архитектурная визуализация: Эффективна для 3D-визуализации архитектурных и интерьерных проектов
  • Демонстрация продуктов: Идеальна для создания презентаций товаров с выраженной глубиной
  • Планирование сцен: Помогает в ландшафтном дизайне и визуализации градостроительных решений

Подготовка рабочего процесса (workflow) SD1.5 Depth ControlNet

1. Установка необходимых плагинов

В базовой версии ComfyUI отсутствует препроцессор для создания карты глубины, поэтому сначала потребуется установить соответствующий плагин. Для генерации карты глубины в этом руководстве используется плагин ComfyUI ControlNet Auxiliary Preprocessors.

Рекомендуем устанавливать плагины через ComfyUI Manager. Подробную инструкцию по установке плагинов смотрите в руководстве по установке пользовательских узлов ComfyUI

В последней версии ComfyUI Desktop ComfyUI Manager уже установлен по умолчанию

Способ 1: Через ComfyUI Manager (рекомендуется)

  1. Сначала установите ComfyUI Manager
  2. В менеджере найдите и установите “ComfyUI ControlNet Auxiliary Preprocessors”

Способ 2: Установка через Git

  1. Откройте командную строку и перейдите в папку custom_nodes вашего ComfyUI
  2. Выполните следующие команды:
git clone https://github.com/Fannovel16/comfyui_controlnet_aux
cd comfyui_controlnet_aux
pip install -r requirements.txt

Примечание: Перезапустите ComfyUI после установки плагинов

Способ 3: Ручная установка (не рекомендуется)

  1. Перейдите по ссылке https://github.com/Fannovel16/comfyui_controlnet_aux
  2. Скачайте ZIP-архив репозитория
  3. Извлеките файлы и скопируйте их в папку ComfyUI/custom_nodes/

2. Скачивание необходимых моделей

Вам потребуется установить следующие модели:

Тип моделиФайл моделиСсылка для скачивания
Базовая модель SD1.5dreamshaper_8.safetensorsCivitai
Модель Depth ControlNetcontrol_v11f1p_sd15_depth.pthHugging Face
Модель VAE (необязательно)vae-ft-mse-840000-ema-pruned.safetensorsHugging Face

Вы можете использовать любую модель SD1.5, которая у вас есть, однако в этом руководстве в качестве примера используется dreamshaper_8. Для задач интерьерного дизайна и схожих применений рекомендуется выбирать модели, специально оптимизированные для интерьеров или архитектурных проектов.

2.2 Структура размещения файлов моделей

Разместите файлы моделей согласно следующей структуре:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11f1p_sd15_depth.pth
│   └── 📁vae
│       └── vae-ft-mse-840000-ema-pruned.safetensors

3. Файлы workflow

Дизайн интерьеров — одно из самых популярных применений Depth ControlNet. С помощью управления по информации о глубине можно сохранить исходную планировку пространства, полностью изменив стиль и атмосферу интерьера.

Вот пример преобразования традиционной гостиной в киберпанк-стиль:

Входное изображение Результат

Руководство по workflow SD1.5 Depth ControlNet

Основные компоненты

В этом workflow используются следующие ключевые узлы:

  1. LoadImage: Загружает исходное изображение
  2. Zoe-DepthMapPreprocessor: Генерирует карту глубины, предоставляется плагином ComfyUI ControlNet Auxiliary Preprocessors
    • resolution: Управляет разрешением карты глубины, влияет на уровень детализации:
      • Более высокое разрешение (например, 768, 1024):
        • Плюсы: Больше деталей, лучше подходит для сложных интерьеров и архитектуры
        • Минусы: Медленнее работает, выше расход видеопамяти
        • Применение: Детализированный интерьер, архитектурные детали
      • Более низкое разрешение (например, 384, 512):
        • Плюсы: Быстрее обработка, меньше расход видеопамяти
        • Минусы: Может теряться часть деталей
        • Применение: Быстрые предпросмотры, простые сцены
      • Рекомендуемые значения:
        • Обычные сцены: 512 — оптимальный баланс
        • Для высокой детализации: 768 и выше
        • Для тестов: 384
    • Использует алгоритм оценки глубины Zoe для получения качественных depth-карт
    • Особенно хорошо подходит для интерьеров и архитектурных сцен
    • Можно просмотреть сгенерированную карту глубины через узел PreviewImage

Совет: Для тестов и настройки начните с низкого разрешения, для финального результата увеличьте разрешение

Совет: Zoe-DepthMapPreprocessor — один из лучших генераторов depth-карт для архитектурных и интерьерных сцен, хорошо справляется со сложными пространственными структурами и деталями

Описание узлов workflow

Основные связи между узлами:

  1. Блок ввода:

    • LoadImage → Zoe-DepthMapPreprocessor → PreviewImage (для предпросмотра карты глубины)
    • LoadImage → Zoe-DepthMapPreprocessor → ControlNetApplyAdvanced
  2. Блок загрузки моделей:

    • CheckpointLoaderSimple (загружает базовую модель)
    • ControlNetLoader (загружает Depth ControlNet)
  3. Блок обработки промптов:

    • CLIPTextEncode (положительный промпт)
    • CLIPTextEncode (отрицательный промпт)
  4. Блок управления генерацией:

    • KSampler (управляет процессом генерации)
    • VAEDecode (преобразует латентное изображение в финальное)

Советы и лучшие практики по Depth ControlNet

  1. Контроль качества карты глубины

    • Используйте качественные исходные изображения
    • Следите за чёткой пространственной иерархией
    • Избегайте слишком сложных сцен
    • Учитывайте влияние освещения на карту глубины
  2. Составление промптов

    • Подробно описывайте пространственные отношения
    • Указывайте материалы и освещение
    • Отмечайте важные элементы глубины
    • Используйте профессиональные термины
    • Рекомендуемые ключевые слова:
      • Пространство: глубина, перспектива, планировка, композиция
      • Качество: профессионально, высокое качество, детализировано, реалистично
      • Стиль: современный, минимализм, футуризм (по необходимости)
  3. Решение проблем

    • Слабое ощущение пространства: увеличьте strength
    • Потеря деталей: уменьшите cfg
    • Искажение структуры: увеличьте steps
    • Некорректная глубина: измените разрешение
    • Неподходящий стиль: оптимизируйте промпт

Часто задаваемые вопросы (FAQ)

  1. Почему в сгенерированных изображениях слабое ощущение пространства?

    • Проверьте чёткость карты глубины
    • Убедитесь в правильности значения strength
    • Попробуйте увеличить steps
  2. Как повысить качество изображения?

    • Используйте более высокое разрешение
    • Выберите подходящий сэмплер
    • Оптимизируйте промпт
  3. Как ускорить генерацию?

    • Понизьте разрешение
    • Используйте более быстрый сэмплер
    • Уменьшите steps
  4. Как сохранить исходную планировку?

    • Увеличьте strength
    • Оставьте end_percent равным 1
    • Используйте подробные пространственные описания

Связанные материалы