Полное руководство по использованию модели Canny ControlNet SD1.5 в ComfyUI

Введение в SD1.5 Canny ControlNet

Canny ControlNet — одна из самых популярных моделей ControlNet. Она использует алгоритм обнаружения границ Canny для выделения контуров на изображениях, а затем применяет эту информацию для управления генерацией изображений с помощью искусственного интеллекта.

В этом руководстве рассматривается использование модели Canny ControlNet совместно с SD1.5.

Связанные материалы: Руководство по установке и использованию моделей ControlNet Ссылки для скачивания моделей ControlNet

Основные особенности Canny ControlNet

• Сохранение структуры: Эффективно поддерживает основную структуру и контуры исходного изображения
• Гибкость: Можно регулировать силу управления с помощью настроек параметров обнаружения границ
• Широкое применение: Подходит для эскизов, линейных рисунков, архитектурных проектов и других задач
• Стабильные результаты: Обеспечивает более предсказуемое и стабильное управление по сравнению с другими моделями ControlNet

Подготовка к работе по этому руководству

1. Обновление ComfyUI и установка необходимых моделей

Некоторые узлы (nodes) используют новые функции ComfyUI, поэтому сначала рекомендуется обновить ComfyUI до последней версии.

• Как обновить ComfyUI, смотрите в Руководстве по обновлению ComfyUI

Сначала необходимо установить следующие модели:

2. Размещение файлов моделей

Пожалуйста, разместите файлы моделей согласно следующей структуре:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11p_sd15_canny.pth
│   └── 📁vae
│       └── vae-ft-mse-840000-ema-pruned.safetensors

3. Скачать файл рабочего процесса (workflow) SD1.5 Canny ControlNet

Сохраните изображение ниже на свой компьютер, затем загрузите его в узел LoadImage после импорта рабочего процесса.

Обзор рабочего процесса (workflow)

Данный workflow состоит из следующих основных частей:

1. Загрузка моделей: Подключение модели SD, VAE и ControlNet
2. Кодирование промптов: Обработка положительных и отрицательных промптов
3. Обработка изображения: Включает загрузку изображения и выделение контуров с помощью Canny
4. Управление через ControlNet: Применение информации о контурах к процессу генерации
5. Сэмплирование и сохранение: Генерация и сохранение итогового изображения

Объяснение ключевых узлов

1. LoadImage: Используется для загрузки исходных изображений

2. Canny: Выполняет выделение контуров с двумя важными параметрами:

   • low_threshold: Нижний порог, определяет чувствительность к краям
   • high_threshold: Верхний порог, влияет на непрерывность контуров

3. ControlNetLoader: Загружает модель ControlNet

4. ControlNetApplyAdvanced: Управляет применением ControlNet, основные параметры:

   • strength: Интенсивность управления
   • start_percent: С какого этапа начинается влияние
   • end_percent: На каком этапе влияние заканчивается

Этапы использования

1. Импорт workflow

   • Скачайте файл workflow из этого руководства
   • В ComfyUI нажмите “Load” или перетащите скачанный JSON-файл в окно ComfyUI

2. Подготовка исходного изображения

   • Подготовьте изображение, которое хотите обработать
   • Загрузите его с помощью узла LoadImage

3. Настройка параметров Canny

   • Рекомендуемый диапазон low_threshold: 0.2-0.5
   • Рекомендуемый диапазон high_threshold: 0.5-0.8
   • Предварительно просмотрите результат выделения контуров через узел PreviewImage

4. Установка параметров генерации

   • В узле KSampler:
     • steps: рекомендуется 20-30
     • cfg: рекомендуется 7-8
     • sampler_name: рекомендуется “dpmpp_2m”
     • scheduler: рекомендуется “karras”

5. Регулировка силы ControlNet

   • strength: 1.0 — максимальное следование контурам
   • При необходимости уменьшайте значение, чтобы ослабить контроль

Советы и рекомендации

1. Настройка параметров выделения контуров

   • Слишком много контуров: увеличьте значения порогов
   • Слишком мало контуров: уменьшите значения порогов
   • Сначала просмотрите результат через PreviewImage

2. Составление промптов

   • Положительные промпты должны описывать желаемый стиль и детали
   • Отрицательные промпты — то, чего нужно избежать
   • Промпты должны соответствовать содержанию исходного изображения

3. Решение распространённых проблем

   • Если изображение размыто: увеличьте значение cfg
   • Если плохо следуются контурам: увеличьте strength
   • Если не хватает деталей: увеличьте steps

Связанные материалы

Скачать модели ControlNet Больше руководств по ControlNet