Руководство по использованию нескольких ControlNet в ComfyUI

В ControlNet можно комбинировать несколько моделей ControlNet для более точного управления результатом. Например, при генерации персонажей, если наблюдается неправильное наложение конечностей, можно добавить карту глубины, чтобы корректно отразить передний и задний план.

В этой статье в качестве примера используются OpenPose и Lineart для изменения визуального стиля:

• OpenPose используется для управления позой персонажа.
• Lineart помогает сохранить детали одежды и черты лица персонажа.

Ключевой момент — это последовательное соединение условий в узлах Apply ControlNet при использовании нескольких ControlNet.

Больше информации о поэтапном управлении ControlNet можно найти в инструкции по использованию узла Apply ControlNet.

Этапы использования нескольких ControlNet в ComfyUI

1. Установка необходимых плагинов

Если вы уже изучали другие уроки на ComfyUI Wiki, скорее всего, нужные плагины уже установлены, этот шаг можно пропустить.

Так как в базовой версии ComfyUI нет препроцессора для глубины, необходимо заранее скачать соответствующий плагин. Для этого урока потребуется плагин ComfyUI ControlNet Auxiliary Preprocessors для генерации карты глубины.

Рекомендуется использовать ComfyUI Manager для установки. Подробную инструкцию смотрите в руководстве по установке плагинов ComfyUI.

В последней версии ComfyUI Desktop плагин ComfyUI Manager уже предустановлен.

2. Загрузка моделей

Сначала скачайте следующие модели:

Для SD1.5 можно использовать любую подходящую модель, имеющуюся на вашем компьютере. В этом уроке в качестве примера используется dreamshaper_8.

Пожалуйста, разместите файлы моделей согласно следующей структуре:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11f1p_sd15_openpose.pth
│   │       └── control_v11p_sd15_lineart.pth

3. Файл рабочего процесса и входное изображение

Скачайте файл рабочего процесса и изображение по ссылке ниже:

4. Импорт рабочего процесса в ComfyUI и загрузка изображения для генерации

1. На шаге 1 загрузите соответствующую модель SD1.5 Checkpoint
2. На шаге 2 загрузите входное изображение
3. На шаге 3 загрузите модель OpenPose ControlNet
4. На шаге 4 загрузите модель Lineart ControlNet
5. Используйте Queue или сочетание клавиш Ctrl+Enter для запуска рабочего процесса и генерации изображения

Сценарии комбинирования нескольких ControlNet

1. Архитектурная визуализация

Комбинация ControlNet
Canny Edge + Depth Map + MLSD Line Detection

Рекомендации по настройке параметров

2. Генерация динамичных персонажей

Комбинация ControlNet
OpenPose Pose + Lineart Sketch + Scribble Color Blocks

Рекомендации по настройке параметров

3. Дизайн концепции продукта

Комбинация ControlNet
HED Soft Edge + Depth Depth of Field + Normal Normal Map

Рекомендации по настройке параметров

4. Визуализация атмосферы сцены

Комбинация ControlNet
Segmentation Partition + Shuffle Color Tone + Depth Layers

Стратегия управления слоями