Как использовать модель OpenPose ControlNet SD1.5 в ComfyUI

Введение в SD1.5 OpenPose ControlNet

OpenPose ControlNet — это специализированная модель ControlNet, предназначенная для управления позами людей на изображениях. Она анализирует позы людей на входных изображениях и помогает ИИ сохранять правильную позу при генерации новых картинок. Эта модель особенно хорошо подходит для генерации изображений с людьми, аниме-персонажами и игровыми персонажами, так как может точно распознавать и воспроизводить позы.

В этом уроке рассматривается использование модели OpenPose ControlNet с SD1.5. Руководства по другим версиям и типам моделей ControlNet будут добавлены позже.

Использование OpenPose ControlNet

Для работы OpenPose ControlNet требуется изображение OpenPose, чтобы управлять позой человека, а затем используется сама модель OpenPose ControlNet для контроля позы на сгенерированном изображении. Вот пример изображения OpenPose:

Аналогично изображениям глубины, вы можете использовать плагин ComfyUI ControlNet Auxiliary Preprocessors для генерации OpenPose-изображений. Если вы не хотите устанавливать этот плагин, можно воспользоваться онлайн-инструментами, например, open-pose-editor, чтобы создать OpenPose-изображения для управления позой. Однако мы настоятельно рекомендуем установить плагин ComfyUI ControlNet Auxiliary Preprocessors, так как он часто используется в повседневной работе.

Пошаговая инструкция по использованию OpenPose ControlNet

1. Обновите ComfyUI

В этом уроке используется новый узел Apply ControlNet, который отличается от старых версий, поэтому рекомендуется обновить или установить последнюю версию ComfyUI. Вы можете воспользоваться этими инструкциями:

• Руководство по установке ComfyUI
• Руководство по обновлению ComfyUI

2. Установите необходимые плагины

В базовой версии ComfyUI нет встроенного препроцессора для OpenPose, поэтому сначала нужно скачать соответствующий плагин. Для этого урока потребуется плагин ComfyUI ControlNet Auxiliary Preprocessors для генерации OpenPose-изображений.

Рекомендуем использовать ComfyUI Manager для установки. Инструкцию по установке плагинов смотрите в руководстве по установке плагинов ComfyUI.

В последней версии ComfyUI Desktop плагин ComfyUI Manager уже предустановлен.

3. Скачайте необходимые модели

Сначала скачайте следующие модели:

4. Где хранить модели

Пожалуйста, разместите файлы моделей согласно следующей структуре:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11f1p_sd15_openpose.pth

После установки обновите или перезапустите ComfyUI, чтобы программа смогла обнаружить файлы моделей.

5. Файлы рабочих процессов (workflow)

Здесь предоставлены два файла workflow:

Генерация изображений с помощью OpenPose-изображения и модели ControlNet

Скачайте указанный выше workflow, перетащите его в окно ComfyUI или используйте сочетание клавиш Ctrl+O для открытия файла workflow.

Пожалуйста, скачайте изображение ниже и загрузите его в узел Load Image.

1. Загрузите референсное изображение в узел 1 Load Image
2. В узле 2 Load Checkpoint выберите установленную вами модель
3. В узле 3 Apply ControlNet выберите модель control_v11f1p_sd15_openpose.pth
4. Нажмите Queue или используйте сочетание клавиш Ctrl+Enter, чтобы запустить workflow и сгенерировать изображение

Использование ComfyUI ControlNet Auxiliary Preprocessors для предварительной обработки референсных изображений

В отличие от предыдущего workflow, иногда у нас нет готового OpenPose-изображения, поэтому необходимо воспользоваться плагином ComfyUI ControlNet Auxiliary Preprocessors для предварительной обработки референсного изображения, а затем использовать полученное изображение вместе с моделью ControlNet.

Скачайте указанный выше workflow, перетащите его в окно ComfyUI или используйте сочетание клавиш Ctrl+O для открытия файла workflow.

Пожалуйста, скачайте изображение ниже и загрузите его в узел Load Image.

1. Загрузите исходное изображение в узел 1 Load Image
2. В узле 2 Load Checkpoint выберите установленную вами модель
3. В узле 3 Apply ControlNet выберите модель control_v11f1p_sd15_openpose.pth
4. Нажмите Queue или используйте сочетание клавиш Ctrl+Enter, чтобы запустить workflow и сгенерировать изображение

5.1 Описание основных узлов

Основные узлы ComfyUI, документация по ним доступна на нашем сайте:

1. Узел применения ControlNet: Apply ControlNet
2. Загрузка модели ControlNet: ControlNet Loader

5.2 Узлы ComfyUI ControlNet Auxiliary Preprocessors

Для распознавания поз доступны два разных узла: OpenPose Pose и DWPose Estimator. Оба используются для извлечения информации о позе рук, тела и лица с изображений и создания скелетных схем.

Узел DWPose Estimator основан на алгоритме распознавания поз DWPose, а узел OpenPose Pose — на алгоритме OpenPose. В предоставленном мной workflow используется узел OpenPose Pose, но вы можете попробовать узел DWPose Estimator после успешного запуска, чтобы увидеть разницу.

Узел OpenPose Pose

Узел DWPose Estimator

Связанные материалы

• Загрузка моделей ControlNet
• Больше уроков по ControlNet