ControlNet v1.0 для SD 1.5

Автор: lllyasviel
GitHub репозиторий: https://github.com/lllyasviel/ControlNet
Hugging Face репозиторий: https://huggingface.co/lllyasviel/ControlNet/tree/main
Совместимые версии Stable Diffusion: stable diffusion SD1.5, 2.0

Здесь собраны исходные файлы моделей ControlNet, предоставленные оригинальным автором lllyasviel.

Файлы моделей ControlNet v1.0 и ссылки для скачивания

Как использовать модель ControlNet в ComfyUI

Инструкцию по использованию модели ControlNet вы найдете в следующей статье:

В статье рассматриваются следующие темы:

• Как установить модель ControlNet в ComfyUI
• Как использовать модель ControlNet в ComfyUI
• Примеры рабочих процессов (workflow) с ControlNet в ComfyUI
• Как использовать несколько моделей ControlNet и другое

Принципы работы ControlNet

Основной принцип ControlNet заключается в том, чтобы направлять генерацию изображений диффузионной моделью с помощью дополнительных управляющих условий. Для этого исходная нейросеть дублируется на две версии: «заблокированная» и «обучаемая». Во время использования обучаемая копия подстраивается под новые условия, а заблокированная сохраняет исходные параметры, чтобы не влиять на базовую работу диффузионной модели.

Примеры использования ControlNet

Stable Diffusion ControlNet 1.0 — это расширение, которое позволяет управлять процессом генерации изображений с помощью различных условий. В зависимости от задачи, этот инструмент можно гибко применять для достижения нужного результата. Вот несколько примеров применения:

1. Точное управление изображением
   ControlNet позволяет управлять генерацией изображения на основе таких условий, как определение контуров, обработка эскизов или поза человека. Например, если нужно детально изобразить определённые части человека, можно задать соответствующие условия для получения нужного результата.

2. Фиксация композиции и позы
   С помощью ControlNet можно зафиксировать композицию изображения и задать позу, чтобы получить ожидаемый результат. Это особенно полезно для дизайна персонажей с определёнными действиями или позами.

3. Создание контурных рисунков и лайн-арта
   ControlNet позволяет создавать детализированные иллюстрации даже из простого линейного рисунка. Это удобно для художников, особенно при создании сложных изображений на основе простых линий.

4. Преобразование портрета в аниме-стиль
   ControlNet также можно использовать для преобразования реальных портретов в аниме-стиль, точно передавая причёску и цвет волос персонажа с оригинального изображения. Эта функция полезна для создания аниме и дизайна персонажей.