ControlNet и T2I-Adapter — Примеры рабочих процессов (workflow) в ComfyUI

Обратите внимание, что в этих примерах исходное изображение напрямую передаётся в адаптер ControlNet или T2I.

Каждый адаптер ControlNet или T2I требует, чтобы передаваемое ему изображение было в определённом формате, например, карта глубины, карта контуров и т.д., в зависимости от используемой модели для получения хороших результатов.

Узел ControlNetApply не преобразует обычные изображения в карты глубины, карты контуров и т.д. Это нужно сделать отдельно или с помощью специальных узлов для предварительной обработки изображений, которые можно найти здесь: Здесь

Последние файлы моделей controlnet можно найти здесь: Оригинальная версия или более лёгкая версия fp16 safetensors

Для SDXL компания stability.ai выпустила Control Lora, которые можно найти здесь (ранг 256) или здесь (ранг 128). Их использование такое же, как и у обычных моделей ControlNet (поместите их в ту же папку).

Файлы моделей ControlNet размещаются в папке ComfyUI/models/controlnet.

Scribble ControlNet

Вот простой пример того, как использовать controlnet. В этом примере используется scribble controlnet и модель AnythingV3. Вы можете загрузить это изображение в ComfyUI, чтобы получить полный рабочий процесс (workflow).

Вот входное изображение, которое использовалось для этого рабочего процесса (workflow):

T2I-Adapter и ControlNets: сравнение

T2I-Adapter работают гораздо эффективнее, чем ControlNet, поэтому их рекомендуется использовать. ControlNet значительно замедляют скорость генерации, в то время как T2I-Adapter практически не влияют на скорость.

В случае ControlNet модель запускается на каждом этапе генерации, а для T2I-Adapter — только один раз за весь процесс.

T2I-Adapter используются так же, как и ControlNet в ComfyUI: через узел ControlNetLoader.

Вот входное изображение, которое будет использоваться в этом примере источник:

Вот пример использования T2I-Adapter для карты глубины:

Вот пример использования ControlNet для карты глубины. Обратите внимание, что в этом примере используется узел DiffControlNetLoader, так как выбран diff control net. Для diff control net требуется корректная загрузка весов модели. Узел DiffControlNetLoader также может использоваться для загрузки обычных моделей controlnet. При загрузке обычных моделей он работает так же, как и ControlNetLoader.

Вы можете загрузить эти изображения в ComfyUI, чтобы получить полный рабочий процесс (workflow).

Pose ControlNet

Вот входное изображение, которое будет использоваться в этом примере:

Вот пример, где первый проход выполнен с AnythingV3 и controlnet, а второй — без controlnet, с использованием AOM3A3 (abyss orange mix 3) и их VAE.

Вы можете загрузить это изображение в ComfyUI, чтобы получить полный рабочий процесс (workflow).

Смешивание ControlNets

Можно применять несколько ControlNet и T2I-Adapter одновременно для получения интересных результатов:

Вы можете загрузить это изображение в ComfyUI, чтобы получить полный рабочий процесс (workflow).

Входные изображения: