TorchCompileControlNet

Узел TorchCompileControlNet, который внутри использует torch.compile.

TorchCompileControlNet — это служебный узел, предназначенный для оптимизации производительности вывода моделей ControlNet. Он использует технологию JIT-компиляции PyTorch для преобразования модели ControlNet в более эффективный формат выполнения, что позволяет ускорить обработку в рабочих процессах генерации изображений.

Функциональность узла

Этот узел использует внутри функцию torch.compile для компиляции входной модели ControlNet. Он позволяет пользователям выбирать различные бэкенды компиляции (например, inductor или cudagraphs) и режимы оптимизации (например, max-autotune), а также поддерживает включение режима полного графа для более агрессивной оптимизации. Процесс компиляции выполняется один раз, и узел отслеживает состояние компиляции, чтобы избежать повторных операций.

Описание параметров узла - TorchCompileControlNet

Входные соединения (Inputs)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`controlnet`	CONTROL_NET	Да	-	-	: Входная модель ControlNet, подлежащая компиляции и оптимизации.

Параметры управления (Parameters)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`backend`	COMBO	Да	inductor	"inductor", "cudagraphs"	: Выбор бэкенд-движка, используемого для компиляции PyTorch. Доступные значения: `inductor` или `cudagraphs`.
`mode`	COMBO	Да	default	"default", "max-autotune", "max-autotune-no-cud...	: Режим компиляции PyTorch. Доступные значения: `default`, `max-autotune`, `max-autotune-no-cudagraphs` или `reduce-overhead`.
`fullgraph`	BOOLEAN	Да	False	-	: Включить режим полного графа.

Выходные данные (Output)

Имя параметра	Тип данных	Описание
CONTROL_NET	CONTROL_NET	: Выходная модель ControlNet после компиляции и оптимизации.

Сценарии использования

В рабочих процессах, требующих быстрой итерации или пакетной генерации изображений, вы можете подключить этот узел после загрузчика ControlNet и перед сэмплером. Компиляция ControlNet позволяет значительно сократить время, затрачиваемое на одиночную или множественную выборку, сохраняя при этом качество генерации. Это особенно полезно для приложений реального времени, требующих высокой скорости генерации, или для сценариев массового создания контента.

Важные замечания

Этот узел помечен как экспериментальная функция. Его эффективность компиляции и стабильность могут различаться в зависимости от версии PyTorch, драйверов оборудования и конкретной модели. В случае сбоя компиляции узел выдаст ошибку времени выполнения. Вам необходимо проверить совместимость среды или попробовать другие комбинации параметров компиляции.

Ссылка на исходный код узла TorchCompileControlNet

Узел TorchCompileControlNet взят из пакета узлов ComfyUI-KJNodes.