KJNodes/experimentalgenerated

Patch Sage Attention KJ(PathchSageAttentionKJ)

Этот узел реализует функциональность путем клонирования входной модели и установки оптимизированной функции переопределения внимания в её параметрах модели.

Pathch Sage Attention KJ

model
MODEL
sage_attention
0
allow_compile
KJNodes

Узел Patch Sage Attention KJ реализует свою функциональность путем клонирования входной модели и установки оптимизированной функции переопределения внимания в её параметрах модели.

Узел Patch Sage Attention KJ — это экспериментальный инструмент для динамического изменения механизма вычисления внимания в диффузионных моделях. Его основная функция — позволить пользователю глобально заменить стандартные модули внимания модели на режим Sage Attention во время генерации изображений, чтобы исследовать различные эффекты генерации или потенциальную оптимизацию производительности.

Функциональность узла

Узел реализует свою функциональность путем клонирования входной модели и установки оптимизированной функции переопределения внимания в её параметрах модели. Он не зависит от стандартной системы патчинга моделей ComfyUI, а напрямую манипулирует transformer_options модели. Узел поддерживает выбор определенных режимов внимания из библиотеки Sage Attention и позволяет включить функцию torch.compile от PyTorch для попытки ускорения вычислений, что требует Sage Attention версии 2.2.0 или выше.

Описание параметров узла - Patch Sage Attention KJ

Входные соединения (Inputs)

Имя параметраТип данныхОбязательныйЗначение по умолчаниюДиапазон значений/ОпцииОписание
modelMODELДа--Принимает диффузионную модель для модификации в качестве основы для замены механизма внимания.

Параметры управления (Parameters)

Имя параметраТип данныхОбязательныйЗначение по умолчаниюДиапазон значений/ОпцииОписание
sage_attentionКОМБОДаFalse-Глобальный патч для использования sageattn вместо стандартного внимания Comfy. После применения патча для возврата к нормальному режиму потребуется снова запустить этот узел с отключенной опцией.
allow_compileBOOLEANНетFalse-Разрешить использование torch.compile для функции sage attention. Требуется последняя версия sageattn 2.2.0 или выше.

Выходные данные (Output)

Имя параметраТип данныхОписание
MODELMODELВозвращает копию модели с примененным патчем указанного режима Sage Attention.

Сценарии использования

В рабочем процессе генерации изображений этот узел можно подключить после узла загрузки модели и перед узлом сэмплера. Когда вы хотите попробовать различные стилистические эффекты или потенциальное увеличение скорости, которые дает Sage Attention, включите этот узел и выберите соответствующий режим. Чтобы восстановить стандартный эффект генерации, необходимо снова запустить этот узел и установить режим в значение "disabled".

Важные замечания

Обратите внимание, что это экспериментальный узел, его поведение может быть нестабильным или меняться с обновлениями зависимых библиотек. После применения патча невозможно вернуться к исходному состоянию механизма внимания, пока вы не перезапустите узел и не отключите его.

Ссылка на исходный код узла Patch Sage Attention KJ

Узел Patch Sage Attention KJ взят из пакета узлов ComfyUI-KJNodes.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…