WanVideoNAG

Узел WanVideoNAG реализован на основе проекта Normalized-Attention-Guidance от ChenDarYen. Он работает путем модификации слоев перекрестного внимания в процессе диффузии модели.

WanVideoNAG является экспериментальным узлом, предназначенным для применения «Нормализованного управления вниманием» (NAG) к моделям генерации видео. Его основная функция заключается в усилении или управлении степенью соответствия генерируемого видеоконтента заданным условиям (например, текстовым промптам) путем корректировки механизма внимания внутри модели. Это потенциально может улучшить связность видео или тематическую согласованность.

Функциональность узла

Этот узел реализован на основе проекта Normalized-Attention-Guidance от ChenDarYen и работает путем модификации слоев перекрестного внимания в процессе диффузии модели. Он принимает базовую модель и условные входные данные, а затем с помощью трех параметров nag_scale, nag_alpha и nag_tau точно настраивает силу управления, коэффициент смешивания и порог отсечения смещения внимания. Он также предлагает дополнительные настройки для типа входных данных и модификации модели на месте. В итоге узел выдает модифицированную новую модель, содержащую механизм NAG.

Описание параметров узла - WanVideoNAG

Входные подключения (Inputs)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`model`	MODEL	Да	-	-	Выводит новую модель с примененным механизмом нормализованного управления вниманием.
`conditioning`	CONDITIONING	Да	-	-	Входные данные для текстовых условных эмбеддингов, управляющих процессом генерации. Обычно поступают от узла `CLIP Text Encode`.

Параметры управления (Parameters)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`nag_scale`	FLOAT	Да	11.0	0.0 - 100.0 (шаг: 0.001)	Сила эффекта негативного управления.
`nag_alpha`	FLOAT	Да	0.25	0.0 - 1.0 (шаг: 0.001)	Коэффициент смешивания, контролирующий баланс между нормализованным управляемым представлением и исходным позитивным представлением.
`nag_tau`	FLOAT	Да	2.5	0.0 - 10.0 (шаг: 0.001)	Порог отсечения, контролирующий степень отклонения управляемого внимания от позитивного внимания.
`input_type`	COMBO	Нет	default	"default", "batch"	Определяет, как применяется условие. Режим 'default' обрабатывает условие как единый вход; режим 'batch' ожидает пакетное условие.
`inplace`	BOOLEAN	Нет	False	True/False	Если включено, модифицирует модель на месте вместо возврата копии. Используйте с осторожностью, чтобы избежать непреднамеренных побочных эффектов.

Выход (Output)

Название параметра	Тип данных	Описание
model	MODEL	Выводит новую модель с примененным механизмом нормализованного управления вниманием.

Сценарии использования

В рабочем процессе генерации видео этот узел можно разместить после загрузки базовой модели, но до сэмплера. Например, сначала загрузите видео-модель с помощью Checkpoint Loader, затем создайте условие с помощью узла CLIP Text Encode. Далее подайте модель и условие на вход узла WanVideoNAG для настройки. Наконец, подключите выходную модель к узлу-сэмплеру для генерации видео.

Примечания

Этот узел находится в категории KJNodes/wan и основан на исследовательском коде проекта Normalized-Attention-Guidance. Несмотря на то, что его функциональность может быть мощной, в некоторых рабочих процессах он может вести себя непредсказуемо. РЕКОМЕНДУЕТСЯ протестировать его с различными наборами параметров и разобраться в лежащем в основе механизме, прежде чем полагаться на него в производственном использовании.

Ссылка на исходный код узла WanVideoNAG

Узел WanVideoNAG взят из пакета узлов ComfyUI-KJNodes.

Wan Video NAG