NABLA Attention KJ (NABLA_AttentionKJ) - ComfyUI-KJNodes

El nodo NABLA Attention KJ implementa su funcionalidad sobrescribiendo la función de cálculo de atención del modelo, utilizando específicamente el algoritmo de atención dispersa NABLA.

NABLA Attention KJ es un nodo experimental diseñado para modificar el mecanismo de atención de modelos de generación de vídeo. Su función principal es aplicar atención dispersa NABLA al modelo, con el objetivo de optimizar el uso de memoria y la eficiencia computacional durante el proceso de generación de vídeo.

Funcionalidad del Nodo

Este nodo implementa su funcionalidad sobrescribiendo la función de cálculo de atención del modelo, utilizando específicamente el algoritmo de atención dispersa NABLA. Requiere una versión reciente de PyTorch para admitir el módulo flex_attention y actualmente está adaptado principalmente para el modelo de vídeo Kadinsky5. Su mecanismo interno genera dinámicamente una máscara de atención dispersa basada en la forma del espacio latente proporcionado y los parámetros de ventana, para limitar el alcance del cálculo de atención.

Especificación de Parámetros - NABLA Attention KJ

Entradas (Inputs)

Nombre del Parámetro	Tipo de Dato	Obligatorio	Valor por Defecto	Rango/Opciones	Descripción
`model`	MODEL	Sí	-	-	El modelo base cuya atención necesita ser modificada. Este parámetro recibe un modelo de generación estándar, y el nodo sobrescribirá su método interno de cálculo de atención.
`latent`	LATENT	Sí	-	-	Solo se utiliza para obtener la forma (shape) del espacio latente.

Parámetros de Control (Parameters)

Nombre del Parámetro	Tipo de Dato	Obligatorio	Valor por Defecto	Rango/Opciones	Descripción
`window_time`	INT	Sí	11	-	Tamaño de la ventana de atención temporal.
`window_width`	INT	Sí	3	-	Tamaño de la ventana de atención espacial (anchura).
`window_height`	INT	Sí	3	-	Tamaño de la ventana de atención espacial (altura).
`sparsity`	FLOAT	Sí	0.9	0.0 - 1.0 (incremento: 0.01)	Parámetro que controla el grado de dispersión de la atención. El rango es de 0.0 a 1.0, con un incremento de 0.01. Un valor más alto indica una atención más dispersa, ignorando más correlaciones durante el cálculo.
`torch_compile`	BOOLEAN	Sí	True	-	Muy probablemente necesario para un uso de memoria razonable.

Salidas (Output)

Nombre del Parámetro	Tipo de Dato	Descripción
MODEL	MODEL	El nuevo modelo con atención dispersa NABLA aplicada. Este modelo de salida puede usarse en pasos posteriores de generación de imagen o vídeo.

Casos de Uso

En un flujo de trabajo para generar secuencias de vídeo coherentes, puedes insertar este nodo después del nodo de carga del modelo. Ajustando el tamaño de la ventana temporal y espacial, puedes controlar cuántos fotogramas anteriores considera el modelo y qué área dentro de cada fotograma, manteniendo así la coherencia temporal mientras reduces la carga computacional.

Consideraciones

Ten en cuenta que este es un nodo experimental, por lo que su estabilidad y compatibilidad pueden ser limitadas. Requiere explícitamente una versión reciente de PyTorch y actualmente solo se ha confirmado su funcionamiento con el modelo Kadinsky5. Su uso con otros modelos puede causar errores o resultados inesperados.

Enlace al Código Fuente del Nodo NABLA Attention KJ

El nodo NABLA Attention KJ pertenece al paquete de nodos ComfyUI-KJNodes.

NABLA Attention KJ(NABLA_AttentionKJ)