NABLA Attention KJ (NABLA_AttentionKJ) - ComfyUI-KJNodes

Le nœud NABLA Attention KJ implémente sa fonctionnalité en remplaçant la fonction de calcul d'attention du modèle, utilisant spécifiquement l'algorithme d'attention éparse NABLA.

NABLA Attention KJ est un nœud expérimental conçu pour modifier le mécanisme d'attention des modèles de génération vidéo. Sa fonction principale est d'appliquer l'attention éparse NABLA au modèle, dans le but d'optimiser l'utilisation de la mémoire et l'efficacité du calcul pendant le processus de génération vidéo.

Fonctionnalité du nœud

Ce nœud fonctionne en remplaçant la fonction de calcul d'attention du modèle, utilisant spécifiquement l'algorithme d'attention éparse NABLA. Il nécessite une version récente de PyTorch pour prendre en charge le module flex_attention et est actuellement principalement adapté au modèle vidéo Kadinsky5. Son mécanisme interne génère dynamiquement un masque d'attention éparse basé sur la forme de l'espace latent fourni et les paramètres de fenêtre, afin de limiter la portée du calcul d'attention.

Explication des paramètres du nœud - NABLA Attention KJ

Entrées (Inputs)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage/Valeurs possibles	Description
`model`	MODEL	Oui	-	-	Le modèle de base dont le mécanisme d'attention doit être modifié. Ce paramètre est utilisé pour recevoir un modèle de génération standard, le nœud remplacera ensuite sa méthode de calcul d'attention interne.
`latent`	LATENT	Oui	-	-	Utilisé uniquement pour obtenir la forme de l'espace latent.

Paramètres de contrôle (Parameters)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage/Valeurs possibles	Description
`window_time`	INT	Oui	11	≥ 1	Taille de la fenêtre d'attention temporelle.
`window_width`	INT	Oui	3	≥ 1	Taille de la fenêtre d'attention spatiale (largeur).
`window_height`	INT	Oui	3	≥ 1	Taille de la fenêtre d'attention spatiale (hauteur).
`sparsity`	FLOAT	Oui	0.9	0.0 – 1.0 (pas: 0.01)	Paramètre contrôlant le degré de parcimonie de l'attention, avec une plage de 0.0 à 1.0 et un pas de 0.01. Une valeur plus élevée indique une attention plus éparse, ignorant davantage de corrélations lors du calcul.
`torch_compile`	BOOLEAN	Oui	True	-	Très probablement requis pour une utilisation raisonnable de la mémoire.

Sortie (Output)

Nom du paramètre	Type de données	Description
MODEL	MODEL	Nouveau modèle avec l'attention éparse NABLA appliquée. Ce modèle de sortie peut être utilisé pour les étapes ultérieures de génération d'image ou de vidéo.

Cas d'utilisation

Dans un flux de travail de génération de séquences vidéo cohérentes, vous pouvez insérer ce nœud après le nœud de chargement du modèle. En ajustant la taille des fenêtres temporelles et spatiales, vous pouvez contrôler combien d'images précédentes le modèle prend en compte lors de la génération des trames vidéo, ainsi que la taille de la région dans chaque trame, réduisant ainsi la charge de calcul tout en garantissant la cohérence temporelle.

Notes importantes

Veuillez noter qu'il s'agit d'un nœud expérimental, sa stabilité et sa compatibilité peuvent être limitées. Il nécessite explicitement une version récente de PyTorch et n'est actuellement confirmé comme fonctionnel qu'avec le modèle Kadinsky5. Son utilisation avec d'autres modèles peut entraîner des erreurs ou des résultats inattendus.

Lien vers le code source du nœud NABLA Attention KJ

Le nœud NABLA Attention KJ provient du pack de nœuds ComfyUI-KJNodes.

NABLA Attention KJ(NABLA_AttentionKJ)