Correctif Sage Attention Mémoire Efficace LTX2(LTX2MemoryEfficientSageAttentionPatch)

Description

EXPÉRIMENTAL ! Ce nœud active un correctif sageattention personnalisé pour réduire l'utilisation maximale de la VRAM. Il remplace le mode d'attention actuel dans le modèle, le remplaçant par des noyaux sageattention économes en mémoire. Nécessite la dernière version de la bibliothèque sageattention.

Entrées

• modèle (MODEL, requis)
  Le modèle de diffusion auquel le correctif d'attention économe en mémoire sera appliqué.

• triton_kernels (BOOLEAN, requis, défaut : vrai)
  Lorsqu'il est activé, utilise les noyaux RoPE fusionnés Triton pour les projections Q/K de l'auto-attention. Cela peut réduire encore la mémoire et améliorer les performances, mais nécessite que Triton soit installé.

Sorties

• MODEL
  Le même modèle avec son mode d'attention modifié pour utiliser sageattention, prêt pour l'inférence avec une utilisation moindre de la VRAM.

Notes d'utilisation

• Ce nœud est expérimental : le comportement peut changer dans les versions futures.
• Assurez-vous d'avoir la dernière version du paquet sageattention installée (par exemple, pip install sageattention --upgrade).
• L'activation de triton_kernels nécessite que Triton soit disponible dans votre environnement. Si Triton n'est pas installé, réglez cette entrée sur faux.
• Le correctif remplace le mécanisme d'attention intégré du modèle ; il affectera tous les calques d'attention du modèle.
• Généralement utilisé en combinaison avec les flux de travail de la famille LTX2 pour réduire les pics de VRAM pendant l'échantillonnage.