Correctif de réglage d'attention LTX2(LTX2AttentionTunerPatch)

Description

EXPÉRIMENTAL ! Ce nœud corrige le passage avant d'un modèle LTX2 pour appliquer des facteurs d'échelle d'attention par modalité. Il réduit également la consommation maximale de VRAM par rapport au passage avant non corrigé. Utilisez-le pour affiner l'influence des flux d'attention vidéo et audio pendant la génération.

Entrées

• model (MODEL, requis) – Le modèle LTX2 à corriger. Doit être un modèle compatible chargé dans ComfyUI.

• blocks (STRING, requis, défaut : "") – Liste séparée par des virgules des indices de blocs de transformateur auxquels appliquer le correctif. Laissez vide pour l'appliquer à tous les blocs. Exemple : "0,2,4" ne corrigera que les blocs 0, 2 et 4.

• video_scale (FLOAT, défaut : 1.0, plage : 0.0 – 100.0, pas 0.01) – Facteur d'échelle pour l'attention vidéo‑à‑vidéo (auto-attention au sein de la modalité vidéo).

• audio_scale (FLOAT, défaut : 1.0, plage : 0.0 – 100.0, pas 0.01) – Facteur d'échelle pour l'attention audio‑à‑audio (auto-attention au sein de la modalité audio).

• audio_to_video_scale (FLOAT, défaut : 1.0, plage : 0.0 – 100.0, pas 0.01) – Facteur d'échelle pour l'attention croisée de l'audio vers la vidéo. Contrôle combien d'informations audio influencent la représentation vidéo. (Info-bulle : « Facteur d'échelle pour l'attention vidéo. » — probablement un raccourci pour l'effet sur l'attention vidéo à partir de l'audio.)

• video_to_audio_scale (FLOAT, défaut : 1.0, plage : 0.0 – 100.0, pas 0.01) – Facteur d'échelle pour l'attention croisée de la vidéo vers l'audio. Contrôle combien d'informations vidéo influencent la représentation audio. (Info-bulle : « Facteur d'échelle pour l'attention audio. » — raccourci correspondant.)

• triton_kernels (BOOLEAN, défaut : True) – Lorsqu'il est activé, utilise des noyaux Triton fusionnés pour les opérations de normalisation+échelle+décalage et d'application RoPE. Cela peut être très légèrement plus rapide, mais nécessite un environnement compatible avec Triton installé. Désactivez si vous rencontrez des erreurs ou préférez un repli PyTorch pur.

Sorties

• MODEL – Le modèle LTX2 corrigé avec les modifications d'échelle d'attention appliquées.

Notes d'utilisation

• Ce nœud est expérimental. Sauvegardez vos flux de travail et testez minutieusement avant de vous fier aux résultats.
• Comme le nœud modifie le passage avant, le modèle corrigé utilisera une implémentation d'attention personnalisée qui réduit la consommation maximale de VRAM – utile pour les générations plus grandes ou lorsque la mémoire est limitée.
• L'entrée blocks vous permet d'appliquer sélectivement le correctif à certains blocs de transformateur seulement. Cela peut aider à isoler les effets ou à réduire l'impact sur les performances du correctif.
• Tous les facteurs d'échelle agissent comme des multiplicateurs sur les logits d'attention bruts avant softmax. Une valeur de 1.0 laisse l'attention inchangée ; les valeurs > 1.0 amplifient la contribution de cette modalité, les valeurs < 1.0 l'atténuent.
• Les quatre facteurs d'échelle (vidéo, audio, audio→vidéo, vidéo→audio) vous offrent un contrôle indépendant sur l'attention intra-modalité et inter-modalité. Par exemple, pour rendre la génération vidéo plus sensible à la piste audio, augmentez audio_to_video_scale.
• Si vous n'avez pas besoin d'ajustements inter-modalités, laissez audio_to_video_scale et video_to_audio_scale à 1.0 et ajustez uniquement video_scale et audio_scale.
• L'option triton_kernels est généralement sûre à laisser activée ; elle n'accélère que légèrement le passage avant corrigé. Désactivez si Triton n'est pas installé ou provoque des problèmes de compatibilité.