TorchCompileModelWanVideoV2

Le nœud TorchCompileModelWanVideoV2 est un outil conçu pour optimiser les performances d'inférence des modèles. En utilisant la fonction de compilation de PyTorch, il convertit le modèle dans un format d'exécution plus efficace, visant à améliorer la vitesse de calcul lors de la génération d'images ou de vidéos. Ce nœud est un nœud expérimental de la catégorie KJNodes/torchcompile.

Fonctionnalités du nœud

Techniquement, ce nœud exploite le mécanisme torch.compile de PyTorch et prend en charge plusieurs compilateurs backend et modes d'optimisation. Il permet aux utilisateurs de sélectionner des composants spécifiques du modèle (comme uniquement les blocs Transformer) pour la compilation, afin de réduire le temps de compilation et d'augmenter le taux de réussite. Le nœud ajuste en interne la configuration de PyTorch Dynamo, telle que la limite de taille du cache et la manière de traiter les formes des paramètres, pour s'adapter à différents matériels et architectures de modèles.

Spécifications des paramètres du nœud - TorchCompileModelWanVideoV2

Entrées (Inputs)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage/Valeurs possibles	Description
`model`	MODEL	Oui	-	-	Reçoit le modèle original à optimiser en entrée, de type MODEL. C'est l'objet que le nœud compile et traite.

Paramètres (Parameters)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage/Valeurs possibles	Description
`backend`	COMBO	Oui	inductor	"inductor", "cudagraphs"	Sélectionne le moteur backend utilisé par la compilation PyTorch. Les valeurs possibles sont "inductor" ou "cudagraphs", correspondant à différentes stratégies d'optimisation de bas niveau.
`mode`	COMBO	Oui	default	"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"	Permet un compromis entre la vitesse de compilation, l'utilisation de la mémoire et les performances d'exécution.
`fullgraph`	BOOLEAN	Oui	False	-	Activer le mode graphe complet
`dynamic`	BOOLEAN	Oui	False	-	Activer le mode dynamique
`compile_transformer_blocks_only`	BOOLEAN	Oui	True	-	Compiler uniquement les blocs Transformer, compilation plus rapide et moins sujette aux erreurs
`dynamo_cache_size_limit`	INT	Oui	64	0 - 1024 (pas: 1)	torch._dynamo.config.cache_size_limit
`force_parameter_static_shapes`	BOOLEAN	Non	True	-	torch._dynamo.config.force_parameter_static_shapes

Sortie (Output)

Nom du paramètre	Type de données	Description
MODEL	MODEL	Sort le modèle optimisé par compilation PyTorch, qui peut être utilisé directement pour les étapes de génération suivantes.

Cas d'utilisation

Dans un flux de travail de génération de vidéos ou d'images haute résolution, lorsque l'inférence du modèle constitue un goulot d'étranglement pour les performances, ce nœud peut être inséré après le chargement du modèle et avant l'échantillonneur (sampler). En compilant le modèle, il est possible d'accélérer les étapes d'échantillonnage de diffusion ultérieures, réduisant ainsi le temps de génération global. Ceci est particulièrement utile pour les scénarios nécessitant une génération par lots ou une prévisualisation en temps réel.

Notes importantes

Veuillez noter que ce nœud est marqué comme « obsolète ». Le développeur recommande d'utiliser le nœud plus avancé TorchCompileModelAdvanced à la place. Il s'agit d'une fonctionnalité expérimentale dont le comportement peut varier selon la version de PyTorch ou l'environnement matériel. Des tests approfondis sont recommandés avant utilisation.

Lien vers le code source du nœud TorchCompileModelWanVideoV2

Le nœud TorchCompileModelWanVideoV2 provient du pack de nœuds ComfyUI-KJNodes.

TorchCompileModelWanVideoV2