Model Patch Torch Settings (ModelPatchTorchSettings) - ComfyUI-KJNodes

Le nœud Model Patch Torch Settings fonctionne techniquement en clonant le modèle d'entrée et en attachant des fonctions de rappel ON_PRE_RUN et ON_CLEANUP à celui-ci.

Model Patch Torch Settings est un nœud expérimental qui permet aux utilisateurs de modifier dynamiquement les paramètres de calcul sous-jacents de PyTorch avant et après l'exécution d'un modèle. Sa fonction principale consiste à ajouter des fonctions de rappel qui activent des options d'optimisation de performance spécifiques avant l'exécution du modèle et restaurent les paramètres d'origine après l'exécution, permettant ainsi un contrôle précis du comportement de calcul du modèle.

Fonctionnalité du nœud

Ce nœud fonctionne techniquement en clonant le modèle d'entrée et en attachant des fonctions de rappel ON_PRE_RUN et ON_CLEANUP à celui-ci. Actuellement, il prend principalement en charge le contrôle du paramètre torch.backends.cuda.matmul.allow_fp16_accumulation, qui influence si l'accumulation en demi-précision (fp16) est autorisée dans les opérations de multiplication matricielle CUDA. Cette fonctionnalité nécessite PyTorch 2.7.0 ou une version ultérieure (comme la version Nocturne), sinon le nœud signalera une erreur.

Description des paramètres du nœud - Model Patch Torch Settings

Entrées de connexion (Inputs)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage de valeurs/Options	Description
`model`	MODEL	Oui	-	-	Paramètre d'entrée `model` : Reçoit un modèle à traiter. Le nœud ajoutera des fonctions de rappel modifiant les paramètres PyTorch à ce modèle.

Paramètres de contrôle (Parameters)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage de valeurs/Options	Description
`enable_fp16_accumulation`	BOOLEAN	Oui	False	-	Active torch.backends.cuda.matmul.allow_fp16_accumulation, nécessite PyTorch 2.7.0 Nocturne.

Sortie (Output)

Nom du paramètre	Type de données	Description
MODEL	MODEL	Paramètre de sortie `MODEL` : Produit une nouvelle instance de modèle à laquelle les fonctions de rappel ont été attachées, pour être utilisée dans les flux de travail de génération d'image ultérieurs.

Cas d'utilisation

Ce nœud est très utile dans les flux de travail impliquant une inférence de modèle complexe ou nécessitant une optimisation de l'utilisation de la mémoire GPU. Par exemple, lorsque vous utilisez un grand modèle Stable Diffusion pour générer des images et que vous souhaitez essayer d'activer l'accumulation fp16 pour améliorer la vitesse de calcul ou réduire l'utilisation de la mémoire, vous pouvez insérer ce nœud après le nœud de chargement du modèle et avant le nœud d'échantillonnage, et tester la différence de performance en activant/désactivant le paramètre booléen.

Notes importantes

Veuillez noter qu'il s'agit d'un nœud marqué comme « expérimental », sa stabilité et sa compatibilité peuvent être inférieures à celles des nœuds principaux. La limitation la plus cruciale est qu'il doit s'exécuter sur une version de PyTorch prenant en charge l'attribut torch.backends.cuda.matmul.allow_fp16_accumulation (c'est-à-dire la version 2.7.1 ou ultérieure), sinon le flux de travail ne pourra pas s'exécuter.

Lien vers le code source du nœud Model Patch Torch Settings

Le nœud Model Patch Torch Settings provient du pack de nœuds ComfyUI-KJNodes.

Model Patch Torch Settings(ModelPatchTorchSettings)