Model Memory Use Report Patch(ModelMemoryUseReportPatch)

Le nœud Model Memory Use Report Patch, dont l'implémentation technique consiste à cloner le modèle d'entrée et à ajouter deux fonctions de rappel au modèle cloné.

Model Memory Use Report Patch est un nœud expérimental conçu pour surveiller et rapporter l'utilisation de la mémoire GPU (VRAM) par un modèle pendant le processus d'échantillonnage. En ajoutant des fonctions de rappel au modèle, il enregistre automatiquement et affiche les données de consommation maximale de mémoire, aidant ainsi les utilisateurs à comprendre l'occupation des ressources lors de l'exécution du modèle.

Fonctionnalités du Nœud

L'implémentation technique de ce nœud consiste à cloner le modèle d'entrée et à ajouter deux fonctions de rappel au modèle cloné. Une fonction réinitialise les compteurs de statistiques de mémoire CUDA avant l'échantillonnage, et l'autre calcule et enregistre la mémoire allouée maximale et la mémoire réservée maximale après la fin de l'échantillonnage. Ces données, exprimées en gigaoctets (GB), sont ensuite affichées via la fonction de journalisation du système.

Spécifications des Paramètres du Nœud - Model Memory Use Report Patch

Entrées (Inputs)

Sorties (Outputs)

Cas d'Utilisation

Lors du débogage ou de l'optimisation de flux de travail complexes, vous pouvez insérer ce nœud après un nœud de chargement de modèle et avant un nœud d'échantillonneur (sampler). Par exemple, si vous constatez que le processus de génération est lent ou qu'une erreur d'insuffisance de mémoire GPU (VRAM) se produit, l'utilisation de ce nœud peut vous aider à identifier rapidement quel modèle ou quelle étape d'échantillonnage consomme le plus de ressources mémoire.

Notes Importantes

Ce nœud dépend des interfaces de gestion de mémoire CUDA de PyTorch et n'est donc efficace que dans un environnement GPU avec CUDA activé. Il génère une copie modifiée du modèle et n'affecte pas le modèle original.

Lien vers le Code Source du Nœud Model Memory Use Report Patch

Le nœud Model Memory Use Report Patch provient du pack de nœuds ComfyUI-KJNodes.