Model Memory Use Report Patch(ModelMemoryUseReportPatch)

Узел Model Memory Use Report Patch, техническая реализация которого заключается в клонировании входной модели и добавлении двух функций обратного вызова к клонированной модели.

Model Memory Use Report Patch — это экспериментальный узел, предназначенный для мониторинга и отчетности об использовании видеопамяти моделью в процессе сэмплирования. Путем добавления функций обратного вызова к модели он автоматически записывает и выводит данные о пиковом потреблении видеопамяти, помогая пользователям понять ресурсозатратность модели во время выполнения.

Функциональность узла

Техническая реализация узла заключается в клонировании входной модели и добавлении двух функций обратного вызова к клонированной модели. Одна функция сбрасывает счетчики статистики CUDA видеопамяти перед началом сэмплирования, а другая — вычисляет и записывает пиковую выделенную и зарезервированную видеопамять после завершения сэмплирования. Эти данные выводятся в гигабайтах через системную функцию логирования.

Описание параметров узла - Model Memory Use Report Patch

Входные соединения (Inputs)

Выходные данные (Outputs)

Сценарии использования

При отладке или оптимизации сложного рабочего процесса вы можете вставить этот узел после узла загрузки модели и перед узлом сэмплера. Например, если вы заметили, что процесс генерации замедлился или возникают ошибки нехватки видеопамяти, использование этого узла поможет быстро определить, какая модель или какая операция сэмплирования потребляет больше всего ресурсов видеопамяти.

Важные замечания

Этот узел зависит от интерфейсов управления памятью CUDA в PyTorch, поэтому он работает только в среде GPU с поддержкой CUDA. Он выводит измененную копию модели и не влияет на исходную модель.

Ссылка на исходный код узла Model Memory Use Report Patch

Узел Model Memory Use Report Patch взят из пакета узлов ComfyUI-KJNodes.