Model Patch Torch Settings (ModelPatchTorchSettings) - ComfyUI-KJNodes

El nodo Model Patch Torch Settings funciona técnicamente clonando el modelo de entrada y vinculando las funciones de callback ON_PRE_RUN y ON_CLEANUP al mismo.

Model Patch Torch Settings es un nodo experimental que permite a los usuarios modificar dinámicamente la configuración de cálculo subyacente de PyTorch antes y después de la ejecución del modelo. Su funcionalidad principal consiste en agregar funciones de callback que activan opciones específicas de optimización de rendimiento antes de la ejecución del modelo y restauran el estado original después, logrando así un control preciso sobre el comportamiento computacional del modelo.

Funcionalidad del Nodo

Este nodo funciona técnicamente clonando el modelo de entrada y vinculando las funciones de callback ON_PRE_RUN y ON_CLEANUP al mismo. Actualmente, admite principalmente el control de la configuración torch.backends.cuda.matmul.allow_fp16_accumulation, que afecta si se permite la acumulación de precisión media (fp16) en las operaciones de multiplicación de matrices CUDA. Esta función requiere PyTorch 2.7.0 o una versión superior (como la versión nocturna) para funcionar; de lo contrario, el nodo reportará un error.

Descripción de Parámetros del Nodo - Model Patch Torch Settings

Entradas (Inputs)

Nombre del Parámetro	Tipo de Dato	Requerido	Valor por Defecto	Rango/Opciones	Descripción
`model`	MODEL	Sí	-	-	Parámetro de entrada `model`: Recibe un modelo para procesar. El nodo agregará funciones de callback para modificar la configuración de PyTorch en este modelo.

Parámetros de Control (Parameters)

Nombre del Parámetro	Tipo de Dato	Requerido	Valor por Defecto	Rango/Opciones	Descripción
`enable_fp16_accumulation`	BOOLEANO	Sí	falso	-	Habilita torch.backends.cuda.matmul.allow_fp16_accumulation, requiere pytorch 2.7.0 nocturna.

Salida (Output)

Nombre del Parámetro	Tipo de Dato	Descripción
MODEL	MODEL	Parámetro de salida `MODEL`: Emite una nueva instancia de modelo con las funciones de callback adjuntas, para su uso en flujos de trabajo posteriores de generación de imágenes.

Casos de Uso

Este nodo es muy útil en flujos de trabajo que implican inferencia de modelos complejos o que requieren optimizar el uso de VRAM. Por ejemplo, al usar un modelo grande de Stable Diffusion para generar imágenes y querer probar a habilitar la acumulación fp16 para mejorar la velocidad de cálculo o reducir el consumo de VRAM, puede insertar este nodo después del nodo de carga del modelo y antes del nodo de muestreo. Luego, puede probar la diferencia de rendimiento activando o desactivando el parámetro booleano.

Consideraciones

Tenga en cuenta que este es un nodo marcado como "experimental"; su estabilidad y compatibilidad pueden no ser tan robustas como las de los nodos principales. La limitación más crítica es que debe ejecutarse en una versión de PyTorch que admita el atributo torch.backends.cuda.matmul.allow_fp16_accumulation (es decir, versión 2.7.1 o superior); de lo contrario, el flujo de trabajo no se ejecutará.

Enlace al Código Fuente del Nodo Model Patch Torch Settings

El nodo Model Patch Torch Settings proviene del paquete de nodos ComfyUI-KJNodes.

Model Patch Torch Settings(ModelPatchTorchSettings)