TorchCompileModelFluxAdvancedV2

El nodo TorchCompileModelFluxAdvancedV2 está obsoleto – en su lugar, use TorchCompileModelAdvanced. En su implementación técnica, clona el modelo de entrada y aplica torch.compile a la parte del modelo de difusión interna.

TorchCompileModelFluxAdvancedV2 es un nodo utilizado para optimizar y acelerar la inferencia de modelos. Compila el modelo de difusión dado utilizando la funcionalidad torch.compile de PyTorch, con el objetivo de mejorar la eficiencia de ejecución del modelo durante la generación de imágenes. Este nodo ofrece varias opciones de compilación, permitiendo a los usuarios ajustar las estrategias de optimización según su hardware y requisitos.

Funcionalidad del Nodo

En su implementación técnica, este nodo clona el modelo de entrada y aplica torch.compile a su parte interna del modelo de difusión. Admite múltiples backends (por ejemplo, inductor) y modos de compilación (por ejemplo, max-autotune), y permite controlar si se compilan módulos específicos dentro del modelo (como bloques de atención simple/doble). Además, puede configurar parámetros subyacentes como el tamaño de la caché de PyTorch Dynamo y la forzación de formas estáticas para un ajuste de rendimiento más granular.

Explicación de los Parámetros del Nodo - TorchCompileModelFluxAdvancedV2

Entradas (Inputs)

Nombre del Parámetro	Tipo de Dato	Obligatorio	Valor por Defecto	Rango/Opción	Descripción
`model`	MODEL	Sí	-	-	Recibe la entrada del modelo a optimizar. Este parámetro es la entrada principal del nodo, que normalmente proviene de un nodo de carga de modelo aguas arriba.

Parámetros de Control (Parameters)

Nombre del Parámetro	Tipo de Dato	Obligatorio	Valor por Defecto	Rango/Opción	Descripción
`backend`	COMBO	Sí	inductor	"inductor", "cudagraphs"	Selecciona el motor backend utilizado para la compilación de PyTorch. Las opciones son `inductor` (por defecto) o `cudagraphs`, especificando la implementación de optimización subyacente.
`mode`	COMBO	Sí	"default"	"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"	`max-autotune`, `max-autotune-no-cudagraphs` y `reduce-overhead`, utilizados para compensar entre tiempo de compilación, uso de memoria y velocidad de ejecución.
`fullgraph`	BOOLEAN	Sí	False	-	Habilitar Modo gráfico completo
`double_blocks`	BOOLEAN	Sí	True	-	Compilar bloques dobles
`single_blocks`	BOOLEAN	Sí	True	-	Compilar bloques simples
`dynamic`	BOOLEAN	Sí	False	-	Habilitar modo dinámico
`dynamo_cache_size_limit`	INT	No	64	0 - 1024 (paso: 1)	torch._dynamo.config.cache_size_limit
`force_parameter_static_shapes`	BOOLEAN	No	True	-	torch._dynamo.config.force_parameter_static_shapes

Salida (Output)

Nombre del Parámetro	Tipo de Dato	Descripción
MODEL	MODEL	Devuelve el modelo optimizado mediante `torch.compile`, listo para ser utilizado por nodos posteriores de muestreo o procesamiento.

Escenarios de Uso

En un flujo de trabajo de generación de imágenes, puede colocar este nodo después del nodo de carga del modelo y antes del nodo del muestreador. Por ejemplo, después de cargar un modelo Stable Diffusion, compílelo y optimícelo usando este nodo, luego alimente el modelo optimizado en el muestreador para la generación de imágenes, con el objetivo de obtener velocidades de generación más rápidas.

Consideraciones

Tenga en cuenta que este nodo ha sido marcado como "obsoleto", y el desarrollador recomienda usar su nodo de reemplazo TorchCompileModelAdvanced. Todavía se encuentra en una etapa experimental, y su efectividad de optimización puede variar significativamente según el modelo, el hardware y los parámetros específicos.

Enlace al Código Fuente del Nodo TorchCompileModelFluxAdvancedV2

El nodo TorchCompileModelFluxAdvancedV2 pertenece al paquete de nodos ComfyUI-KJNodes.