DiT Block Lora Loader (DiTBlockLoraLoader) - ComfyUI-KJNodes

El nodo DiT Block Lora Loader, técnicamente, funciona leyendo el archivo LoRA especificado (admite formatos .safetensors o .ckpt) y fusionando sus pesos con los parámetros correspondientes del modelo de difusión base. Su mecanismo central radica en admitir la aplicación selectiva de LoRA a bloques Transformer específicos dentro del modelo DiT. Esto significa que los usuarios pueden elegir afectar solo ciertas capas del modelo, en lugar de todo el modelo, lo que permite ajustes de estilo más detallados.

Funcionalidad del Nodo

Técnicamente, este nodo funciona leyendo el archivo LoRA especificado (admite formatos .safetensors o .ckpt) y fusionando sus pesos con los parámetros correspondientes del modelo de difusión base. Su mecanismo central radica en admitir la aplicación selectiva de LoRA a bloques Transformer específicos dentro del modelo DiT. Esto significa que los usuarios pueden elegir afectar solo ciertas capas del modelo, en lugar de todo el modelo, brindando la posibilidad de ajustes de estilo más precisos.

Explicación de Parámetros - DiT Block Lora Loader

Entradas (Inputs)

Nombre del Parámetro	Tipo de Dato	Obligatorio	Valor por Defecto	Rango/Opciones	Descripción
`model`	MODEL	Sí	-	-	El modelo de difusión al que se aplicará el LoRA.
`lora_name`	COMBO	No	-	-	lora_name (Parámetro de entrada): Selecciona el nombre del archivo LoRA a aplicar de la lista de archivos LoRA cargados.
`blocks`	SELECTEDDITBLOCKS	No	-	-	blocks (Parámetro de entrada): Especifica los bloques concretos dentro del modelo DiT donde se aplicarán los pesos del LoRA, permitiendo un ajuste fino selectivo.

Parámetros de Control (Parameters)

Nombre del Parámetro	Tipo de Dato	Obligatorio	Valor por Defecto	Rango/Opciones	Descripción
`strength_model`	FLOAT	Sí	1.0	-100.0 - 100.0 (paso: 0.01)	La intensidad con la que se modifica el modelo de difusión. Este valor puede ser negativo.
`opt_lora_path`	STRING	No	-	-	Ruta absoluta del archivo LoRA.

Salidas (Output)

Nombre del Parámetro	Tipo de Dato	Descripción
model	MODEL	model (Parámetro de salida): Devuelve el modelo de difusión modificado con los pesos del LoRA ya aplicados.
rank	STRING	rank (Parámetro de salida): Devuelve la posible información de rango del LoRA cargado, típicamente como una cadena de texto.

Casos de Uso

En un flujo de trabajo concreto, puedes conectar este nodo después de haber cargado el modelo DiT base (por ejemplo, el backbone DiT de Stable Diffusion 3). Por ejemplo, si deseas que las imágenes generadas tengan un estilo artístico específico (como "estilo Van Gogh"), pero solo quieres que este estilo afecte la estructura semántica de alto nivel de la imagen sin alterar su composición subyacente, puedes usar este nodo y especificar los módulos particulares donde aplicar el LoRA mediante el parámetro blocks.

Consideraciones

Ten en cuenta que este nodo pertenece a la categoría experimental, por lo que su estabilidad y compatibilidad pueden no ser tan robustas como las de los nodos principales. Antes de usarlo, asegúrate de que el archivo LoRA sea compatible con la arquitectura del modelo DiT actual. Además, establecer el parámetro strength_model demasiado alto o demasiado bajo puede dar lugar a resultados de generación impredecibles.

Enlace al Código Fuente del Nodo DiT Block Lora Loader

El nodo DiT Block Lora Loader pertenece al paquete de nodos ComfyUI-KJNodes.

DiT Block Lora Loader(DiTBlockLoraLoader)