LoraExtractKJ

El nodo LoraExtractKJ admite múltiples modos de extracción de LoRA, incluidos rango estándar fijo (standard), rango completo (full) y varios métodos de rango adaptativo (adaptive_*), para adaptarse a diferentes necesidades de precisión y tamaño de archivo.

El nodo LoraExtractKJ es una herramienta para extraer archivos de pesos LoRA (Low-Rank Adaptation) a partir de las diferencias entre un modelo afinado y el modelo base original. Su función principal es analizar los cambios en los parámetros entre los dos modelos, comprimir estos cambios y guardarlos como archivos LoRA independientes y reutilizables. Este nodo no genera ninguna salida de datos, sino que guarda directamente el archivo LoRA generado en el directorio especificado.

Funcionalidad del Nodo

Este nodo admite múltiples modos de extracción de LoRA, incluidos rango estándar fijo (standard), rango completo (full) y varios métodos de rango adaptativo (adaptive_*), para adaptarse a diferentes necesidades de precisión y tamaño de archivo. Técnicamente, utiliza el algoritmo de Descomposición en Valores Singulares (SVD) para calcular una aproximación de bajo rango de las matrices de pesos. Los usuarios pueden elegir entre los algoritmos svd_linalg (preciso pero lento) o svd_lowrank (rápido pero aproximado). Los pesos extraídos se pueden guardar con precisión fp16, bf16 o fp32.

Descripción de Parámetros del Nodo - LoraExtractKJ

Entradas (Inputs)

Nombre del Parámetro	Tipo de Dato	Requerido	Valor por Defecto	Rango/Opción	Descripción
`finetuned`	MULTITYPE	Sí	-	-	El modelo o clip afinado del cual extraer el LoRA.
`original`	MULTITYPE	Sí	-	-	El modelo base original o clip con el que comparar.

Parámetros de Control (Parameters)

Nombre del Parámetro	Tipo de Dato	Requerido	Valor por Defecto	Rango/Opción	Descripción
`lora_type`	COMBO	Sí	standard	"standard", "full", "adaptive_ratio", "adaptive_quantile", "adaptive_energy", "adaptive_fro"	Rango completo (full) y cuatro métodos de rango adaptativo (adaptive_ratio, adaptive_quantile, adaptive_energy, adaptive_fro).
`algorithm`	COMBO	Sí	svd_lowrank	"svd_linalg", "svd_lowrank"	Selecciona el algoritmo utilizado para la Descomposición en Valores Singulares (SVD). `svd_linalg` es más preciso pero más lento; `svd_lowrank` es más rápido pero aproximado.
`output_dtype`	COMBO	Sí	fp16	"fp16", "bf16", "fp32"	La precisión para guardar los pesos LoRA extraídos: fp16, bf16 o fp32.
`filename_prefix`	STRING	Sí	loras/ComfyUI_extracted_lora	-	Establece la ruta de guardado y el prefijo del nombre de archivo para el LoRA de salida. Por defecto se guarda en el directorio `loras/`.
`rank`	ENTERO	Sí	64	1 - 4096 (paso: 1)	El rango a utilizar para LoRA estándar, o el límite máximo de rango para métodos adaptativos.
`lowrank_iters`	ENTERO	Sí	7	1 - 100 (paso: 1)	El número de iteraciones del subespacio para el algoritmo SVD de bajo rango.
`bias_diff`	BOOLEANO	Sí	verdadero	-	Si se incluyen las diferencias en los parámetros de sesgo (bias) del modelo al extraer el LoRA.
`adaptive_param`	FLOTANTE	Sí	0.15	0.0 - 1.0 (paso: 0.01)	Para el modo ratio, es la relación del valor singular máximo. Para el modo quantile, es el cuantil de los valores singulares. Para el modo fro, es la relación de retención de la norma de Frobenius.
`clamp_quantile`	BOOLEANO	Sí	falso	-	Controla si se recortan los valores singulares en el modo de cuantil adaptativo para mejorar la estabilidad numérica.

Escenario de Uso

Un escenario de uso típico es cuando un usuario ha realizado un ajuste fino personalizado en un modelo Stable Diffusion usando métodos como Dreambooth. Después del ajuste, puede conectar el modelo afinado completo y el modelo base original sin modificar a los dos puertos de entrada del nodo. Configurando los parámetros de extracción, se puede generar un archivo LoRA ligero para aplicar rápidamente el mismo estilo o concepto en otros flujos de trabajo.

Enlace al Código Fuente del Nodo LoraExtractKJ

El nodo LoraExtractKJ proviene del paquete de nodos ComfyUI-KJNodes.

Lora Extract KJ