Ejemplos de Fusión de Modelos

La idea detrás de estos flujos de trabajo es que puedes realizar flujos de trabajo complejos con múltiples fusiones de modelos, probarlos y luego guardar el punto de control desactivando el nodo CheckpointSave una vez que estés satisfecho con los resultados. Por defecto, el nodo CheckpointSave guarda los puntos de control en la carpeta output/checkpoints/.

Puedes encontrar estos nodos en: avanzado -> model_merging

Este primer ejemplo es un ejemplo básico de una fusión simple entre dos puntos de control diferentes.

Puedes cargar estas imágenes en ComfyUI para obtener el flujo de trabajo completo.

En ComfyUI, los puntos de control guardados contienen el flujo de trabajo completo utilizado para generarlos, por lo que pueden cargarse en la interfaz de usuario de la misma manera que las imágenes para obtener el flujo de trabajo completo que se utilizó para crearlos.

Este ejemplo es un ejemplo de fusión de 3 puntos de control diferentes utilizando una fusión de bloques simple donde los bloques de entrada, medio y salida del unet pueden tener una proporción diferente:

Dado que las Loras son un parche en los pesos del modelo, también pueden fusionarse en el modelo:

También puedes restar los pesos de los modelos y sumarlos como en este ejemplo utilizado para crear un modelo de inpaint a partir de un modelo no inpaint con la fórmula: (inpaint_model - base_model) * 1.0 + other_model Si estás familiarizado con la opción “Agregar diferencia” en otras interfaces de usuario, así es como hacerlo en ComfyUI.

Una cosa importante que debes tener en cuenta es que los modelos se fusionan y se guardan en la precisión que se utiliza para la inferencia en tu hardware, por lo que normalmente será en punto flotante de 16 bits. Si quieres hacer fusiones en punto flotante de 32 bits, inicia ComfyUI con: —force-fp32

Fusión Avanzada

CosXL

Aquí tienes un ejemplo de cómo crear un modelo CosXL a partir de un modelo SDXL regular con fusión. Los requisitos son el modelo base CosXL, el modelo base SDXL y el modelo SDXL que deseas convertir. En este ejemplo, utilicé albedobase-xl.