Примеры объединения моделей

Идея этих рабочих процессов заключается в том, что вы можете создавать сложные рабочие процессы (workflow) с несколькими объединениями моделей, тестировать их, а затем сохранять контрольную точку, активировав узел CheckpointSave, когда результат вас устраивает. По умолчанию узел CheckpointSave сохраняет контрольные точки в папку output/checkpoints/.

Эти узлы можно найти в разделе: advanced -> model_merging

Первый пример — это базовое объединение двух разных контрольных точек.

Вы можете загрузить эти изображения в ComfyUI, чтобы получить полный рабочий процесс (workflow).

В ComfyUI сохранённые контрольные точки содержат полный рабочий процесс (workflow), использованный для их создания, поэтому их можно загрузить в интерфейс так же, как и изображения, чтобы увидеть весь процесс.

Следующий пример показывает объединение трёх разных контрольных точек с помощью простого блочного объединения, где входные, средние и выходные блоки unet могут иметь разные пропорции:

Поскольку Lora — это патч к весам модели, их также можно объединять с моделью:

Также можно вычитать и складывать веса моделей, как в этом примере, где создаётся модель для дорисовки (inpaint) на основе обычной модели с помощью формулы: (inpaint_model - base_model) * 1.0 + other_model. Если вы знакомы с опцией “Add Difference” в других интерфейсах, то в ComfyUI это делается именно так.

Важно отметить, что модели объединяются и сохраняются с той точностью, которая используется для вывода на вашем оборудовании, обычно это 16-битные числа с плавающей запятой. Если вы хотите объединять модели в 32-битном формате, запустите ComfyUI с параметром: —force-fp32

Продвинутое объединение

CosXL

Вот пример того, как создать модель CosXL из обычной SDXL-модели с помощью объединения. Для этого понадобятся базовая модель CosXL, базовая модель SDXL и SDXL-модель, которую вы хотите преобразовать. В этом примере использовалась albedobase-xl.