Примеры композиции шумных латентных изображений

Вы можете загрузить эти изображения в ComfyUI, чтобы ознакомиться с полным рабочим процессом (workflow).

Здесь приведены примеры композиции шумных латентных изображений. Композиция шумных латентных изображений — это процесс объединения нескольких латентных изображений до завершения этапа удаления шума (денойзинга). Поскольку основные формы, такие как позы и объекты, определяются на ранних этапах генерации, этот метод позволяет, например, размещать объекты с определёнными позами в разных частях изображения, при этом сохраняя высокую согласованность.

Пример: в данном случае объединяются 4 изображения — одно фоновое и три с объектами. Всего выполняется 16 шагов генерации. Для каждого латентного изображения выполняется по 4 шага с разными подсказками (prompt). Размер фона составляет 1920x1088, а каждого объекта — 384x768. После этих 4 шагов изображения остаются очень шумными. Затем объекты вставляются на фон с небольшим размытием краёв. Оставшиеся шаги генерации выполняются уже на объединённом изображении.

Эти примеры созданы с помощью модели WD1.5 beta 3 illusion.

Пример с изменённым расположением объектов:

Можно заметить, что объекты, объединённые из разных шумных латентных изображений, действительно взаимодействуют между собой, так как в подсказке было указано “держатся за руки”. Также видно, что фон остаётся очень стабильным, что демонстрирует эффективность этого метода.

У данного подхода есть некоторые ограничения: например, он не позволяет точно контролировать детали, такие как цвет глаз, но хорошо подходит для управления расположением объектов, их позой и основными цветами.