Как делать инпейтинг изображения в ComfyUI

Инпейтинг изображения — это процесс изменения определённых частей изображения при сохранении остальных без изменений, например:

• Удаление объектов с фотографии
• Изменение деталей человека (выражение лица, одежда)
• Смена цвета одежды и так далее.

Все эти задачи можно выполнить с помощью инпейтинга. В этой статье показан базовый рабочий процесс (workflow) инпейтинга. Официальный пример с использованием VAE Inpainting Encoder можно найти в Официальном workflow инпейтинга ComfyUI. Однако в этом руководстве я покажу инпейтинг с помощью Set Latent Noise Mask.

В этом уроке основное внимание уделяется изменению цвета глаз и выражения лица человека на изображении.

Подготовка перед началом работы с инпейтингом (необязательно)

В этом workflow используется следующая модель, но это не обязательно, если у вас уже есть любая модель SD1.5 на компьютере:

После скачивания, пожалуйста, сохраните файл модели в следующей директории:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5                                  // Создайте новую папку SD1.5
│   │       └── dreamshaper_8.safetensors            // Поместите сюда файл DreamShaper v8

Материалы для рабочего процесса (workflow) инпейтинга

Пожалуйста, скачайте изображение ниже и нажмите кнопку для загрузки файла рабочего процесса (workflow).

Объяснение рабочего процесса (workflow) инпейтинга

После открытия ComfyUI перетащите файл рабочего процесса (workflow) в интерфейс ComfyUI или используйте меню для его загрузки.

1. В позиции 1 загрузите модель DreamShaper v8 или любую другую модель, которая есть на вашем компьютере.
2. В позиции 2 используйте Load Image, чтобы загрузить изображение, предоставленное на предыдущем шаге.

Нарисуйте маску на области, которую хотите изменить с помощью инпейтинга. Для подробной инструкции по рисованию маски обратитесь к руководству по использованию Mask Editor.

3. Измените текст в позиции 3 в узле CLIP Text Encode. В моём примере используется smile, black eyes, close mouth — вы можете изменить этот текст на любой другой по своему желанию.

4. Используйте кнопку Queue или сочетание клавиш Ctrl(Command)+Enter, чтобы запустить рабочий процесс (workflow) и сгенерировать изображения. Возможно, потребуется несколько попыток для получения удовлетворительного результата.

Вы также можете попробовать оптимизировать результат, используя следующие положительные и отрицательные подсказки (prompts) для сравнения различных эффектов генерации.

Положительные подсказки (Positive Prompts):

black eyes，smile, 1girl, upper body portrait, front view, symmetrical face, detailed face, intricate jewelry, ornate hair ornament, elegant chinese dress,, black hair, long hair, earrings, forehead mark, facial mark, hair flower, flower accessory, looking at viewer, expressionless, soft lighting, depth of field, blurry background，```

Отрицательные подсказки (Negative Prompts):

blurry, low quality, cropped, extra limbs, disfigured face, deformed, watermark, text, multiple girls, exaggerated features, side view, profile, asymmetrical face, turned head, looking away

5. Попробуйте изменить различные параметры шумоподавления (denoise), чтобы увидеть разные эффекты генерации, начните с небольшого значения, например 0.1