Простое применение IPAdapter (расширенный)(ipadapterApplyAdvanced)

Узел Простое применение IPAdapter (расширенный) применяет IPAdapter к базовой модели с широким набором элементов управления для композиции эмбеддингов, маскирования внимания, силы LoRA, выбора провайдера, кэширования и мозаичной обработки. Он создан как гибкий, универсальный узел применения IPAdapter, который может работать с пресетами в стиле FaceID и расширенными рабочими процессами.

Входы

Обязательно

• model (MODEL): Базовая диффузионная модель, к которой будет применён IPAdapter.
• image (IMAGE): Эталонное изображение, используемое в качестве промпта изображения. Это изображение определяет содержимое и стиль, внедряемые в модель.
• preset (COMBO): Выбирает конфигурацию пресета IPAdapter. Доступные варианты зависят от установленных пресетов/моделей IPAdapter (например, standard, Plus, варианты FaceID и т.д.).
• lora_strength (FLOAT, default = 0.6, range 0–1): Сила LoRA, связанной с выбранным пресетом. Это особенно важно для пресетов в стиле FaceID, которые используют LoRA для сохранения идентичности. 0 отключает эффект LoRA, а 1 применяет полную силу LoRA.
• provider (COMBO, default = "CUDA", options: CPU, CUDA, ROCM, DirectML, OpenVINO, CoreML): Провайдер вычислений, используемый для операций InsightFace/FaceID. Выберите провайдера, который соответствует вашему оборудованию и среде выполнения.
• weight (FLOAT, default = 1, range -1–3): Глобальная сила влияния IPAdapter на модель. Более высокие значения усиливают эффект; отрицательные значения могут инвертировать влияние.
• weight_faceidv2 (FLOAT, default = 1, range -1–5): Дополнительный вес специально для пресетов FaceID v2. Используйте его для точной настройки сходства лиц при использовании пресета FaceID v2.
• weight_type (COMBO): Определяет, как вес IPAdapter применяется в процессе денойзинга. Разные методы создают разные кривые нарастания влияния.
• combine_embeds (COMBO, options: concat, add, subtract, average, norm average): Метод объединения эмбеддингов изображений, например, когда предоставлены и позитивное, и негативное изображения, или когда присутствует несколько эмбеддингов.
• start_at (FLOAT, default = 0, range 0–1): Точка начала цикла денойзинга, с которой IPAdapter начинает применять своё воздействие. 0 означает с самого первого шага.
• end_at (FLOAT, default = 1, range 0–1): Конечная точка цикла денойзинга, на которой IPAdapter перестаёт применять своё воздействие. 1 означает, что он остаётся активным до последнего шага.
• embeds_scaling (COMBO, options: V only, K+V, K+V w/ C penalty, K+mean(V) w/ C penalty): Управляет тем, как эмбеддинги изображений проецируются в механизм внимания модели. Различные режимы масштабирования влияют на баланс между ключами и значениями.
• cache_mode (COMBO, default = "all", options: insightface only, clip_vision only, ipadapter only, all, none): Определяет, какие промежуточные результаты кэшируются для повторного использования. Кэширование повышает производительность при многократном применении IPAdapter.
• use_tiled (BOOLEAN, default = false): Включает мозаичную обработку для больших изображений, снижая использование памяти за счёт некоторых накладных расходов или компромиссов по качеству.
• use_batch (BOOLEAN, default = false): Обрабатывает входные изображения пакетно, а не по отдельности, что может быть полезно при одновременном применении нескольких промптов изображений.
• sharpening (FLOAT, default = 0, range 0–1): Применяет повышение резкости к входному изображению перед извлечением признаков. Более высокие значения могут повысить детализацию и чёткость.

Необязательно

• image_negative (IMAGE, optional): Негативное эталонное изображение. Его эмбеддинги объединяются с основным изображением с помощью режима combine_embeds, чтобы помочь увести генерацию от нежелательных признаков.
• attn_mask (MASK, optional): Маска внимания, которая ограничивает влияние IPAdapter определёнными областями изображения. Области вне/внутри маски могут контролироваться в зависимости от семантики маски.
• clip_vision (CLIP_VISION, optional): Модель CLIP Vision, используемая для кодирования входного изображения. Если не указана, используется модель, связанная с выбранным пресетом/IPAdapter.
• optional_ipadapter (IPADAPTER, optional): Уже настроенный объект IPAdapter. Используйте его, чтобы переиспользовать ранее загруженный или настроенный адаптер вместо создания нового из пресета.
• layer_weights (STRING, default = ""): Необязательная строка для точного управления вкладом отдельных слоёв IPAdapter. Оставьте пустым для поведения слоёв по умолчанию.

Выходы

• MODEL: Изменённая модель с применённым IPAdapter. Подключите её к семплеру или другим узлам обработки моделей.
• IMAGE: Обработанное изображение со стадии ввода/предварительной обработки IPAdapter. Его можно использовать для проверки или передать другим узлам.
• MASK: Маска внимания, используемая узлом, после внутренней обработки. Полезна для отладки или повторного использования итоговой маски в последующих узлах.
• IPADAPTER: Настроенный объект IPAdapter. Вы можете переиспользовать этот адаптер в других совместимых узлах, чтобы не создавать его заново.

Примечания по использованию

• Настройки provider и lora_strength особенно важны для пресетов в стиле FaceID. Убедитесь, что выбранный провайдер соответствует вашей установке InsightFace, а сила LoRA сбалансирована для сохранения идентичности без искажения сгенерированного результата.
• Используйте start_at / end_at, чтобы управлять тем, когда влияние IPAdapter проявляется в процессе денойзинга. Применение IPAdapter только на более поздних шагах может сохранить больше свободы композиции, в то время как более раннее применение даёт более сильный общий эффект.
• combine_embeds становится актуальным, когда предоставлен image_negative. Такие режимы, как concat и average, могут давать очень разное поведение управления генерацией.
• Включите use_tiled, если у вас возникают проблемы с памятью при использовании эталонных изображений или масок внимания высокого разрешения.
• cache_mode = "all" рекомендуется при повторном использовании одного и того же адаптера или эталонного изображения в нескольких k-семплерах. Установите его в "none", если использование памяти вызывает беспокойство или ваш рабочий процесс использует множество различных входных данных.
• Выходы IMAGE и MASK предназначены для отладки или для включения в рабочие процессы, которым необходимо визуализировать или пост-обработать эталонное изображение и маску внимания.