Krea 2 Edit V2: две LoRA и размещение референсов в ComfyUI

ComfyUI Wikinews

Krea 2 Identity Edit V2 и General Edit V2 поставляются как отдельные LoRA, добавляя размещение референсов в пакет нод ComfyUI-Krea2Edit для ComfyUI.

Conradlocke опубликовал второе поколение LoRA для редактирования Krea 2 16 октября, и самое крупное изменение структурное: то, что раньше было одной LoRA, теперь два отдельных веса с разными задачами. Krea 2 Identity Edit V2 переносит человека с одной фотографии в новую сцену, позу, одежду или освещение, а Krea 2 General Edit V2 отвечает за обычные правки по инструкции: удаление объектов, изменение цвета, изменение освещения, замену фона, добавление объектов, переписывание текста на вывесках и рестайлинг.

Сопутствующий пакет узлов ComfyUI-Krea2Edit одновременно обновился до v2.0.0. Обе LoRA доступны на Hugging Face вместе с ранее выпущенными весами v1, v1.1 и v1.2, которые продолжают работать с новыми узлами. О выпуске v1 рассказывалось в оригинальной статье о Krea 2 Identity Edit.

Krea 2 Identity Edit V2: неоновая перестановка

Постановка по одной фотографии с новой одеждой и неоновым освещением. Источник: conradlocke

Обе LoRA обучены на Krea 2 Raw, 12.9B single-stream MMDiT, и работают как на Raw, так и на Turbo. Им по-прежнему нужен пользовательский пакет узлов, поскольку они обучены с двойным условием, которое стандартные узлы не обеспечивают: исходное изображение входит как in-context VAE-токены, а также в текстовый энкодер Qwen3-VL, который использует Krea 2.

Две LoRA вместо одной

LoRAФайлДля чего
Krea 2 Identity Edit V2krea2_identity_edit_v2.safetensorsСохранение сходства человека при изменении позы, камеры, сцены, одежды и освещения
Krea 2 General Edit V2krea2_general_edit_v2.safetensorsРедактирование по инструкции: удалить, перекрасить, изменить освещение, заменить фон, добавить объекты, изменить текст, изменить стиль

Обе входят в полный файл, а также доступны версии со сниженным рангом ..._v2_r128 (0,91 ГБ) и ..._v2_r64 (0,46 ГБ) для видеокарт с небольшим объёмом VRAM. Автор описывает версии со сниженным рангом как почти идентичные по качеству.

Identity Edit V2

Модель идентичности является преемником линейки v1.x: на входе одно фото человека, на выходе этот человек где угодно. Автор перечисляет перенос в новые сцены, изменение поз и ракурсов камеры, изменение гардероба, описанное простым языком, изменение освещения с учётом того, куда свет реально падает на лицо, композиционирование человека в существующую сцену, создание групповых фото по одному человеку за раз, а также создание листа персонажа (turnaround sheet) из фото или фото из листа.

Identity Edit V2: перенос в новую сцену и изменение освещения. Источник: conradlocke

Перенос в полный рост на гребнеЛист персонажа из одного фотоДве ссылки, одна сцена
Перенос в полный ростЛист персонажа из одного фотоДве ссылки, одна сцена

Рекомендуемые настройки для Identity Edit V2:

ПрименениеМодельШагиCFGref_boostgrounding_pxРазмещение
Перенос одного человека, одна ссылкаTurbo81.02768beside или aligned
Добавление человека в сцену (сцена = изображение 1, человек = изображение 2)Turbo81.0человек 2-3, сцена 1768сцена aligned, человек beside
Портреты с сохранением лица, сохранить кадрирование фотоTurbo81.01-2768aligned

Автор утверждает, что здесь промпт важнее настроек. Три правила из карточки модели: указывайте, насколько человек виден, потому что «standing on a ridge» обычно копирует поясной кроп со ссылки, а «in muddy leather boots on a ridge» даёт всё тело; описывайте новый наряд конкретно и говорите, что должно исчезнуть, поскольку модель опирается на одежду с фото; и описывайте свет через то, куда он падает, а не через название эффекта, например «a magenta sign paints the left half of her face pink» вместо «neon lighting».

Добавление человека в существующую сцену

Человек, композиционированный в существующую комнату: ссылка на сцену остаётся aligned, ссылка на человека идёт beside. Источник: conradlocke

General Edit V2

Второй LoRA охватывает задачи редактирования, с которыми модель идентичности никогда хорошо не справлялась. Он принимает изображение и простое указание и сохраняет всё, что не просили менять: удаление объекта или человека, перекраску, изменение освещения, смену сезона, замену фона, добавление объекта, переписывание текста на табличке, смену одежды, перестилизацию изображения в аниме или превращение фотографии наряда в продуктовый флэт-лей.

Правки по инструкциям General Edit V2. Источник: conradlocke

Удалить человекаСменить сезонПереписать текст на табличке
Удаление объектаСмена сезонаПереписывание текста на табличке
Изменить освещениеНаряд в флэт-лейГрупповое фото, собранное по одному человеку за раз
Изменение освещенияНаряд в продуктовый флэт-лейГрупповое фото, добавленное по одному человеку за раз
ЗадачаМодельШагиCFGref_boostgrounding_px
Большинство правокTurbo81.04768
Удаления и крупные удаленияRaw203.04768

При CFG выше 1 негативная сторона тоже должна быть заземлена, с пустым промптом на том же изображении. Автор также отмечает, что модель идентичности не является универсальным редактором: она склонна игнорировать удаления, перекраски и изменения камеры, поэтому они относятся к General Edit V2.

Размещение референса

v2.0.0 добавляет два входа в Krea2EditModelPatch. Они добавлены в конец, поэтому сохранённые рабочие процессы сохраняют свои связи, а значения по умолчанию в точности воспроизводят прежнее поведение.

  • ref_position задаёт положение последнего референса: человека в рабочем процессе с двумя изображениями или единственного изображения.
  • ref_position_a задаёт положение первого референса: сцены в композите.

Есть три режима. aligned (trained) закрепляет референс на макете выхода: именно так обучались обе модели, и это режим по умолчанию. beside (right of target) помещает референс рядом с холстом: идентичность по-прежнему передаётся, но привязка к макету исчезает, поэтому человека можно свободнее переставить. bag of features это экспериментальный режим, который даёт всем токенам референса одну позицию; рекомендованного применения у него пока нет. Проверенная автором комбинация для композитов: сцена в режиме aligned плюс человек в режиме beside; автор отмечает, что beside хорошо показывает себя в тестах, но является новым, поскольку модели обучались только с aligned.

Размещение референса определяет, насколько строго макет выхода следует за референсом. Источник: conradlocke

Одновременное использование обеих LoRA

Две LoRA имеют общее происхождение, поэтому загрузка обеих с силой 1.0 даёт чистый шум. Если рабочему процессу нужны оба поведения, автор рекомендует примерно по 0.6, что в тестах сохраняет сходство модели идентичности вместе с удалениями и перекрашиваниями общей модели. В остальных случаях правило таково: одна LoRA на задачу, и одновременно нужно загружать только одну из двух.

Ограничения

В карточке модели её ограничения указаны прямо. Identity Edit V2 игнорирует удаления, перекрашивания и изменения камеры; одежда с референсного фото переносится, поэтому пальто и водолазки нужно явно указывать как удалённые; объекты с референса иногда проникают в перестроенную сцену, например свеча с исходного стола; замена головы, как правило, превращается в замену всего человека, включая одежду заменяемого; восстановление лиц низкого разрешения и outpainting ненадёжны; а группы работают путём добавления людей по одному, примерно до семи, после чего кадр заполняется и люди начинают заменять друг друга. Автор рекомендует генерировать при разрешении 2MP или ниже.

Доступность

Установите пакет узлов из custom_nodes и перезапустите ComfyUI:

cd ComfyUI/custom_nodes
git clone https://github.com/lbouaraba/comfyui-krea2edit

Требуется версия ComfyUI с нативной поддержкой Krea 2, Krea 2 Raw или Turbo, текстовый энкодер Qwen3-VL 4B, используемый Krea 2, и один или оба файла LoRA V2. Дополнительные зависимости Python не требуются. Узлы также доступны в ComfyUI Registry под именем comfyui-krea2edit.

Krea2EditModelPatch отвечает за условие: source_latent для редактируемого изображения и необязательный source_latent_b для второго референсного изображения, а также элементы управления fit_mode, ref_boost и размещением. Krea2EditGroundedEncode выполняет кодирование инструкции с привязкой к изображению и передаёт то же изображение через CLIP Krea 2, загруженный с типом krea2; grounding_px служит регулятором качества: меньшие значения заставляют точнее следовать инструкции, а большие сильнее сохраняют сходство.

Автор также опубликовал код обучения как krea2edit-trainer, расширение ai-toolkit, согласованное с геометрией узлов, с измеренными требованиями к VRAM на потребительских GPU.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
Krea 2 Edit V2: две LoRA и размещение референсов в ComfyUI | ComfyUI Wiki