SnapRef v2a: вес для каждого референсного фото для Anima в ComfyUI

ComfyUI Wikinews

Стабильный SnapRef v2a добавляет вес для каждого референсного фото и два пресета режимов для Anima, а также шесть рабочих процессов ComfyUI и FP8-вариант на 195 МБ.

SnapRef v2a это стабильный релиз референсного адаптера для Anima, который мы разбирали как SnapRef v1a. Та же нода, та же идея: одно или несколько фото персонажа, а промпт описывает только сцену. Новое здесь: вес для каждого референса и шесть рабочих процессов, пересобранных под эти веса.
SnapRef v2a: четыре референсных персонажа, помещённых в музей, на дождливую станцию и в сад

Четыре референса, три промпта сцены. Оранжевые контуры отмечают входы; в промптах не назван ни один персонаж и нет тегов внешности.

Что изменилось по сравнению с v1a

  • Вес для каждого референса. В раскладке separate каждое фото получает собственный вес, по умолчанию 1.0, а 0 отключает его. Второе фото с весом 0.4 слегка подправляет облик, а не перехватывает его.
  • Два режима в простой ноде. Character & Style переносит и рендеринг референса, Character берёт только персонажа, так что облик определяют теги художника и слова стиля.
  • Шесть рабочих процессов, включая двух персонажей, и сравнение весов референсов, которое поставляется со своими промптами и сидами.
Вес второго референса 0.4
Два фиксированных сида на строку: один референс, второй референс с весом 0.4, затем 1.0. На одной и той же паре 1.0 не всегда даёт лучший результат.

Как запустить

  1. Установите Anima base v1.0 вместе с текстовым энкодером и VAE.
  2. Скопируйте comfyui/snapref/ из репозитория в ComfyUI/custom_nodes/snapref/ и перезапустите ComfyUI.
  3. Положите snapref_v2a.safetensors в ComfyUI/models/loras/. Используйте ноду SnapRef, а не LoraLoader: файл содержит две ветки LoRA под одним ключом, и обычный загрузчик LoRA не прочитает его правильно.
  4. Откройте рабочий процесс ниже, перетащите фото в слот изображения внутри ноды и напишите только сцену.

Простой граф выполняет 28 шагов, Euler с simple, CFG 4.5 и fidelity 1.0 при 832 x 1216. Для двух видов одного персонажа второй рабочий процесс задаёт второй вес 0.4:

FP8-файл занимает 195 МБ вместо 382 МБ. Он хранит матрицы E4M3FN с построчными масштабами, и нода восстанавливает их в bf16 при загрузке, поэтому изображения могут немного отличаться от полных весов.

Чего ожидать

Акварель, аниме 1990-х и плоская заливка из одних и тех же двух референсов

Режим char, совпадающие сиды по строкам: референс даёт персонажа, промпт даёт стиль.

Persica и Mia: один референс против двух, совпадающие промпт и сид

Второй вид добавляет одежду и силуэт. Вес 1.0 для Persica, 0.4 для Mia, это выбранные примеры, а не средний результат.

На фиксированной оценке авторов (64 случая, два сида) v2a идёт наравне с v1a, а не впереди: recall тегов внешности 0.8722 против 0.8727, head SigLIP 0.8989 против 0.8903, расстояние CCIP по полному изображению 0.0725 против 0.0757. Их качественная оценка: лучшее следование референсу, и карточка по-прежнему отмечает яркие лица на референсе как слабое место для деталей лица. Метрики зависят от кадрирования, позы и детекции лиц, так что относитесь к ним как к проверке здравого смысла.

Если v1a уже даёт нужного персонажа, нет причин переходить только ради точности. Причины перейти: веса для каждого референса и рабочие процессы, настроенные под v2a.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
SnapRef v2a: вес для каждого референсного фото для Anima в ComfyUI | ComfyUI Wiki