LoRA Character Swap для MiniMax H3: замена персонажа

Кадр исходного видео	Референс листа персонажа	Цель датасета: подставленный персонаж

Пример обучения из опубликованного датасета: кадр источника, лист персонажа и отредактированная цель, которую LoRA учили создавать. Источник: H3 Character Swap v1.

Задача шире, чем перенос личности. H3 FaceSwap LoRA переносит лицо на игру, уже имеющуюся в клипе; этот адаптер копирует всего персонажа-замену целиком, включая его одежду и технику отрисовки, одновременно сохраняя технику отрисовки исходной сцены. Именно это делает возможной замену между стилями: нарисованный персонаж, перенесённый в реальное видео, сохраняет свой нарисованный вид, и 34 из 94 обучающих правок были созданы именно так.

Что содержит датасет

Akatz Labs обучили адаптер на H3 Character Swap v1, датасете с условием по референсу, опубликованном вместе с весами:

• 134 примера: 94 правки с заменой персонажа и 40 клипов на сохранение. В обучении использовались 76 правок и 32 клипа, 18 правок и 8 клипов отложены для проверки.
• Каждая правка построена как одно неподвижное изображение. Сцена поставляется как статичное видео из пяти кадров (<Video 1>), замена приходит как изображение персонажа или лист персонажа (<Picture 1>), и каждая пара сопровождается короткой инструкцией по наведению, например Swap the man in the purple shirt in <Video 1> with the character in <Picture 1>.
• Покрытие кросс-стилевых замен и листов персонажей. 34 правки меняют стиль отрисовки, а 20 используют полные листы персонажей, при этом портретные, квадратные и горизонтальные листы сохранялись в исходном соотношении сторон.
• Клипы регуляризации это явные примеры сохранения. Одно и то же видео используется и как контроль, и как цель, с подписью Keep <Video 1> unchanged.
• По одному персонажу за раз. Замены нескольких персонажей не контролировались в обучающих целях.

Сам адаптер представляет собой LoRA ранга 16 объёмом 148 МБ, обученную за 1000 обновлений на прореженной INT8-базе Ref2VA из Comfy-Org/MiniMax-H3 с помощью ассистента обучения Ostris. Опубликован только финальный чекпоинт, а лаунчер обучения и конфигурация запуска лежат в репозитории в каталоге training/.

Больше примеров

Кадр исходного видео	Портретный референс персонажа	Цель датасета: подставленный персонаж

Вторая обучающая пара: здесь условие задаётся портретным референсом, а не листом персонажа.

Что получается хорошо, а где всё ломается

Собственное сравнение автора с базовой моделью довольно узкое, и его стоит прочитать перед загрузкой:

• Сохранение сцены улучшилось. При сравнении бок о бок адаптер сохранял фон и структуру сцены ближе к источнику, чем базовая модель, но автор называет эти обзоры качественными, а не бенчмарком.
• Длинные клипы уходят в дрейф. Кадрирование, положение и тайминг источника «плывут» на длинных отрезках, а резкие склейки могут выродиться в медленное перепозиционирование вместо правки.
• Мимика ненадёжна. Выражения лица на крупных планах часто не следуют за оригинальной игрой, а более сильные инструкции по мимике иногда полностью подавляли замену.
• Короткие клипы это оптимальный вариант. Непрерывные кадры длительностью от 4 до 5 секунд держались лучше, чем полные 14-секундные попытки автора; точная максимальная длительность не установлена.
• Нет триггерного слова. Наведение задаётся промптом, и карточка прямо указывает, что формулировка промпта не гарантирует строгого соответствия источнику.

Тестировщики Banodoco наткнулись на ту же стену. Чарли провёл десятисекундный тест адаптера на гибридной модели H3 FL2VA/Ref2VA и сообщил, что тот продержался около пяти секунд, а 15-секундная попытка превратилась в размытый кадр; другой тестировщик отметил, что позу и действие исходного человека всё равно приходится описывать в промпте, иначе замена не скопирует движение.

Причина дрейфа структурная: поскольку каждая цель правки была неподвижным изображением, модель ни разу не видела движущейся цели с заменой персонажа, показывающей, как удерживать игру во времени. Akatz Labs подали заявку в программу грантов на вычисления Banodoco с этим диагнозом и получили одобрение на 40 часов H100, чтобы отснять от 12 до 24 пар движущихся видео, охватывающих мимику, склейки, перекрытия и более длинные последовательности, а также сравнить текущее условие по референсу с явно выровненными латентными позициями источника и цели.

Запуск в ComfyUI

Адаптер представляет собой одну LoRA только для модели, без зависимостей от нод:

1. Скачайте h3_character_swap_pro4500_1000.safetensors в ComfyUI/models/loras/.
2. Соберите или откройте рабочий процесс MiniMax H3 Ref2VA и укажите в нём прореженную INT8-базу Ref2VA, её текстовый энкодер и видео- и аудио-VAE H3.
3. Примените LoRA со strength 1.0 через загрузчик LoRA только для модели.
4. Загрузите клип, который хотите сохранить, как <Video 1>, а замену как <Picture 1>, затем назовите целевого человека в промпте, например:

Replace only the man in the purple shirt in <Video 1> with the character in <Picture 1>.
Keep the replacement character's identity, outfit, and art style from <Picture 1>.
Preserve the source video's camera, background, lighting, objects, and all other people.
Match the target person's position, scale, pose, and movement.
Do not show the reference sheet or its background.

Карточка рекомендует 24 fps с поддерживаемой в H3 сеткой кадров и короткие непрерывные кадры вместо длинных. В ней отмечено, что адаптеру для работы не требуются Turbo LoRA, Spectrum или внимание Sol, а сочетание с 8-шаговой Turbo LoRA было выбором при оценке, а не заявлением о совместимости.

Доступность

• Веса LoRA: akatz-ai/MiniMax-H3-Character-Swap-LoRA

• Датасет обучения и происхождение: akatz-ai/H3-Character-Swap-v1
• Конфигурация обучения и лаунчер: training/ в репозитории с весами
• Базовая модель: Comfy-Org/MiniMax-H3