MiniMax H3 Transformation LoRA: морфинг между двумя изображениями

Tr@nsf0rmation_style (Hugging Face) это LoRA от сообщества для MiniMax H3, которая превращает одно изображение в другое. Получив начальный кадр и целевой кадр, она разбирает первую сцену элемент за элементом и собирает фрагменты во вторую: объекты растворяются друг в друге, материалы меняются по мере движения, а контуры перерисовываются по ходу. Ashmotv опубликовал веса 25 сентября вместе с двумя чекпойнтами, десятью примерами клипов и форматом промпта, который ожидает адаптер.

Кадр сцены трансформации с несколькими элементами, сгенерированной с помощью MiniMax H3 transformation LoRA

Кадр из одного из демонстрационных клипов, где каждому объекту на первом изображении назначен собственный аналог во втором.

Что она делает

Путь первого и последнего кадра в MiniMax H3 обычно читает два изображения как концы одного непрерывного кадра: камера или объект движется, а сцена остаётся узнаваемо той же. Этот адаптер делает два кадра начальным и конечным состоянием. Всё между ними это переход, и модель обучена переносить через него отдельные визуальные элементы, а не выполнять кроссфейд всего изображения.

Поскольку соответствия прописаны в промпте, одно движение может нести сразу несколько трансформаций. В примере ниже человек в серой футболке становится девушкой со второго изображения, человек в жёлтой футболке становится жёлтой травой, а человек в зелёной футболке становится пустым фоном, и всё это внутри одного клипа.

Формат промпта

Адаптер использует триггерное слово и связку действия, и работает лучше всего, когда промпт называет, как каждый объект, материал или элемент превращается в свой аналог:

Триггерное слово: Tr@nsf0rmation_style
Связка действия: Tr@nsf0rmation into

Рекомендуемый шаблон:

integrated_multimodal_description: [Shot 1] Tr@nsf0rmation_style, Picture 1 Tr@nsf0rmation into Picture 2 with individual elements and subjects Tr@nsf0rmation into one another.

Более конкретный пример из карточки модели:

integrated_multimodal_description: [Shot 1] Tr@nsf0rmation_style, Picture 1 Tr@nsf0rmation into Picture 2 with individual elements and subjects Tr@nsf0rmation into one another. The bald person in grey T-shirt and blue jeans from <Picture 1> Tr@nsf0rmation into the Girl in <Picture 2>. The person in the Yellow shirt from <Picture 1> Tr@nsf0rmation into the yellow grass from <Picture 2>. The person in the green shirt from <Picture 1> Tr@nsf0rmation into the blank background in <Picture 2>.

Примеры

Пересборка сцены с несколькими элементами: каждый человек с первого изображения превращается в отдельный элемент второго.

Прямое визуальное преобразование между двумя сценами.

Эволюция карандашного штриха с использованием более конкретного варианта промпта, где отдельные штрихи превращаются друг в друга.

Ещё семь клипов, охватывающих плавные переходы, семантический морфинг, сложные замены объектов и высокоточный поток, есть на карточке модели.

настройка	значение
базовые веса	MiniMax H3 FL2VA или Ref2V, например `minimax_h3_fl2va_pruned_int8_convrot.safetensors` из Comfy-Org/MiniMax-H3
чекпойнты	`Transformation_style_c1-st2500` полностью сошедшийся, `-st1600` мягче и легче
сила LoRA (st2500)	от 1.0 до 1.2
сила LoRA (st1600)	от 1.0 до 1.4
составная схема	st2500 на 1.2 плюс st1600 на 1.4, использовалась для демонстрационных клипов
СЭМПЛЕР / планировщик	`res_multistep` или `euler` с `simple`; ResMultistep даёт наиболее стабильные переходы
шаги	12 с DMD turbo адаптером либо от 25 до 30 стандартно
sigma shift	`shift_video` 8.0 и `shift_audio` 3.0
разрешение	852 × 480 или 1024 × 576, с апскейлом до 1080p

Запуск в ComfyUI

Файлы распространяются в именовании ComfyUI (Transformation_style_*_comfyui.safetensors), поэтому пользовательские ноды не требуются:

Скачайте нужный чекпойнт в ComfyUI/models/loras/.
Добавьте ноду LoraLoaderModelOnly после вашего загрузчика UNet MiniMax H3 и задайте strength_model в пределах от 1.0 до 1.2.
Подайте начальное изображение и изображение-цель в ноды conditioning первого и последнего кадра.
Напишите промпт с триггером Tr@nsf0rmation_style и связкой Tr@nsf0rmation into, как показано выше.

Доступность

Веса LoRA: Ashmotv/transformation_lora
Перепаковка базовой модели: Comfy-Org/MiniMax-H3

Скачать Transformation_style_c1-st2500_comfyui.safetensors (36 MB)