MiniMax H3 получил LoRA VBVR для согласованности движения и объектов

Licon VBVR: это image-to-video LoRA для MiniMax H3, опубликованная Licon Studio 23 октября (Hugging Face). Адаптер обучен на данных VBVR, переработанных под H3, и нацелен на типы ошибок, которые проявляются, когда клип должен удерживать несколько объектов во времени: непреднамеренные копии одного и того же объекта, пересечение тел с реквизитом и действия, происходящие в неправильном порядке.

Кадры из собственного валидационного клипа проекта. Источник: Licon VBVR

В релизе шесть валидационных кейсов, каждый с входным первым кадром, точным промптом и парой кадров рядом, отрендеренных с одним и тем же seed с LoRA и без неё. Два примера ниже: 864x480, 384 кадра, по 12,25 секунды каждый.

В кейсе с кухней модель должна промыть один зелёный болгарский перец, нарезать его на куски и переложить их в сковороду, сохраняя те же куски на протяжении всей последовательности. В кейсе с гостиной нужно выполнить два перемещения в заданном порядке: сначала журнал на нижнюю полку, затем синий пульт рядом с телевизором, а все остальные объекты остаются на своих местах. Оба промпта описывают действие шаг за шагом и запрещают лишние объекты: именно такие инструкции LoRA и должна фактически выполнять.

Базовая MiniMax H3 на промпте с кухней.

Тот же промпт и seed с загруженной LoRA VBVR.

Что VBVR добавляет к LoRA

VBVR (A Very Big Video Reasoning Suite) это линейка датасетов для видео-рассуждений: клипы, построенные вокруг проверяемой задачи, например отслеживание объекта сквозь окклюзию, упорядочивание объектов по правилу или продолжение последовательности форм, причём промпт точно описывает задачу. Публичный SFT-сплит (VBVR-Pro-SFT-Video) это большой набор таких клипов, а код обучения и бенчмарк являются отдельными проектами.

Автор перестроил эти данные вокруг собственного пайплайна H3, адаптировав подготовку и предобработку к тому, как обучается H3, вместо обучения в формате другой модели. В заголовке LoRA указано 434 894 элемента обучения за 7 000 шагов при 1280x720, ранг 16, скорость обучения 5e-05 с косинусным затуханием, и она нацелена только на четыре проекции в каждом блоке: attn.qkv_proj, attn.out_proj, mlp.fc1 и mlp.fc2. Супервизия только по видео, вес аудио-лосса установлен в ноль, поэтому LoRA не затрагивает аудио-ветвь, которую H3 генерирует вместе с кадрами.

Размер адаптера 149 МБ, что для H3 немного и согласуется со сборкой ранга 16. В метаданных обучения в качестве базового checkpoint указан minimax_h3_fl2va_bf16.safetensors, поэтому его следует ставить на базу FL2VA, а не на T2VA.

Использование в ComfyUI

Ничего устанавливать не нужно. Поместите H3-Licon-VBVR-I2V.safetensors в ComfyUI/models/loras/ и выберите его в ноде LoraLoaderModelOnly рабочего процесса image-to-video для H3.

Файл использует именование kohya (lora_unet_blocks_0_attn_qkv_proj.lora_up.weight и так далее), которое штатный загрузчик LoRA в ComfyUI напрямую сопоставляет с именами блоков H3, поэтому скрипт конвертации или пользовательская нода не нужны. Проект не публикует JSON рабочего процесса; подойдёт любой существующий рабочий процесс H3 с первым кадром, а LoRA применяется как обычный патч модели.

Ограничения

Сравнения качественные и исходят от автора. Таблицы бенчмарков и ablation по силе LoRA нет, поэтому насколько эффект сохраняется при меньшей силе, не задокументировано. Все шесть валидационных клипов это фотореалистичные интерьерные сцены 864x480 с одним или двумя объектами, с которыми выполняют действия, что уже, чем набор задач в обучающем наборе. Как и с любой LoRA для H3, аудио-ветвь не затронута, поэтому звук такой, какой выдаёт базовая модель.

Доступность

LoRA доступна на Hugging Face вместе со всеми шестью валидационными парами и их промптами. Та же лаборатория ранее опубликовала LoRA VBVR для LTX-2.3 и готовую для ComfyUI сборку VBVR для Wan 2.2, а ранее в этом году выпустила мультисубъектную reference-LoRA MSR-v2, описанную в Licon MSR-v2.