MiniMax H3 ORB360: 360-градусная орбита камеры и LoRA CardSpin
LoRA ORB360 от MATLOW дают MiniMax H3 Ref2VA полный оборот камеры вокруг застывшего объекта и вариант CardSpin, поворачивающий саму фотографию в пространстве.
ORB360_CW проводит камеру полный оборот по часовой стрелке вокруг объекта, который остаётся неподвижным, а файлы CardSpin поворачивают саму референсную фотографию в пространстве, словно тонкую физическую карточку. Первые файлы появились 28 сентября, а 30 сентября за ними последовали орбита step-1500 в более высоком разрешении и второй проход CardSpin.
Полный оборот вокруг кота в заснеженной сцене, сгенерированный из одной референсной фотографии. Источник: MiniMax-H3-ORB360-CardSpin.
Что делают LoRA
MiniMax H3 в режиме reference-to-video воспринимает входные изображения как референсы внешнего вида: этого достаточно для позы или образа, но не для движения камеры. ORB360 вместо этого обучает модель геометрии настоящей орбиты: один оборот, одно направление, неподвижный объект и камера, сохраняющая правдоподобную дистанцию и высоту. Остальная сцена остаётся там, куда её поместила фотография.
Орбита step-1500, 1024 x 768, 124 кадра, 20 шагов, seed 20260926.
CardSpin начинается с той же LoRA орбиты и добавляет 50 шагов обучения на одном сгенерированном клипе. В результате вращается уже не человек на фотографии. Модель трактует снимок как плоский объект и поворачивает его, что выглядит как отпечаток или карточка, висящая в пространстве.
CardSpin v2, та же фотография и seed, но с промптом card-spin.
Какой файл использовать
| Файл | Что это | Для чего использовать |
|---|---|---|
minimax_h3_orb360_step1500.safetensors | LoRA орбиты, 1500 шагов на Blender-рендерах высокого разрешения, высоты камеры от нижней до верхней, от одного до четырёх размеченных референсных изображений | Чистые 360-градусные орбиты, самая резкая из трёх |
minimax_h3_orb360_cardspin_v2_step50.safetensors | Шаг 1500 плюс 50 шагов card-spin | Вращение карточки, начиная с орбиты высокого разрешения |
minimax_h3_orb360_cardspin_step50.safetensors | CardSpin v1, построенный на более старой орбите с 750 шагами | Оригинальный релиз card-spin |
Клип ниже: случайность, из которой родился CardSpin. Тестируя LoRA орбиты на настоящих фотографиях вместо серых рендеров на однотонном фоне, на которых она обучалась, MATLOW подал ей портрет сэра Джона Гершеля 1867 года работы Джулии Маргарет Кэмерон, и модель решила, что вращать нужно фотографию, а не человека.
LoRA орбиты с 750 шагами на портрете XIX века. Источник: MiniMax-H3-ORB360-CardSpin.
Пятьдесят шагов на подписи к этому единственному клипу перенесли эффект на фотографии, которых обучение никогда не видело. Проход в высоком разрешении значит больше, чем кажется: орбита step-1500 примерно вдвое увеличивает количество мелких деталей по сравнению с версией на 750 шагах, тогда как 50 шагов card-spin смягчают всё, к чему прикасаются. Так что если нужна чистая орбита, CardSpin это не тот файл, к которому стоит обращаться.
| Белый кот 360, та же фотография, промпт, seed и длина | Орбита, шаг 750 | CardSpin v1 | ORB360, шаг 1500 | CardSpin v2 |
|---|---|---|---|---|
| Мелкие детали (дисперсия лапласиана) | 30.2 | 19.8 | 56.1 | 20.7 |
| Детализация относительно шага 1500 | 0.54x | 0.34x | 1.00x | 0.35x |
| Энергия краёв (Тененград) | 1098 | 809 | 1343 | 841 |
| Первый кадр против фотографии, PSNR / SSIM | 28.0 dB / 0.87 | 24.5 dB / 0.85 | 28.5 dB / 0.87 | 22.5 dB / 0.77 |
Кропы одних и тех же кадров в нативном разрешении, по одному столбцу на LoRA. Источник: MiniMax-H3-ORB360-CardSpin.
Насколько хорошо держится орбита step-1500
Автор протестировал шаг 1500 на трёх объектах, которые никогда не рендерились для обучения, по одному seed на каждый, сравнивая с Blender-рендерами истинной орбиты.
| Тест | Результат |
|---|---|
| Орбита на 20 градусах, три ракурса (0/120/240) | В пределах одного кадра (2,9 градуса) от истинной орбиты на каждом кадре |
| Орбиты снизу (30 и 10 градусов ниже центра, без пола) | Правильная высота на 118 до 124 из 124 кадров, один чистый оборот |
| Снимки сделаны с 45 градусов, орбита запрошена на 5 градусах | Низкая орбита на всех трёх объектах, большинство кадров в пределах от 5 до 10 градусов от цели |
| Высокая орбита (45 градусов) из одной фотографии спереди | Высокая орбита, от 30 до 45 градусов на большинстве кадров, невидимые стороны додуманы |
| Снимки сделаны с 45 градусов, орбита запрошена на 30 градусов ниже | Не удаётся, уходит обратно к высоте референсных фотографий |
| Изменение высоты в течение клипа, например с 45 сверху до 30 снизу | Не удаётся, объект кувыркается вместо движения камеры |
Эти числа получены на рендерах с серым фоном. На настоящих фотографиях орбита пока остаётся на высоте референсной фотографии, что автор называет главной нерешённой проблемой.
Использование LoRA в ComfyUI
Оба файла загружаются стандартной нодой Lora Loader в режиме только модели (model-only) со значением силы 1.0, на модели MiniMax H3 Ref2VA. Это LoRA в стиле kohya с ключами lora_unet_*, lora_down, lora_up и alpha, и все 200 модулей отображаются на веса MiniMax H3, которые ComfyUI уже загружает.
- Подайте референсное изображение в условие Ref2VA. С одной ссылкой модель воспринимает её как первый и последний кадр орбиты.
- Держите клипы на 124 кадрах и 24 fps. Промпты в репозитории содержат таймкоды вроде «at 1.708333 seconds (zero-based frame 41), 120 degrees», которые рассчитаны на такую длину.
- Вместе с весами поставляются четыре промпта: орбита по одной фотографии, сохраняющая собственное окружение снимка, вариант с тремя референсами для ракурсов спереди, 120 и 240 градусов, и два точных формата подписи, на которых обучался проход step-1500, взятых из отложенных тестов.
- Рабочие разрешения: 800 x 800, 1024 x 768 и 1152 x 768 в ландшафтной ориентации, а также 672 x 832 и 832 x 1024 в портретной.
- Подписи следуют схеме промпта Ref2VA от MiniMax и устанавливают оба аудиораздела в
N/A, что означает тишину. Без них H3 склонна придумывать звуковую дорожку.
Обучение
Обе стадии обучались с помощью musubi-tuner при ранге 32 и альфе 32, AdamW с постоянной скоростью обучения 1e-4, смешанной точностью bf16 и потерей только по видео, на одной NVIDIA RTX PRO 6000. Орбита step-1500 использовала 23 ассета, отрендеренных в Blender как 345 однооборотных орбит по часовой стрелке трёх длин; каждый клип появлялся в трёх строках обучения с разными референсными изображениями, что дало 960 строк и 1500 шагов примерно за 26 часов.
Ограничения
- Управление высотой переносится на рендеры с серым фоном, но пока не на настоящие фотографии.
- Орбиты, меняющие высоту в течение клипа, не работают: объект вместо этого кувыркается.
- Выход CardSpin заметно мягче, чем орбита step-1500, из которой он получен.
- Высоты, время и углы в примерах подписей описывают тестовые объекты в репозитории, и для других объектов их нужно менять.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.