SolarRenderer: четырехшаговый рендеринг структуры на MiniMax H3

SolarRenderer превращает видео структуры в готовый видеоматериал на MiniMax H3: серую коробку из игрового движка, карту семантической сегментации, набор скелетов, проход глубины, телесную сетку SMPL или набросок, который модель никогда не видела в обучении. Работу выполняют два LoRA ранга 384: control-LoRA, который подаёт структуру в собственный референсный путь H3, и четырёхшаговый LoRA, который рендерит клип за четыре шага выборки.

Проект создан Guian Fang, Shengju Qian, Dongyue Lu, Junchao Huang, Lutao Jiang, Xin Wang, Yiren Song, Li Jiang и Mike Zheng Shou в NUS, LIGHTSPEED, CUHK(SZ), SLAI и HKUST(GZ). Веса опубликованы на Hugging Face 13 октября 2026 года, репозиторий с кодом вместе с данными обучения и бенчмарком появился 15 октября, а статья опубликована как arXiv 2610.28630.

Кадр из кейса с замком из серой коробки в бенчмарке, отрендеренный только по видео структуры, плюс первый кадр и промпт.

Что нужно на входе и что получается на выходе

На вход подаются структурное видео с частотой 24 fps и не менее 158 кадрами, необязательный первый кадр в нужном вам стиле и промпт. На выходе получаются 158 кадров при 24 fps, в альбомной ориентации 1344x768 или портретной 768x1344, за четыре шага сэмплинга. Другие размеры холста масштабируются и обрезаются. Промпт не является свободным текстом: модель обучалась на одной форме из шести частей (определения субъектов, сводка, анализ сохранения, описание от 350 до 500 слов, звуковой ландшафт, внедиегетическая музыка), и в репозитории прямо сказано, что короткое предложение в свободной форме работает намного хуже.

Управляющий LoRA не несёт метки типа условия. Кадры структуры попадают в нативный референсный путь H3 в позиции тех кадров, которые они описывают, а промпт называет структуру словами, и именно так один адаптер охватывает структурные представления, на которых он никогда не обучался. В бенчмарке перечислены 16 типов структур, 11 из которых не встречались при обучении, и галерея статьи демонстрирует, что невиданные типы справляются: карандашные раскадровки, облака точек, воксели, каркасы, детский рисунок мелком.

Полный 158-кадровый киберпанк-рендер, перекодированный из опубликованного результата бенчмарка.

Две LoRA, четыре шага и потоковая пара

Управляющая LoRA имеет ранг 384 и внедряет видео структуры с покадровым выравниванием. Четырёхшаговая LoRA тоже имеет ранг 384 и дообучена из DMAD, четырёхшаговой дистилляции H3, которую сообщество конвертирует для ComfyUI с начала октября; здесь дистилляция переобучена со структурным направлением, чтобы четырёхшаговый студент сохранял поведение управления. В статье этот путь оценивается как в 12,3 раза более быстрый, чем выборка за 50 шагов.

Обе LoRA поставляются и во второй, блочно-каузальной версии. Каузальная пара рендерит клип блок за блоком: каждый блок не более чем из пяти латентных кадров видит промпт, первый кадр, структуру своих последних шести блоков и пять блоков, уже отрендеренных до него, но никогда более поздний блок. Каждый блок выполняется за четыре шага и затем фиксируется в кэше ключей и значений, поэтому блок можно показать сразу после завершения, а --seconds растягивает рендер до длины видео структуры с памятью окна в шесть блоков.

Пайплайн из проекта: на входе видео структуры, управляющая и четырёхшаговая LoRA на замороженном бэкбоне H3, блочно-каузальный вариант для потоковой работы.

Запуск в ComfyUI

Репозиторий поставляется с собственным пакетом нод в comfyui/, который клонируется в custom_nodes/ обычным способом; записи в реестре нет, поэтому ComfyUI Manager его не найдёт. Он работает на собственной поддержке MiniMax H3 в ComfyUI (v0.30.0 или новее) с весами Comfy-Org/MiniMax-H3, а LoRA загружаются в том виде, в каком выпущены: загрузчик сопоставляет их с именами весов ComfyUI, причём две связываются в цепочку: сначала четырёхшаговая LoRA, затем управляющая LoRA.

В комплекте идут три Рабочих процесса: полное качество, низкая память и причинный граф для длинных клипов. Рабочий процесс с низкой памятью интересен для локальных карточек. Репозиторий сообщает, что он завершается при удержании ComfyUI в пределах 14 ГБ видеопамяти и пике 14,5 ГБ с учётом контекста CUDA на 16-гигабайтной карточке, такой как RTX 4080 или 4090, при 64 ГБ системной памяти. На карточке, вмещающей все модели, этот путь занимает примерно вдвое больше времени, чем полный.

Пакет также обслуживает страницу по адресу http://127.0.0.1:8188/solarrenderer: выберите пример или перетащите структурное видео и первый кадр, напишите промпт, выберите модели, и он отрендерит, показывая предпросмотры сэмплера по мере поступления и воспроизводя результат рядом с его структурой. Установите --preview-method taesd с taeh3.safetensors в models/vae_approx, чтобы наблюдать за каждым шагом. Дополнительные установки требуются только для ноды веб-захвата (playwright и загрузка Chromium).

Рабочий процесс полного качества Рабочий процесс с низкой памятью (16 ГБ) Причинный рабочий процесс для длинных клипов

Что говорит бенчмарк

В статье оцениваются 208 сложных случаев и 53 отложенных клипа с помощью попарного судьи Gemini: для каждого вопроса приводится Elo, а также автоматическая оценка от DOVER, LAION aesthetic, VideoScore2, flicker, DINOv2, CoTracker3 и edge F1. На отложенной выборке сравнение включает DISTS, LPIPS, PSNR и SSIM относительно реального клипа.

Ничьи в этой таблице настоящие: LynnReal-Omni сравнивается с SolarRenderer по общей оценке на сложной выборке и проигрывает на отложенной. Каузальный вариант оценивается только против двунаправленного, поэтому и оказывается ниже него. Вердикты судьи и 522 рендера, стоящие за этими числами, опубликованы вместе с бенчмарком, так что сравнение можно пересчитать, а не принимать на веру.

В статье также утверждается, что каузальный вариант рендерит 768p в реальном времени. Собственная интеграция с Reactor в репозитории, предварительная версия для разработчиков, предоставленная командой Reactor, настроена более консервативно: на четырёх GPU B200 стабильный блок из 17 кадров занял от 1,8 до 2,1 секунды, что ниже нативного таймлайна 24 fps, а подготовка нового видео могла занять больше минуты.

Что обнаружило сообщество

В Discord-сервере Banodoco релиз получил практическую проверку в день появления. Kijai протестировал четырехшаговую LoRA против оригинальной DMAD и обнаружил, что латентный гид необходимо использовать для соответствия обучающей конфигурации, прежде чем результат совпадет; после этого, по его мнению, с задачей могут справиться нативные узлы H3: «вам действительно нужно использовать латентный гид, чтобы соответствовать их обучению, тогда работает лучше, мы можем сделать это с помощью нативных узлов». Его заметки о выходах были неоднозначными, но конкретными: отслеживание движения точное настолько, что становится слегка слишком буквальным, а отбрасывание первого кадра снижает качество.

Форма промпта вызвала больше всего жалоб: Kijai назвал официальный пример промпта очень сложным, а RuneX предложил системный промпт. RuneX также столкнулся с ошибкой host buffer при запуске страницы пакета и счел большую часть пакета заменяемой, если модель уже загружена нативно: «остальное это просто нода flash attention и нода ручной sigma». Alisson, чей патч TARA использовал тот же подход с нативным референсом для переноса движения H3, помог оценить масштаб обучения: 136 000 клипов против его собственных 700.

Реакции появились в #minimax_h3_chatter 25 октября, начиная отсюда.

Опубликованные источники обучающих данных: клипы Magpie, CARLA и UnrealZoo, 57 738 из 136 000, описанных в статье.

Ограничения, которые стоит знать

• Обученный клип длится 6,6 секунды. Для более длинных видео нужна причинная пара, а причинный сэмплер держит свой кэш ключей/значений объёмом около 80 ГБ при разрешении 1344x768 и выгружает его в системную память, когда тот не помещается.
• Референсный путь: 135 ГБ весов H3 плюс 8 ГБ LoRA для двунаправленной пары; именно маршрут ComfyUI с низким потреблением памяти делает карту на 16 ГБ работоспособной.
• Форма промпта: это жёсткое ограничение, а не стилистическая рекомендация. Свободный текст лишает того контроля, ради которого обучалась LoRA.
• Таблица Elo получена от одного судьи, а первые кадры hard split созданы моделью изображений, а не сняты как фотографии.
• Потоковый путь Reactor: это ПРЕДПРОСМОТР, не побитово идентичный нативному выводу, а выполнение в Docker всё ещё не проверено.

Доступность

Веса, causal pair, конфигурация и условия лицензии доступны в репозитории Enderfga/SolarRenderer; код, пакет узлов для ComfyUI, три рабочих процесса, промпт-навык и интеграция с Reactor находятся в репозитории на GitHub; данные для обучения и бенчмарк размещены в Enderfga/SolarRenderer-Data. Также есть онлайн-демо на Hugging Face Spaces, позволяющее выполнить рендер без установки.