Open-H3-Regenerate-2K: открытая 4K-доработка для MiniMax H3

Open-H3-Regenerate-2K это открытая замена этапа H3-Regenerate-2K от MiniMax, созданная командой NVlabs Sana. Это вторая половина пайплайна H3, которая перерисовывает готовый черновик 768P в более высоком разрешении. У размещённой версии этого этапа нет весов, поэтому команда пересобрала его как одну LoRA-рефайнер поверх замороженного трансформера H3 и видео-VAE и опубликовала веса на Hugging Face вместе с кодом и страницей проекта.

Рефайнер принимает черновик в 384P, 512P, 576P или 768P и возвращает нативный клип 768P, 1080P, 2K (2560x1440) или 4K (3840x2160) длительностью от 5 до 15 секунд, причём за три шага денойзинга, а не за полный прогон выборки. По умолчанию он декодирует через быстрый 24-слойный VAE H3 из StreamRender-H3, а не через выпущенный декодер.

Тот же кадр и то же окно из собственного набора сравнений проекта, где кропы из официального API H3-Regenerate-2K сопоставлены с открытым рефайнером. Источник: страница проекта

Что заменяет рефайнер

H3 генерирует в два этапа: базовая модель фиксирует содержимое и движение на низком разрешении, затем этап регенерации перерисовывает лица, ткань, мех и листву в полном размере. В августе весами был выпущен только первый этап; второй существовал как размещённый API, который принимает неизменённый вывод H3 768P и возвращает 2K.

Open-H3-Regenerate-2K сохраняет то же разделение и открывает второй этап. Вход не ограничен базовой моделью H3: проект демонстрирует черновики, созданные LTX-2 и SANA-Video в 1024x576, и рефайнер переносит их компоновку, цвет и движение на более крупную сетку.

Как работают три шага

Черновик кодируется один раз, затем 3D-свёрточный латентный апскейлер увеличивает латент напрямую до целевой сетки, без декодирования и повторного кодирования между ними. Увеличенный латент заново зашумляется до sigma 0.909 и денойзится за три шага Эйлера (0.909, 0.857, 0.667 до 0) с отключённым classifier-free guidance, так что каждый шаг это один вызов трансформера в полном разрешении.

Три адаптера обеспечивают поведение с малым числом шагов, и в релизе они объединены в один файл путём конкатенации их факторов по оси ранга:

• сам рефайнер Open-H3, шаг 5000 EMA, ранг 384
• LightX2V FL2VA Turbo v1.2, ранг 128
• LMS Sharp v1.0, ранг 64

Объединённая LoRA имеет ранг 576 по 312 линейным слоям и хранится в FP32 вместе с ветвями временной кривой Sharp, которые оставлены отдельными модулями, поскольку читают 8-мерную кривую, а не вход слоя. Проверка объединения в проекте показывает, что объединённая дельта совпадает с тремя отдельными адаптерами с относительной ошибкой 2.2e-8.

Скорость и бенчмарки

Команда измерила один 5-секундный клип на одной B200, от латента 768P до 2560x1440, в прогретом режиме, медиана из трёх прогонов. Латентный апскейл, три шага рефайнинга и декодирование VAE заняли 22.45 секунды с forward из SoL-Engine и быстрым декодером VAE, против 87.26 секунды для стандартного forward в diffusers с выпущенным декодером. Основной выигрыш даёт обход декодирования и повторного кодирования: быстрый декодер обрабатывает 2K-клип за 1.58 секунды вместо примерно 15.

На RefinerBench-150, при запуске обеих систем в 2560x1440, команда сообщает о более высоких оценках, чем у официального API, по всем трём осям UniPercept и по эстетическому качеству, качеству изображения и согласованности субъекта в VBench. В слепом исследовании из 200 оценок открытый рефайнер предпочли в 87% случаев.

Вторая пара кропов из того же набора сравнений. Источник: страница проекта

Доступность

Официальных узлов ComfyUI для рефайнера нет. Референсная реализация это Python CLI в репозитории Sana (Linux, Python 3.11, PyTorch 2.11 с CUDA 13.0), а помощник download.py скачивает веса, объединённую LoRA, латентный апсемплер и быстрый декодер VAE.

Пользователи ComfyUI портировали его самостоятельно: Kijai опубликовал рефайнер отдельно как LoRA ранга 384, чтобы её можно было сочетать с другими дистилляциями, а конверсии полной адаптированной LoRA от сообщества доступны на Hugging Face (father558, DrakenZA). Авторы конвертеров отмечают, что прямая конверсия воспроизводит неверные веса, поскольку раскладка Diffusers требует преобразования SwiGLU, поэтому конверсии без этого шага будут выглядеть сломанными.

Репозиторий содержит LoRA-рефайнер, быстрый декодер VAE (1.62B параметров) и неизменённую копию компонентов H3 для Diffusers, так что весь путь от 768P до 2K может работать без API MiniMax.