Open-H3-Regenerate-2K-IC: черновики H3 в 2K с сохранением лиц и текста

Open-H3-Regenerate-2K-IC это вторая версия открытого рефайнера MiniMax H3 от NVlabs. Она делает ту же работу, что и октябрьский релиз: поднимает черновик 1344x768 до 2K или 4K за три шага. Изменилось то, куда попадает черновик. Первая версия заново зашумляла черновик и дорабатывала его, поэтому лица, форма губ и мелкие надписи уплывали. Версия IC держит черновик чистым в контексте трансформера Ref2VA и рисует клип высокого разрешения из шума рядом с ним, поэтому идентичность, синхронизация губ, текст на вывесках и компоновка следуют за черновиком.

Кадры из собственного сравнительного клипа проекта. Источник: страница проекта

Выход IC для этого клипа в 2560x1440, с аудио из черновика. Источник: страница проекта

Что сохраняется

В сравнении с официальным API H3-Regenerate-2K самый наглядный случай в проекте это парковка: API рисует вывеску как нечитаемые штрихи, а версия IC по-прежнему читается как "PRIVATE CAR PARK". По сравнению с первой открытой версией выход IC добавляет меньше новой текстуры, но оставляет глаза, морщины и форму губ там, куда их поместил черновик.

LoRA IC обучена на замороженном трансформере Ref2VA, который и так читает референсные видео как дополнительные токены. Каждая обучающая пара это реальный клип от 768P до 4K; его уменьшенная копия стоит впереди как чистый референс, пока цель зашумляется в диапазоне от чистого шума до чистого сигнала, и потеря считается только по токенам цели.

Как это работает

На вход подаётся черновик 768P как <Video 1> плюс подпись, которая его сгенерировала, без изменений. Три семплера, все с CFG 1:

• up3 (по умолчанию): латентный черновик проходит через 3D-conv латентный апскейлер, зашумляется до сигмы 0.835 и завершается за три вызова трансформера.
• up4: тот же увеличенный старт при сигме 0.923, четыре вызова.
• hf8: чистый шум и все восемь шагов HyperFlow.

Выход 1080p, 2K (2560x1440, по умолчанию) или 4K (3840x2160); черновики 384P, 512P и 576P возвращаются в 768P. Аудио копируется из черновика без изменений, латентный тензор тишины поставляется вместе с весами, а результат 2K декодируется через быстрый H3 VAE, тогда как для 4K используется обычный.

В ComfyUI

Официальных узлов нет, но уже есть два пути от сообщества:

• Kijai сжал LoRA FP32 на 8.3 GB до файла rank-21 bf16 на 200 MB, который загружается как обычная LoRA на модели Ref2VA.
• ComfyUI-OpenH3Regenerate2KIC включает четыре узла (Prepare Draft, Official Prompt, Sigma Grid, Compose Target Latent), сконвертированную LoRA полного ранга на 5.9 GB и три рабочих процесса: текст в черновик в 2K, референсное изображение в черновик в 2K и черновик в 2K.

Веса и код вывода доступны на Hugging Face, референсный CLI в NVlabs/Sana.