MiniMax H3 2x Latent Upscaler: ноды ComfyUI для увеличения разрешения

Mamad8 выпустил 2× латентный апскейлер для MiniMax H3 8 августа вместе с парой минимальных нод ComfyUI (карточка модели, пользовательские ноды). Модель удваивает пространственные размеры полностью очищенного от шума видеолатента H3, поэтому рабочий процесс может оставаться в латентном пространстве вместо того, чтобы тратить ресурсы на полный цикл «декодировать VAE → изменить размер в пиксельном пространстве → повторно закодировать VAE».

Что это такое

Это не обычный апскейлер изображений или видео. Он не делает готовый рендер более резким, а прямое декодирование его выхода может выглядеть мягче оригинала. Его цель: быстро перенести чистый видеолатент H3 на латентную сетку с удвоенными пространственными размерами, чтобы продолжение с высоким разрешением или второй проход семплинга могли выполняться на увеличенном холсте.

• Удваивает только пространственные размеры латента; длина по временной оси не меняется.
• При использовании через сопутствующую ноду аудиопоток в объединенном видео/аудио латенте H3 сохраняется нетронутым.
• Принимает только чистые латенты: применение к промежуточным зашумленным латентам не поддерживается.

Как проходило обучение

Обучающие пары были построены из чистых латентов H3: каждый латент низкого разрешения декодировался с помощью H3 VAE, увеличивался в 2× в пиксельном пространстве методом Lanczos, а затем детерминированно перекодировался для получения учительского латента. Легковесная сеть обучилась выполнять коррекцию поверх билинейной латентной интерполяции, используя функции потерь для реконструкции с учетом латента и декодера, SSIM, пространственной и временной согласованности. Сам генератор H3 не обучался и не изменялся.

Использование ComfyUI

1. Склонируйте ComfyUI-H3-Latent-Upscaler-Mamad8 в ComfyUI/custom_nodes/ и перезапустите ComfyUI. Дополнительные пакеты Python не требуются.
2. Скачайте h3_clean_latent_upscaler_v1_mamad8.safetensors (~56 МБ) в ComfyUI/models/h3_latent_upscalers/.

Пакет нод предоставляет две ноды: Load H3 Latent Upscaler и Upscale Clean H3 Latent 2x. Разместите ноду применения после завершения семплинга и перед обычным декодированием VAE:

H3 sampler → Upscale Clean H3 Latent 2x → VAE Decode

Например, чистый латент, созданный для разрешения 672×384, декодируется в 1344×768 после 2× увеличения латента. Число кадров и аудио остаются без изменений. Продолжение денойзинга H3 после апскейла требует явного повторного зашумления и рабочего процесса для продолжения с высоким разрешением, что намеренно оставлено за пределами двух нод.

Репозиторий поставляется с рабочим процессом по умолчанию, который использует встроенные ноды ComfyUI для видео и VAE без дополнительных зависимостей:

Заметки сообщества

Участники сообщества Banodoco начали тестировать его в тот же день. RuneX запустил двухпроходную схему: полный первый проход на 25 шагов при низком разрешении, 2× увеличение латента, затем второй проход на 8 шагов. Он сообщил, что аудио получилось заметно богаче (заметки о тестировании). mamad8 отметил, что релиз частично опережает официальный апскейлер, который, как ожидается, сама MiniMax выпустит для H3.

Для увеличения разрешения между семплерами (повторное зашумление + второй проход в одном рабочем процессе) ComfyUI-MiniMaxH3_LatentUpscaler от Tr1dae использует другой подход с параметром audio_denoise, который определяет, какую часть аудио первого прохода следует перемикшировать.