LoRA резкости MiniMax H3 для ComfyUI: восстановление деталей видео

ComfyUI Wikinews

LoRA резкости H3 от Alissonerdx возвращает детали при v2v-проходе в том же разрешении: guide-латенты, файл 1,2 ГБ, workflow ComfyUI в комплекте.

Новая LoRA резкости для MiniMax H3 использует иной путь к повышению детализации видео: вместо увеличения разрешения она выполняет v2v-проход в том же разрешении, возвращая чёткие фотореалистичные детали в мягкий или пересглаженный выход H3. LoRA minimax_h3_lms_v1.0_r64 была обучена и опубликована тренером сообщества Alissonerdx на Hugging Face, где за первые дни собрала более 70 лайков и 1 300 загрузок и стала одним из самых обсуждаемых инструментов в сообществе H3.

ДО: стандартный выход H3ПОСЛЕ: проход LoRA резкости
ДоПосле
ДО: стандартный выход H3ПОСЛЕ: проход LoRA резкости
ДоПосле

Как это работает: guide-латенты, а не reference-видео

LoRA ранга 64 обусловливается на исходном видео через guide-латенты, а не через нативную ноду reference-видео модели. Исходный клип кодируется через VAE и упаковывается в последовательность трансформера как блок условия, выровненный по целевой временной шкале: тот же временной отсчёт, та же пространственная сетка, и при этом он не сдвигает часы референса. Это та же in-context схема, которую используют LoRA для видео на LTX, и она передаёт попиксельное соответствие модели напрямую, вместо того чтобы заставлять её искать его.

Практические следствия:

  • Guide обучается почти чистым (аугментация шумом около 0,1%), а цель зашумляется обычным образом, поэтому модель учится отображению «источник → цель», а не денойзингу обоих
  • Текстовый энкодер никогда не видит guide, только подпись
  • Guide и цель должны иметь допустимую длину клипа (17k + 5 кадров: 5, 22, 39, 56...) при одном и том же разрешении
  • Более короткий guide или guide другого размера нарушает выравнивание

В ComfyUI для этого используется нативная нода MiniMaxH3AddGuide (frame_idx = 0), входящая в собственную поддержку H3 в ComfyUI, так что для пути conditioning ничего дополнительно устанавливать не нужно. LoRA обучалась специально для варианта ref2va и в первую очередь предназначена как второй проход по уже сгенерированным клипам, хотя её можно использовать и для прямой генерации.

Результаты сообщества

LoRA обсуждалась в Discord Banodoco до и после релиза, где тестировщики сошлись на нескольких заметках по использованию:

  • Это не upscaler: резкость повышается при том же разрешении, что и у источника, поэтому сочетайте её с рабочим процессом увеличения разрешения, если нужно больше пикселей
  • Сила около 0,8 сохраняет кожу и текстуры естественными; повышение до 1,0 в обоих проходах даёт крайности
  • Для работы требуется нода Add Guide, поскольку обучение опиралось на guide-латенты
  • По кросс-модельным тестам других тренеров, она также работает на H3 как проход детализации с LTX-подобным conditioning

Вторая экспериментальная LoRA резкости от тренера NRDX построена похожим образом и показала сопоставимое экстремальное повышение резкости при силе 1, что подтверждает работоспособность подхода с guide-латентами для этого класса задач.

Официальный рабочий процесс подключает AIToolkitMiniMaxH3RefVideo из ostris/ComfyUI-AIToolkit-MiniMaxH3 для входа guide. Если вы не хотите добавлять эту пользовательскую ноду, подойдёт любой шаг изменения размера, подающий результат в Add Guide, поскольку нода от ostris лишь изменяет размер клипа перед кодированием guide.

Доступность

  • LoRA: Alissonerdx/Minimax-H3-ComfyUI на Hugging Face, loras/minimax_h3_lms_v1.0_r64.safetensors (1,2 ГБ, Apache-2.0)
  • Рабочий процесс: входит в тот же репозиторий в папке workflows/
  • Базовая модель: веса ComfyUI Comfy-Org/MiniMax-H3

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
LoRA резкости MiniMax H3 для ComfyUI: восстановление деталей видео | ComfyUI Wiki