HyperFlow: 8-шаговый LoRA для MiniMax H3 с портами в ComfyUI

ComfyUI Wikinews

HyperFlow от Video Rebirth сокращает выборку MiniMax H3 с 49 проходов трансформера до 8 с помощью самодистилляции flow без данных; вскоре появились два порта для ComfyUI.

Video Rebirth выпустила HyperFlow: 8-шаговый LoRA для MiniMax H3, который сокращает 49 проходов трансформера базовой модели до 8. Это последняя разработка в гонке ускорения H3, и в отличие от дистилляций lightx2v и ModelTC она получила два независимых порта для ComfyUI в течение нескольких дней после релиза.

Пример управления камерой в HyperFlow

Пример управления камерой в HyperFlow со страницы витрины Video Rebirth.

Что такое HyperFlow

HyperFlow получен методом самодистилляции flow без данных. Модель генерирует собственные видео-кандидаты, фильтрует их по качеству, а затем дистиллирует из прошедших отбор кандидатов: без внешних данных и без человеческой разметки. Video Rebirth описывает это как компонент самодистилляции RSI (Recursive Self-Improvement), парадигмы обучения, лежащей в основе её видеомоделей.

Важен структурный выбор: базовые веса, оба VAE, кондиционер и рабочие процессы t2va, fl2va и ref2va остаются официальными от MiniMax H3. Выпущен только LoRA.

СвойствоЗначение
Форма адаптераPEFT LoRA, rank 256 / alpha 256
Модули316: внимание, feed-forward и оба time embedder
Размер2.8 GB, один файл safetensors
Выборка8 прямых проходов по фиксированной сетке сигм, хранящейся в файле (video shift 12, audio shift 3)
Покрытиеt2va, fl2va и ref2va, видео и аудио вместе

Оригинальная реализация работает на официальном diffusers Modular Pipeline и поставляется с загрузчиком и примерами скриптов, а не с объединённой моделью, поэтому требуется pip install "hyperflow-h3[examples] @ git+https://github.com/Video-Rebirth/hyperflow.git" с diffusers 0.40 или новее. HyperFlow также поддерживает контекстный параллелизм Ulysses на до 4 GPU и разрежённое ядро внимания Sol-Attn от NVIDIA.

Пример визуальной согласованности HyperFlow

Согласованность на протяжении клипа: одна из четырёх категорий витрины, опубликованных Video Rebirth.

Два пути для ComfyUI

LoRA не является файлом, который можно просто подставить в загрузчик LoRA ComfyUI. Сейчас есть два способа её запуска.

1. Конверсии от сообщества со встроенным загрузчиком ComfyUI. Участник drbaph конвертировал HyperFlow в формат ключей ComfyUI: четыре файла охватывают полную и pruned/КРИВАЯ-форму баз H3:

ФайлВариант
minimax_h3_hyperflow_8step_v1.0_comfyui_bf16.safetensorsПолный BF16
minimax_h3_hyperflow_8step_v1.0_comfyui_bf16_resized_avg_rank_20_bf16.safetensorsResized, средний rank 20
minimax_h3_hyperflow_8step_v1.0_comfyui_pruned_bf16.safetensorsДля pruned/КРИВАЯ-формы базы
minimax_h3_hyperflow_8step_v1.0_comfyui_pruned_bf16_resized_avg_rank_20_bf16.safetensorsPruned плюс resized

Они загружаются встроенным загрузчиком LoRA MiniMax H3 в ComfyUI, без пользовательских узлов. Задокументированные настройки: 8 шагов, сила LoRA начиная с 1.0 и либо euler / normal, либо оригинальная ручная последовательность сигм:

1.0, 0.931506, 0.839236, 0.703462, 0.5, 0.296538, 0.160764, 0.068494, 0.0

2. Пакет Узлов, воспроизводящий endpoint-условие. ComfyUI-HyperFlow объясняет, почему прямая конверсия не эквивалентна. HyperFlow это не только LoRA: каждый шаг обусловлен интервалом, который он интегрирует, (t, r), где r = 1 - sigma_next, через второй time embedder с LoRA, как emb_t(t) + gate*(emb_r(r) - emb_t(t)). СЭМПЛЕР ComfyUI никогда не передаёт r, поэтому пакет строит endpoint embedder и патчит time_embedder.forward, вычисляя endpoint для каждой строки: для видео, текста, аудио и закреплённых строк keyframe. Он также переназначает имена параметров PEFT на fused-таргеты ComfyUI qkv_proj, mlp.fc1 и proj_in/proj_out и отклоняет Чекпойнты КРИВАЯ-формы, у которых нет time embedder для патчинга. У пакета нет зависимостей помимо самого ComfyUI.

Пример материала и детализации HyperFlow

Материал и детализация: категория, которую малошаговые дистилляции H3 обычно теряют первой.

Независимое подтверждение

Самый сильный сторонний сигнал находится в исследовательском репозитории NVIDIA: NVlabs/Sana PR #507 добавил вывод HyperFlow в восемь шагов в models/minimax_h3/HyperFlow/ для T2V, I2V по первому кадру и Ref2VA по референсному изображению с синхронизированным аудио, и был смёржен 19 сентября. Интеграция фиксирует точный коммит Video Rebirth и ревизию LoRA, сохраняет двухвременное условие HyperFlow и восьмишаговый график, сохраняет отдельные веса transformer и transformer_ref и добавляет парное предвычисление AdaLN с проверенным прунингом кондиционера поверх путей Sol-H3 Ulysses, SOL/BSA и параллельного VAE. Его начальный резидентный профиль рассчитан на восемь GPU B200 при 1344x768 с пресетами на 5, 10 и 15 секунд.

Как оценивают ранние пользователи

HyperFlow появился в #minimax_h3_chatter Banodoco 18 сентября, через день после релиза, и обсуждение быстро перешло от «вышел новый 8-шаговый lora» к практическим сравнениям со старыми H3 Turbo LoRA.

  • drbaph, сделавший конверсию для ComfyUI, описал преимущество как «ближе к качеству h3, согласованность/управление камерой/детализация по сравнению с другими turbo loras» и добавил, что тестирует силу на 1.0, как рекомендует оригинальный репозиторий. Его собственное предпочтение среди 8-шаговых вариантов всё ещё извлечённый DMD VDN LoRA, который он называет «близким» к HyperFlow.
  • hacs2000, протестировавший оба, оценил его как «очень хороший».
  • Stef отметил, что ручную таблицу сигм легко пропустить и её следует задокументировать там, где люди её найдут.

Учтите оговорку о сигмах до сравнения запусков: конверсия drbaph предоставляет фиксированную сетку как ручные сигмы, тогда как Пакет Узлов вычисляет endpoints нативно, поэтому два пути не побайтово идентичны.

Пример сбалансированных возможностей HyperFlow

Сбалансированные возможности: четвёртая категория витрины.

Доступность

О том, как HyperFlow соотносится с другими ускорениями H3, читайте в слепом A/B-рейтинге H3 Acceleration Arena, а о предыдущем отдельном рабочем процессе конверсии Turbo: VDN-H3 Turbo Standalone.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
HyperFlow: 8-шаговый LoRA для MiniMax H3 с портами в ComfyUI | ComfyUI Wiki