pi-H3 сокращает видео MiniMax H3 до 2 или 4 шагов в ComfyUI
Адаптеры pi-H3 сжимают генерацию видео MiniMax H3 со звуком до 2 или 4 шагов в ComfyUI, а также добавляют экспериментальный путь без декодера VAE. Веса уже доступны.
Глиняный пекарь, 2 шага при 1344x768, 5 секунд со стереоаудио, из галереи самого проекта.
Что это даёт
| 1344x768, 24 fps, с аудио | pi-H3, 2 шага | pi-H3, 4 шага | Sol-H3, 4 шага |
|---|---|---|---|
| Видео 5 с | 3.81 с | 7.30 с | 9.48 с |
| Видео 10 с | 9.16 с | 17.56 с | 24.31 с |
| Видео 15 с | 18.58 с | 36.41 с | 44.96 с |
Полный цикл на одном B200, от кодирования текста до декодированного видео и аудио; взяты цифры авторов в сравнении с опубликованными данными Sol-H3.
Поставляются два семейства адаптеров: обычные версии на 2/4 шага, которые по-прежнему декодируются через VAE H3, и версии DWD, которые предсказывают пиксели на последнем шаге удаления шума и полностью пропускают декодер VAE. Версии DWD доступны в INT8 ConvRot для ComfyUI. В версии 1.0 уточнитель DWD сменил свёрточную сеть на более лёгкий трансформер с оконным вниманием, что, по словам авторов, даёт более плавное движение мелких деталей и лучшую связность на 2 шагах.
Запуск в ComfyUI
- Установите ComfyUI-piFlow через ComfyUI Manager или клонируйте его в
custom_nodes. Требуется ComfyUI 0.45.0 или новее; перед установкой удалите любые сторонние расширения pi-H3 или pi-Flow. - Загрузите
pi-H3-DWD.jsonилиpi-H3.jsonиз папкиworkflowsрепозитория. Нода pi-H3 Adapter переключает режим между 2 и 4 шагами и задаёт соответствующие значения планировщика pi-Flow. - Поместите
pi_h3_2step_dwd_adapter_int8_convrot.safetensors(или файл для 4 шагов) вmodels/loras/и используйте вместе сminimax_h3_fl2va_pruned_int8_convrot.safetensorsиз Comfy-Org/MiniMax-H3. Рабочему процессу DWD видео-VAE нужен только для ключевых кадров, а аудио-VAE как обычно.
| RTX 3090, DWD 2 шага, INT8 | 5 с | 10 с | 15 с |
|---|---|---|---|
| 864x480 | 15.5 с | 37.3 с | 69.2 с |
| 1344x768 | 38.5 с | 97.6 с | 186.1 с |
Поддерживается только основа FL2VA: текст, первый кадр, последний кадр или оба. Адаптера Ref2VA нет, поэтому обусловливание по референсному изображению недоступно.
Что сообщают тестировщики
- Kijai конвертировал оба адаптера в стандартные ключи LoRA H3 для ComfyUI и называет этот вариант «лучшим из двухшаговых на данный момент» среди недавних дистилляций. К DWD он относится прохладнее: с INT8 Sol VAE пропуск декодера сэкономил меньше секунды на 5-секундном клипе 768p, а результат DWD выглядел хуже кадров, декодированных через VAE.
- JohnDopamine сравнил VAE и DWD на одном и том же промпте и шуме. DWD держался лучше на 2 шагах, VAE был лучше начиная с 4 шагов, и его вывод: обычного адаптера на 2 шагах достаточно для общих задач.
- boop сообщил, что двухшаговый адаптер с VAE выглядит нормально, а аудио получилось лучше ожидаемого, хотя быстрое движение ещё не тестировалось.
- Совмещение других LoRA H3 с вариантом DWD может дать обратный эффект: он также обучает блоки с 46 по 49 через пиксельную голову, поэтому адаптеры, обученные без неё, могут конфликтовать с ним (Kijai).
Кадр из 14-секундного рендера за 2 шага без декодера VAE.
Подводный джаз-клуб, 2 шага, без декодера VAE, 1344x768, 14 секунд.
Где взять
- Веса и адаптеры: Lakonik/pi-H3
- Страница проекта с показателями скорости и галереями: hanshengchen.com/blog/pi-h3
- Рабочие процессы ComfyUI, список нод и размещение файлов: документация ComfyUI-piFlow
- Попробовать без установки: pi-H3 Space
- Готовые конвертации LoRA для ComfyUI: Kijai/MiniMax-H3_comfy
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.