pi-H3 сокращает видео MiniMax H3 до 2 или 4 шагов в ComfyUI

ComfyUI Wikinews

Адаптеры pi-H3 сжимают генерацию видео MiniMax H3 со звуком до 2 или 4 шагов в ComfyUI, а также добавляют экспериментальный путь без декодера VAE. Веса уже доступны.

pi-H3 дистиллирует MiniMax H3 в генератор видео с синхронизированным аудио за 2 или 4 шага. Веса, код вывода и ноды для ComfyUI вышли 21 ноября. Авторы: исследователи Стэнфорда Hansheng Chen, Gordon Wetzstein и Leonidas Guibas, а также два соавтора, выполнившие часть работы в Luma AI.

Глиняный пекарь, 2 шага при 1344x768, 5 секунд со стереоаудио, из галереи самого проекта.

Что это даёт

1344x768, 24 fps, с аудиоpi-H3, 2 шагаpi-H3, 4 шагаSol-H3, 4 шага
Видео 5 с3.81 с7.30 с9.48 с
Видео 10 с9.16 с17.56 с24.31 с
Видео 15 с18.58 с36.41 с44.96 с

Полный цикл на одном B200, от кодирования текста до декодированного видео и аудио; взяты цифры авторов в сравнении с опубликованными данными Sol-H3.

Поставляются два семейства адаптеров: обычные версии на 2/4 шага, которые по-прежнему декодируются через VAE H3, и версии DWD, которые предсказывают пиксели на последнем шаге удаления шума и полностью пропускают декодер VAE. Версии DWD доступны в INT8 ConvRot для ComfyUI. В версии 1.0 уточнитель DWD сменил свёрточную сеть на более лёгкий трансформер с оконным вниманием, что, по словам авторов, даёт более плавное движение мелких деталей и лучшую связность на 2 шагах.

Запуск в ComfyUI

  1. Установите ComfyUI-piFlow через ComfyUI Manager или клонируйте его в custom_nodes. Требуется ComfyUI 0.45.0 или новее; перед установкой удалите любые сторонние расширения pi-H3 или pi-Flow.
  2. Загрузите pi-H3-DWD.json или pi-H3.json из папки workflows репозитория. Нода pi-H3 Adapter переключает режим между 2 и 4 шагами и задаёт соответствующие значения планировщика pi-Flow.
  3. Поместите pi_h3_2step_dwd_adapter_int8_convrot.safetensors (или файл для 4 шагов) в models/loras/ и используйте вместе с minimax_h3_fl2va_pruned_int8_convrot.safetensors из Comfy-Org/MiniMax-H3. Рабочему процессу DWD видео-VAE нужен только для ключевых кадров, а аудио-VAE как обычно.
RTX 3090, DWD 2 шага, INT85 с10 с15 с
864x48015.5 с37.3 с69.2 с
1344x76838.5 с97.6 с186.1 с

Поддерживается только основа FL2VA: текст, первый кадр, последний кадр или оба. Адаптера Ref2VA нет, поэтому обусловливание по референсному изображению недоступно.

Что сообщают тестировщики

  • Kijai конвертировал оба адаптера в стандартные ключи LoRA H3 для ComfyUI и называет этот вариант «лучшим из двухшаговых на данный момент» среди недавних дистилляций. К DWD он относится прохладнее: с INT8 Sol VAE пропуск декодера сэкономил меньше секунды на 5-секундном клипе 768p, а результат DWD выглядел хуже кадров, декодированных через VAE.
  • JohnDopamine сравнил VAE и DWD на одном и том же промпте и шуме. DWD держался лучше на 2 шагах, VAE был лучше начиная с 4 шагов, и его вывод: обычного адаптера на 2 шагах достаточно для общих задач.
  • boop сообщил, что двухшаговый адаптер с VAE выглядит нормально, а аудио получилось лучше ожидаемого, хотя быстрое движение ещё не тестировалось.
  • Совмещение других LoRA H3 с вариантом DWD может дать обратный эффект: он также обучает блоки с 46 по 49 через пиксельную голову, поэтому адаптеры, обученные без неё, могут конфликтовать с ним (Kijai).
Подводный джаз-клуб

Кадр из 14-секундного рендера за 2 шага без декодера VAE.

Подводный джаз-клуб, 2 шага, без декодера VAE, 1344x768, 14 секунд.

Где взять

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
pi-H3 сокращает видео MiniMax H3 до 2 или 4 шагов в ComfyUI | ComfyUI Wiki