H3 MultiRef Update 6: рабочие процессы Music Video и AV для ComfyUI

ComfyUI Wikinews

ComfyUI H3 Motion Context MultiRef Update 6 перестраивает длинные рабочие процессы MiniMax H3: цепочку музыкального видео на 20 слотов и цепочку AV Extension с бесшовным аудио.

H3 Motion Context MultiRef выпустил Update 6 17 августа. Форк ComfyUI-H3-Motion-Context перестраивает оба длинноформатных рабочих процесса, Music Video и AV Extension, в цепочки прямого латентного вывода без checkpoint, которые транслируют итоговый результат напрямую в VideoHelperSuite, устраняя крупное выделение RAM под полный фильм, которое требовалось старым длинным H3-графам.

Встроенная демонстрация музыкального видео: шесть клипов, сгенерированных из двух референсных изображений на основе одной мастер-песни.

Что изменилось в Update 6

  • Цепочки прямого латентного вывода без checkpoint. Оба длинноформатных рабочих процесса теперь передают хвост видео-латентного вывода каждого сэмплера напрямую в следующий узел masked-context. Узлы disk-checkpoint из Update 5 больше не регистрируются.
  • Прямой потоковый вывод. Новые узлы финального вывода декодируют по одному клипу за раз и потоково передают готовые кадры в VideoHelperSuite, не материализуя единый итоговый IMAGE тензор. Известный путь с высоким потреблением RAM больше не задействуется.
  • Точная синхронизация аудио и видео. Финальная сборка аудио использует абсолютные границы семплов на таймлайне, что исключает дрейф шва на один семпл при частотах вроде 44,1 кГц. Небольшие недоборы аудио-сетки H3 корректируются по времени, а не дополняются хвостом тишины.
  • Обход через контроллер. Используется настоящий режим обхода ComfyUI для групп генерации и предпросмотра, поэтому ни одному из текущих рабочих процессов не требуется rgthree для управления группами.
  • Прямая совместимость. Распознает как старую, так и новую компоновку интеграции H3-масок: до и после ComfyUI PR #15375. Локальный запасной вариант автоматически отключается при обнаружении текущей компоновки.

Music Video

Рабочий процесс Music Video с 20 слотами создает мультиклиповое видео вокруг одной песни. Стартовый клип генерируется узлом MiniMaxH3ReferenceToVideo, затем каждый клип передает хвост своего видео-латентного вывода напрямую следующему. Мастер-песня остается главной: каждый клип получает точный абсолютный фрагмент мастер-песни в своем H3 аудио-латентном представлении с аудио-маской 0, а финальный вывод использует исходную мастер-волну без изменений.

AV Extension

Рабочий процесс AV Extension продолжает видео в рамках нескольких H3-генераций. Один контроллер управляет общей активной цепочкой для стартов из существующего видео, T2V и I2V/Custom-Keyframes, с двумя слотами референсных изображений и двумя опциональными аудио-референсами, которые питают стартовый узел и все расширения. Защищенный контекст привязывается к общим границам H3 видео/аудио (39 / 90 / 141 / 192…), аудио сохраняет строго защищенную область плюс настраиваемое полукосинусное сглаживание (по умолчанию 8 аудио-латентных тиков, 0,2 с), а результат транслируется в VideoHelperSuite без выделения полного итогового тензора фильма.

Примеры референсных изображений

Демонстрация музыкального видео поставляется с двумя референсными изображениями и одной песней в папке example_workflows/assets/.

Референсное изображение 1Референсное изображение 2
Референсное изображение 1Референсное изображение 2

Установка

Установите, клонировав репозиторий в ComfyUI/custom_nodes/, и перезапустите ComfyUI:

cd ComfyUI/custom_nodes
git clone https://github.com/seitanism/ComfyUI-H3-Motion-Context-MultiRef.git

Некоторые включенные рабочие процессы требуют VideoHelperSuite, KJNodes и rgthree; установите отсутствующие пакеты узлов и перезапустите. Ассеты демонстрационного музыкального видео (два изображения и одна песня) помещаются в папку input/ вашей ComfyUI перед запуском. Обратите внимание: узлы checkpoint из Update 5 больше не регистрируются. Рабочие процессы, сохраненные с их использованием, необходимо перенести на текущие версии с прямым латентным выводом.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
H3 MultiRef Update 6: рабочие процессы Music Video и AV для ComfyUI | ComfyUI Wiki