H3 Motion Context v0.2.0: бесшовная склейка клипов MiniMax H3

H3 Motion Context выпустил v0.2.0 9 августа. Пакет пользовательских нод объединяет клипы MiniMax H3 в цепочку в ComfyUI, так что движение и аудио по-настоящему продолжаются на стыке: сгенерируйте клип A, передайте его последние кадры и аудио в ноду, и клип B продолжит с того места, где закончился A: то же движение, та же скорость, то же направление, а аудио продолжится, а не будет синтезироваться заново.

Что нового в v0.2.0

• Больше никакого видимого шва. При подключенном context_latent закрепленные кадры вырезаются напрямую из латентного представления предыдущего клипа, а не декодируются в пиксели и не кодируются заново. Никакого сдвига цвета, никакого скачка контрастности на стыке, и это быстрее, поскольку пропускаются декодирование, изменение размера и проход VAE.
• Режим референсов работает с объединением в цепочку. Граф Ref2VA теперь сохраняет собственные референсы изображения, видео и аудио, а аудио продолжения добавляется вместе с ними. Раньше нода перезаписывала список референсов, поэтому включение объединения в цепочку молча удаляло все референсы. Идея принадлежит seitanism (из треда Banodoco MiniMax H3 о бесшовном расширении), впервые реализована в форке @ethanfel; эта реализация независима, но отдает должное обоим.
• Контекстное окно на 56 кадров, наряду с 5, 22 и 39.
• Две настройки вместо шести. context_length и audio_context_length; остальное: константы с понятными значениями по умолчанию.
• Закрепленное аудио привязывается к аудио-сетке, что исправляет смещение на треть шага для некоторых комбинаций окна и длины клипа.
• Патчи устанавливаются при первом использовании, а не при импорте, и применяются только к графам этого пакета, поэтому другие рабочие процессы H3 остаются нетронутыми.
• Разрешение не может измениться в середине цепочки при использовании context_latent: нода отказывается и называет оба разрешения, а не молча переключается на путь с потерями.

Как это работает

MiniMax H3 может закрепить кадр в определенной временной координате и повторно внедрять его на каждом шаге выборки; единственным препятствием для объединения в цепочку была проверка в ComfyUI, которая отклоняла любой закрепленный кадр, кроме первого или последнего. Пакет снимает это ограничение с помощью рантайм-патча (ничего не редактируется на диске), и патчи проверяют свои предположения на живом коде ComfyUI при каждом запуске: громкий отказ лучше, чем тихий испорченный рендер.

Сложнее всего аудио, поскольку H3 генерирует изображение и звук вместе: нода переносит аудио-контекст предыдущего клипа, чтобы следующий сегмент продолжал то же аудио, а не создавал похожий звук.

Рабочий процесс

В релизе v0.2.0 поставляется объединенный рабочий процесс, который запускает оба пути fl2va и ref2va в одном графе:

Доступность

Установите пакет, поместив папку в ComfyUI/custom_nodes/, и перезапустите ComfyUI. Обратите внимание, что значения виджетов изменились в 0.2.0: рабочие процессы, сохраненные в версии 0.1, загрузят числа в неправильные поля, поэтому удалите ноду Motion Context и добавьте ее заново. Также запускайте только один пакет объединения H3 за раз: несколько пакетов снимают одно и то же ограничение первого/последнего ключевого кадра, и эта нода теперь отказывается работать, если другой пакет уже это сделал.