KJNodes/ltxvgenerated

Маска аудио и видео LTXV(LTXVAudioVideoMask)

Создает шумовые маски для латентных данных видео и аудио на основе заданных временных диапазонов. Новое содержимое генерируется в пределах этих замаскированных областей

LTXV Audio Video Mask

video_latent
audio_latent
video_latent
audio_latent
video_fps
25.00
video_start_time
0.00
video_end_time
5.00
audio_start_time
0.00
audio_end_time
5.00
max_length
truncate
existing_mask_mode
add
KJNodes

Описание

Создает шумовые маски для латентных данных видео и аудио на основе заданных временных диапазонов. Сгенерированные маски указывают, какие временные области должны быть повторно сгенерированы во время выборки – новое содержимое создается в пределах замаскированных зон, а неизмененные области сохраняются. Это полезно для внесения локальных правок в последовательность латентных данных видео или аудио, например, замены определенного сегмента с сохранением остальной части.

Входы

ИмяТипОбязательноПо умолчаниюМин / Макс / ШагОписание
video_latentLATENTНетНеобязательный латент видео, к которому будет добавлена шумовая маска.
audio_latentLATENTНетНеобязательный латент аудио, к которому будет добавлена шумовая маска.
video_fpsFLOATДа250 / 100 / 0.01Частота кадров латента видео, используемая для преобразования времени (секунды) в индексы кадров.
video_start_timeFLOATДа00 / 10000 / 0.01Время начала в секундах для маски видео.
video_end_timeFLOATДа50 / 10000 / 0.01Время окончания в секундах для маски видео.
audio_start_timeFLOATДа00 / 10000 / 0.01Время начала в секундах для маски аудио.
audio_end_timeFLOATДа50 / 10000 / 0.01Время окончания в секундах для маски аудио.
max_lengthCOMBOДаtruncateКак обрабатывать общую длину выходного латента(ов):
truncate – обрезает латент до длины, равной end_time
pad – расширяет латент до end_time, если он короче
partial – создает маску для временного диапазона внутри существующего латента без изменения его общей длины
existing_mask_modeCOMBOНетaddКак объединить с любой существующей шумовой маской, уже присутствующей во входном латенте(ах):
add – берет максимум из существующей и новой маски (объединение)
overwrite – полностью заменяет существующую маску новой
subtract – устанавливает замаскированную область в 0 вместо 1, фактически снимая маску с этой области

Выходы

ТипОписание
LATENTЛатент видео с обновленной шумовой маской (или вновь созданной). Если video_latent не был прикреплён, возвращается пакет латентов, содержащий только маску (без сэмплов).
LATENTЛатент аудио с обновленной шумовой маской (или вновь созданной). Если audio_latent не был прикреплён, возвращается пакет латентов, содержащий только маску.

Оба выхода представляют собой стандартные словари латентов ComfyUI, которые содержат ключ noise_mask. Маска — это бинарный тензор, где 1 указывает области, подлежащие повторной генерации, а 0 — области, которые следует сохранить.

Примечания по использованию

  • Хотя бы один из входов video_latent или audio_latent должен быть прикреплён. Если прикреплён только один, соответствующий выход будет содержать осмысленные данные сэмплов; другой выход будет латентом только с маской.
  • Значения времени задаются в секундах и преобразуются в индексы кадров с использованием указанного video_fps. Это преобразование предполагает, что временное измерение латента соответствует (количеству кадров) при данном fps. Для латентов аудио используется то же значение fps для выравнивания маски с временной структурой латента аудио.
  • Настройка max_length определяет, будет ли выходной латент изменён (обрезан или дополнен) до указанного времени окончания. В режиме partial латент сохраняет свою исходную длину, а маска покрывает только запрошенный диапазон.
  • Если входной латент уже содержит noise_mask (например, от предыдущей ноды), параметр existing_mask_mode управляет объединением новой маски с ней. По умолчанию add полезен для накопления областей маски; overwrite полностью заменяет маску; subtract можно использовать для «стирания» ранее замаскированных областей.
  • Этот узел предназначен для использования с моделями на основе LTXV и относится к категории KJNodes/ltxv в ComfyUI.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
Маска аудио и видео LTXV (LTXVAudioVideoMask) - ComfyUI-KJNodes | ComfyUI Wiki