OffsetMaskByNormalizedAmplitude

Узел OffsetMaskByNormalizedAmplitude получает маску типа MASK и нормализованную последовательность амплитуд типа NORMALIZED_AMPLITUDE в качестве основных входных данных. Он служит мостом к узлам AudioScheduler (https://github.com/a1lazydog/ComfyUI-AudioScheduler).

Узел OffsetMaskByNormalizedAmplitude — это инструмент для аудио-управляемого преобразования масок. Его основная функция заключается в динамическом смещении или вращении маски на основе входных значений нормализованной амплитуды, преобразуя ритм или изменения интенсивности аудио в визуальные динамические эффекты.

Функциональность узла

Этот узел принимает маску типа MASK и нормализованную амплитудную последовательность типа NORMALIZED_AMPLITUDE в качестве основных входных данных. Внутренне он вычисляет смещение или угол поворота маски для каждого кадра, умножая значение амплитуды на предустановленное смещение (x, y) или множитель угла (angle_multiplier), и выполняет преобразование с использованием функций roll и rotate из PyTorch. Значения амплитуды автоматически обрезаются до диапазона [0, 1], что обеспечивает стабильность преобразования.

Описание параметров узла - OffsetMaskByNormalizedAmplitude

Входные соединения (Inputs)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`normalized_amp`	NORMALIZED_AMPLITUDE	Да	-	-	: Нормализованная амплитудная последовательность, значения ограничены диапазоном от 0.0 до 1.0, используется для управления величиной смещения и вращения маски.
`mask`	MASK	Да	-	-	: Исходная маска, которая будет подвергнута преобразованию смещения или вращения.

Параметры управления (Parameters)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`x`	INT	Да	0	-4096 - MAX_RESOLUTION (шаг: 1)	: Управляет базовой интенсивностью смещения маски по горизонтальной оси (ось X). Диапазон значений от -4096 до MAX_RESOLUTION, шаг 1.
`y`	INT	Да	0	-4096 - MAX_RESOLUTION (шаг: 1)	: Управляет базовой интенсивностью смещения маски по вертикальной оси (ось Y). Диапазон значений от -4096 до MAX_RESOLUTION, шаг 1.
`rotate`	BOOLEAN	Да	False	-	: Булев переключатель. При установке в True активирует функцию вращения маски на основе амплитуды.
`angle_multiplier`	FLOAT	Да	0.0	-1.0 - 1.0 (шаг: 0.001)	: Множитель угла поворота, который вместе с амплитудой определяет угол вращения. Диапазон значений от -1.0 до 1.0, шаг 0.001.

Выходные данные (Output)

Название параметра	Тип данных	Описание
mask	MASK	: Новая маска после преобразования смещения или вращения.

Сценарии использования

В практических приложениях этот узел часто используется совместно с узлами серии AudioScheduler для создания музыкальной визуализации или анимации, реагирующей на аудио. Например, в рабочем процессе генерации видео можно подать результат анализа амплитуды музыкальной композиции на этот узел, чтобы управлять позицией или вращением маски переднего плана, синхронизируя движение маски с ритмом музыки, что позволяет создавать динамичные визуальные эффекты.

Важные замечания

При использовании следует учитывать, что смещение и вращение маски вычисляются на основе мгновенных значений амплитуды. Слишком большие значения смещения могут привести к нежелательным эффектам циклического переноса (wrapping) изображения на границах. Кроме того, необходимо убедиться, что входные данные амплитуды нормализованы.

Ссылка на исходный код узла OffsetMaskByNormalizedAmplitude

Узел OffsetMaskByNormalizedAmplitude взят из пакета узлов ComfyUI-KJNodes.