Create Audio Mask (CreateAudioMask) - ComfyUI-KJNodes

Устаревший: Этот узел устарел и перемещен в категорию KJNodes/deprecated. Он может быть удален в будущих обновлениях. Рассмотрите возможность использования альтернативных узлов для генерации масок на основе аудио.

Узел Create Audio Mask загружает WAV-аудиофайл по указанному пути и использует библиотеку librosa для вычисления его кратковременного преобразования Фурье (STFT) с целью получения спектральных данных.

Узел Create Audio Mask способен динамически генерировать серию изображений-масок на основе спектральной информации аудиофайла. Его основная функция заключается в преобразовании изменений амплитуды аудио в визуальную последовательность круглых масок, предоставляя визуальные элементы, синхронизированные с ритмом аудио, для последующей обработки изображений или композиции видео.

Функциональность узла

Этот узел загружает WAV-аудиофайл по указанному пути и использует библиотеку librosa для вычисления его кратковременного преобразования Фурье (STFT) с целью получения спектральных данных. На основе заданного количества кадров узел извлекает среднюю амплитуду для соответствующих временных сегментов из спектра. Это значение амплитуды затем умножается на коэффициент масштабирования для вычисления радиуса круга. В конечном итоге генерируется изображение белого круга (или черного круга после инверсии) в центре холста указанного размера.

Описание параметров узла - Create Audio Mask

Параметры элементов управления (Parameters)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`invert`	BOOLEAN	Да	False	-	invert (входной параметр): Инвертирует цвет маски. При значении False генерируется белый фон с черным кругом, при True — черный фон с белым кругом.
`frames`	INT	Да	16	1 - 255 (шаг: 1)	frames (входной параметр): Задает общее количество кадров генерируемых изображений-масок. Диапазон значений от 1 до 255.
`scale`	FLOAT	Да	0.5	0.0 - 2.0 (шаг: 0.01)	scale (входной параметр): Коэффициент масштабирования, управляющий радиусом круга. Диапазон значений от 0.0 до 2.0 с шагом 0.01.
`audio_path`	STRING	Да	audio.wav	-	audio_path (входной параметр): Строка, указывающая путь к входному аудиофайлу. По умолчанию читает файл "audio.wav" в текущем каталоге.
`width`	INT	Да	256	16 - 4096 (шаг: 1)	width (входной параметр): Задает ширину выходного изображения маски в пикселях. Диапазон значений от 16 до 4096.
`height`	INT	Да	256	16 - 4096 (шаг: 1)	height (входной параметр): Задает высоту выходного изображения маски в пикселях. Диапазон значений от 16 до 4096.

Выходные данные (Output)

Название параметра	Тип данных	Описание
IMAGE	IMAGE	IMAGE (выходной параметр): Выводит сгенерированную последовательность изображений, представляющую собой визуализированные маски, соответствующие аудиоспектру.

Сценарии использования

Этот узел очень полезен при создании музыкальных визуализаций или рабочих процессов, требующих синхронизации аудио и видеоэффектов. Вы можете подключить сгенерированную последовательность изображений (масок) к узлам смешивания изображений или перерисовки областей, чтобы управлять областью появления или исчезновения определенных элементов в видео (таких как блики, частицы) в соответствии с музыкальным ритмом, достигая таким образом эффекта визуальных изменений, управляемых аудио.

Важные замечания

Этот узел зависит от библиотеки librosa. Ее отсутствие приведет к ошибке выполнения. Путь к аудиофайлу по умолчанию — "audio.wav". Если файл находится не в корневом каталоге ComfyUI, может потребоваться использовать абсолютный путь, чтобы узел мог корректно прочитать файл.

Ссылка на исходный код узла Create Audio Mask

Узел Create Audio Mask взят из пакета узлов ComfyUI-KJNodes.

Create Audio Mask(CreateAudioMask)