AKUSPACE: Пространственный аудио LoRA для LTX-2.5

ComfyUI Wikinews

KoshiMazaki выпускает AKUSPACE v0.5, пространственный аудио LoRA для LTX-2.5, который размещает сгенерированные голоса и музыку в комнатах, клубах, соборах или на улице, включая узлы ComfyUI.

KoshiMazaki выпустил AKUSPACE v0.5, пространственно осознанный аудио LoRA для LTX-2.5, который придаёт сгенерированному или эталонному звуку акустические характеристики физического пространства: маленькой комнаты, пустого клуба, собора или открытой среды. Сам LoRA, демонстрационный сайт и сопутствующий Пакет Узлов ComfyUI открыты: Hugging Face | интерактивная демоверсия | ComfyUI-Koshi-Nodes.

AKUSPACE control surface

Управляющая панель AKUSPACE: источник, слушатель и выбранное акустическое пространство, с показанным ниже временем затухания.

Что он делает

AKUSPACE обучен как аудио-аудио адаптер: он преобразует полученный звук, формируя голоса, биты и инструменты с помощью комнатного реверберации, уличной атмосферы и пространственных звуковых эффектов. Управляющая панель управляется промптом, со словом-триггером AKUSPACE и словом уровня между пространством и его характером:

AKUSPACE female spoken voice through synthetic cathedral reverb, moderate wide diffuse reflections and a long decaying tail, no background ambience
РежимВариантыУровни
Пространство: комната, в которой находится звукмаленькая комната, средняя комната, пустой клуб, собормягкий / умеренный / сильный
Место: среда, в которой находится звукулица днём, улица ночьюмягкий / сильный
Звуковые эффекты: обработка звукадвойная задержкамягкий / сильный

«Места» на улице только масштабируются вниз, а не вверх: фон атмосферы — это отдельная запись, а не хвост реверберации. Подписи к комнатам содержат время затухания; собор: зернистый эффект, а оба места на улице не имеют числового затухания.

Поддерживаемые рабочие процессы

ВходВыход
АудиоОбработка аудио-в-аудио для существующей записи
Текст + аудиоТекст-в-видео с синхронизированным аудио, обработанным через AKUSPACE
Изображение + аудиоИзображение-в-видео с синхронизированным аудио, обработанным через AKUSPACE

Проверенный маршрут для видео: сухой голос, затем проход обработки пространства аудио-в-аудио, затем изображение+аудио-в-видео с фиксированным обработанным аудио, пока изображение задаёт условия для первого кадра. Адаптер нацелен на ветви аудио; генерация видео обрабатывается базовой моделью LTX-2.5. Он также может работать как проход дубляжа, где его выровненный по времени эталон удерживает обработку привязанной к исходному исполнению.

Отключите улучшение промпта. Перефразировщик переписывает слово-триггер и слово уровня, которые являются именно теми токенами, от которых зависит управляющая панель. Также обратите внимание, что при загруженном LoRA и отсутствии эталонного аудио генерация текста-в-аудио производит почти тишину: нечего преобразовывать.

Настройки и использование

Рекомендуемые настройки: 24 шага, CFG 1-2, корректировка до CFG 4 для большей громкости и детализации. Частичные подписи работают хуже полных, так как заключительные части фразы были присутствуют во всех обучающих подписях. Пакет узлов ComfyUI поставляется с просмотрщиком three.js для манипулирования промптом из вида сцены: источник, слушатель и пространство.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
AKUSPACE: Пространственный аудио LoRA для LTX-2.5 | ComfyUI Wiki