Kandinsky Lab открывает исходный код KVAE-Audio: высококачественный аудиоавтоэнкодер с частотой 48 кГц
Kandinsky Lab (Сбер) выпускает KVAE-Audio — непрерывный аудиоавтоэнкодер с 166,9 млн параметров, обеспечивающий реконструкцию высочайшего качества для речи, музыки и общих звуков на полной полосе 48 кГц.
Обзор
KVAE-Audio — это непрерывный аудиоавтоэнкодер с 166,9 млн параметров, работающий на полной полосе 48 кГц. Он сжимает сырые аудиосигналы в 64-мерное непрерывное латентное пространство и восстанавливает их с высокой точностью в области речи, музыки и общих звуков. Модель предназначена как строительный блок для генеративных аудиопайплайнов: замена только автоэнкодера улучшает качество генерации при фиксированном генераторе.
Ключевые результаты
KVAE-Audio достигает рекордных или конкурентоспособных результатов в различных областях и метриках:
- 166,9 млн параметров — значительно меньше, чем MMAudio VAE (427,6 млн), DACVAE MovieGen (107,7 млн) и SAME-L (852,1 млн)
- 64-мерное латентное пространство — компактное представление, идеально подходящее для интеграции с диффузионными моделями
- Превосходит базовые модели на наборах данных AudioSet, MUSDB18-HQ, EARS, AudioCaps, Song Describer и LibriSpeech
- Лучшая общая реконструкция: минимальные расстояния MEL, STFT и формы сигнала на AudioSet и MUSDB18-HQ
- Лучшее качество генерации при фиксированном генераторе: наивысший CLAP score (0,344) и FAD на AudioCaps
Качество реконструкции (AudioSet)
| Модель | Параметры | Размерность латентного пространства | MEL↓ | SI-SDR↑ | SDR↑ |
|---|---|---|---|---|---|
| MMAudio 44.1kHz VAE | 427,6M | 40 | 0,636 | -32,08 | -2,68 |
| DACVAE MovieGen | 107,7M | 128 | 0,669 | 8,38 | 9,42 |
| SAME-L (Stable Audio 3 VAE) | 852,1M | 256 | 0,986 | 9,59 | 10,35 |
| KVAE-Audio | 166,9M | 64 | 0,537 | 9,07 | 9,92 |
Качество генерации (AudioCaps)
При фиксированном генераторе DiT модель KVAE-Audio достигает наилучшего CLAP score (0,344), кросс-энтропии (3,982) и перцептуального качества (6,242), превосходя все базовые модели, включая значительно более крупную SAME-L.
Архитектура
KVAE-Audio — это непрерывный VAE (не дискретный, как DAC/EnCodec), предназначенный для создания гладких, информационно насыщенных латентных представлений, подходящих для обучения диффузионных моделей. Ключевые архитектурные детали:
- Полнодиапазонная работа 48 кГц — без разделения полос или поддиапазонного кодирования
- Непрерывное латентное пространство — 64-мерное, разработано для flow-matching и диффузионных бэкбонов
- Лёгкий декодер — достаточно эффективен для приложений реального времени
Доступность
Модель выпущена под лицензией MIT на HuggingFace с предобученными весами. Репозиторий включает:
- Предобученные веса энкодера и декодера VAE
- Скрипты для инференса
- Эталонные тесты для оценки
GitHub: https://github.com/kandinskylab/kvae-audio HuggingFace: https://huggingface.co/kandinskylab/KVAE-Audio
Значимость
KVAE-Audio представляет собой важный шаг для экосистемы генерации аудио с открытым исходным кодом. Компактное латентное пространство (64-мерное против 128–256 у конкурентов) в сочетании с превосходным качеством реконструкции делает его привлекательной заменой для существующих аудио VAE в пайплайнах текст-в-аудио, видео-в-аудио и генерации музыки. Лицензия MIT дополнительно снижает барьер для интеграции как в исследовательские, так и в коммерческие проекты.