Kandinsky Lab publica en código abierto KVAE-Audio: un autoencoder de audio de 48 kHz de alta fidelidad
Kandinsky Lab (Sber) lanza KVAE-Audio, un autoencoder de audio continuo de 166,9 millones de parámetros que logra una calidad de reconstrucción de vanguardia en voz, música y sonido general a 48 kHz de ancho de banda completo.
Resumen
KVAE-Audio es un autoencoder de audio continuo de 166,9 millones de parámetros que opera a 48 kHz de ancho de banda completo. Comprime formas de onda de audio sin procesar en un espacio latente continuo de 64 dimensiones y las reconstruye con alta fidelidad en los dominios de voz, música y sonido general. El modelo está diseñado como un componente básico para tuberías de audio generativo: reemplazar solo el autoencoder mejora la calidad de generación bajo un generador fijo.
Resultados clave
KVAE-Audio logra resultados de vanguardia o competitivos en múltiples dominios y métricas:
- 166,9 millones de parámetros — significativamente menor que MMAudio VAE (427,6M), DACVAE MovieGen (107,7M) y SAME-L (852,1M)
- Espacio latente de 64 dimensiones — representación compacta ideal para la integración con modelos de difusión
- Supera a las líneas base en los benchmarks AudioSet, MUSDB18-HQ, EARS, AudioCaps, Song Describer y LibriSpeech
- Mejor reconstrucción global: distancias MEL, STFT y Waveform más bajas en AudioSet y MUSDB18-HQ
- Mejor calidad de generación bajo generador fijo: puntuación CLAP más alta (0,344) y puntuaciones FAD en AudioCaps
Calidad de reconstrucción (AudioSet)
| Modelo | Parámetros | Dimensión latente | MEL↓ | SI-SDR↑ | SDR↑ |
|---|---|---|---|---|---|
| MMAudio 44.1kHz VAE | 427,6M | 40 | 0,636 | -32,08 | -2,68 |
| DACVAE MovieGen | 107,7M | 128 | 0,669 | 8,38 | 9,42 |
| SAME-L (Stable Audio 3 VAE) | 852,1M | 256 | 0,986 | 9,59 | 10,35 |
| KVAE-Audio | 166,9M | 64 | 0,537 | 9,07 | 9,92 |
Calidad de generación (AudioCaps)
Bajo un generador DiT fijo, KVAE-Audio logra la mejor puntuación CLAP (0,344), entropía cruzada (3,982) y calidad perceptiva (6,242), superando a todas las líneas base, incluido el mucho más grande SAME-L.
Arquitectura
KVAE-Audio es un VAE continuo (no discreto como DAC/EnCodec) diseñado para producir latentes suaves y ricos en información adecuados para el entrenamiento de modelos de difusión. Los detalles arquitectónicos clave incluyen:
- Operación de banda completa a 48 kHz — sin división de bandas ni codificación de subbandas
- Espacio latente continuo — 64 dimensiones, diseñado para backbones de flujo-matching y difusión
- Decodificador ligero — suficientemente eficiente para aplicaciones en tiempo real
Disponibilidad
El modelo se publica bajo la licencia MIT en HuggingFace con pesos preentrenados. El repositorio incluye:
- Pesos del codificador y decodificador VAE preentrenados
- Scripts de inferencia
- Benchmarks de evaluación
GitHub: https://github.com/kandinskylab/kvae-audio HuggingFace: https://huggingface.co/kandinskylab/KVAE-Audio
Importancia
KVAE-Audio representa un paso importante para el ecosistema de generación de audio de código abierto. Su espacio latente compacto (64 dimensiones frente a 128-256 de la competencia), combinado con una calidad de reconstrucción superior, lo convierte en un reemplazo directo atractivo para los VAE de audio existentes en tuberías de texto a audio, video a audio y generación musical. La licencia MIT reduce aún más la barrera para la integración en proyectos tanto de investigación como comerciales.