Kandinsky Lab ouvre en source libre KVAE-Audio : un autoencodeur audio haute fidélité à 48 kHz
Kandinsky Lab (Sber) publie KVAE-Audio, un autoencodeur audio continu de 166,9 millions de paramètres offrant une qualité de reconstruction de pointe pour la parole, la musique et les sons généraux à 48 kHz pleine bande.
Présentation
KVAE-Audio est un autoencodeur audio continu de 166,9 millions de paramètres fonctionnant à 48 kHz pleine bande. Il compresse les formes d'onde audio brutes dans un espace latent continu de 64 dimensions et les reconstruit avec une haute fidélité pour la parole, la musique et les sons généraux. Le modèle est conçu comme un composant de base pour les pipelines de génération audio : le simple remplacement de l'autoencodeur améliore la qualité de génération avec un générateur fixe.
Principaux résultats
KVAE-Audio atteint des résultats de pointe ou compétitifs sur plusieurs domaines et métriques :
- 166,9 millions de paramètres — significativement plus petit que MMAudio VAE (427,6 M), DACVAE MovieGen (107,7 M) et SAME-L (852,1 M)
- Espace latent 64 dimensions — représentation compacte idéale pour l'intégration avec des modèles de diffusion
- Surpasse les références sur les benchmarks AudioSet, MUSDB18-HQ, EARS, AudioCaps, Song Describer et LibriSpeech
- Meilleure reconstruction globale : distances MEL, STFT et forme d'onde les plus faibles sur AudioSet et MUSDB18-HQ
- Meilleure qualité de génération avec générateur fixe : meilleur score CLAP (0,344) et meilleurs scores FAD sur AudioCaps
Qualité de reconstruction (AudioSet)
| Modèle | Paramètres | Dim. latente | MEL↓ | SI-SDR↑ | SDR↑ |
|---|---|---|---|---|---|
| MMAudio 44.1kHz VAE | 427,6M | 40 | 0,636 | -32,08 | -2,68 |
| DACVAE MovieGen | 107,7M | 128 | 0,669 | 8,38 | 9,42 |
| SAME-L (Stable Audio 3 VAE) | 852,1M | 256 | 0,986 | 9,59 | 10,35 |
| KVAE-Audio | 166,9M | 64 | 0,537 | 9,07 | 9,92 |
Qualité de génération (AudioCaps)
Avec un générateur DiT fixe, KVAE-Audio obtient le meilleur score CLAP (0,344), la meilleure entropie croisée (3,982) et la meilleure qualité perceptuelle (6,242), surpassant toutes les références, y compris le SAME-L beaucoup plus grand.
Architecture
KVAE-Audio est un VAE continu (non discret comme DAC/EnCodec) conçu pour produire des latents lisses et riches en informations, adaptés à l'entraînement de modèles de diffusion. Les détails architecturaux clés incluent :
- Fonctionnement pleine bande à 48 kHz — pas de division de bande ni de codage sous-bande
- Espace latent continu — 64 dimensions, conçu pour les backbones de flow-matching et diffusion
- Décodeur léger — assez efficace pour des applications en temps réel
Disponibilité
Le modèle est publié sous licence MIT sur HuggingFace avec des poids pré-entraînés. Le dépôt comprend :
- Poids pré-entraînés de l'encodeur et du décodeur VAE
- Scripts d'inférence
- Benchmarks d'évaluation
GitHub : https://github.com/kandinskylab/kvae-audio HuggingFace : https://huggingface.co/kandinskylab/KVAE-Audio
Importance
KVAE-Audio représente une étape importante pour l'écosystème open-source de génération audio. Son espace latent compact (64 dimensions contre 128-256 pour les concurrents) associé à une qualité de reconstruction supérieure en fait un remplacement intéressant pour les VAE audio existants dans les pipelines de texte vers audio, vidéo vers audio et de génération musicale. La licence MIT abaisse encore la barrière pour l'intégration dans des projets de recherche et commerciaux.