Kandinsky Lab 开源 KVAE-Audio：48kHz 高保真音频自编码器
news
Kandinsky Lab（Sber）发布 KVAE-Audio，一个 1.669 亿参数的连续音频自编码器，在 48kHz 全带宽下实现语音、音乐和通用声音的最优重建质量。
Kandinsky Lab（Sber）已发布 **KVAE-Audio**（GitHub | HuggingFace），这是一个连续全频段音频自编码器，可将原始波形压缩为紧凑的潜在表示，并以最优保真度重建。
概述
KVAE-Audio 是一个 1.669 亿参数 的连续音频自编码器，工作于 48kHz 全带宽。它将原始音频波形压缩到 64 维连续潜在空间，并在语音、音乐和通用声音领域以高保真度重建。该模型被设计为生成式音频管道的构建模块——仅替换自编码器即可在固定生成器下提升生成质量。
主要结果
KVAE-Audio 在多个领域和指标上取得了 最优或具有竞争力的结果：
- 1.669 亿参数 —— 远小于 MMAudio VAE（4.276 亿）、DACVAE MovieGen（1.077 亿）和 SAME-L（8.521 亿）
- 64 维潜在空间 —— 紧凑的表示，非常适合扩散模型集成
- 在 AudioSet、MUSDB18-HQ、EARS、AudioCaps、Song Describer 和 LibriSpeech 基准测试上超越基线
- 最佳整体重建质量：在 AudioSet 和 MUSDB18-HQ 上 MEL、STFT 和波形距离最低
- 固定生成器下的最佳生成质量：在 AudioCaps 上获得最高 CLAP 分数（0.344）和 FAD 分数
重建质量（AudioSet）
| 模型 | 参数 | 潜在维度 | MEL↓ | SI-SDR↑ | SDR↑ |
|---|---|---|---|---|---|
| MMAudio 44.1kHz VAE | 4.276 亿 | 40 | 0.636 | -32.08 | -2.68 |
| DACVAE MovieGen | 1.077 亿 | 128 | 0.669 | 8.38 | 9.42 |
| SAME-L（Stable Audio 3 VAE） | 8.521 亿 | 256 | 0.986 | 9.59 | 10.35 |
| KVAE-Audio | 1.669 亿 | 64 | 0.537 | 9.07 | 9.92 |
生成质量（AudioCaps）
在固定 DiT 生成器下，KVAE-Audio 实现了最佳 CLAP 分数（0.344）、交叉熵（3.982）和感知质量（6.242），优于所有基线，包括大得多的 SAME-L。
架构
KVAE-Audio 是一个连续 VAE（非离散型，如 DAC/EnCodec），旨在生成适合扩散模型训练的平滑、信息丰富的潜在变量。主要架构细节包括：
- 全频段 48kHz 操作 —— 无需频带分割或子带编码
- 连续潜在空间 —— 64 维，专为流匹配和扩散主干设计
- 轻量级解码器 —— 足够高效，适用于实时应用
可用性
该模型在 HuggingFace 上以 MIT 许可证 发布，附带预训练权重。仓库包含：
- 预训练的 VAE 编码器和解码器权重
- 推理脚本
- 评估基准
GitHub：https://github.com/kandinskylab/kvae-audio HuggingFace：https://huggingface.co/kandinskylab/KVAE-Audio
重要性
KVAE-Audio 代表了开源音频生成生态系统的重要一步。其紧凑的潜在空间（64 维，竞争对手为 128-256 维）结合优越的重建质量，使其成为文生音频、视频转音频和音乐生成管道中现有音频 VAE 的有吸引力的即插即用替代方案。MIT 许可证进一步降低了集成到研究和商业项目中的门槛。