Kandinsky Lab, KVAE-Audio 오픈소스 공개: 48kHz 고음질 오디오 오토인코더
Kandinsky Lab(Sber)이 KVAE-Audio를 출시했습니다. 166.9M 파라미터의 연속형 오디오 오토인코더로, 음성, 음악, 일반 음향에 대해 48kHz 전체 대역폭에서 최첨단 재구성 품질을 제공합니다.
개요
KVAE-Audio는 166.9M 파라미터의 연속형 오디오 오토인코더로, 48kHz 전체 대역폭에서 동작합니다. 원시 오디오 파형을 64차원 연속 잠재 공간으로 압축하고 음성, 음악, 일반 음향 도메인에서 높은 충실도로 재구성합니다. 이 모델은 생성형 오디오 파이프라인의 구성 요소로 설계되었으며, 오토인코더만 교체해도 고정 생성기 하에서 생성 품질이 향상됩니다.
주요 결과
KVAE-Audio는 여러 도메인과 지표에서 최첨단 또는 경쟁력 있는 결과를 달성했습니다.
- 166.9M 파라미터 — MMAudio VAE(427.6M), DACVAE MovieGen(107.7M), SAME-L(852.1M)보다 현저히 작음
- 64차원 잠재 공간 — 확산 모델 통합에 이상적인 컴팩트한 표현
- AudioSet, MUSDB18-HQ, EARS, AudioCaps, Song Describer, LibriSpeech 벤치마크에서 베이스라인보다 우수한 성능
- 최고의 전반적 재구성: AudioSet 및 MUSDB18-HQ에서 가장 낮은 MEL, STFT, Waveform 거리
- 고정 생성기 하 최고의 생성 품질: AudioCaps에서 가장 높은 CLAP 점수(0.344) 및 FAD 점수
재구성 품질 (AudioSet)
| 모델 | 파라미터 | 잠재 차원 | MEL↓ | SI-SDR↑ | SDR↑ |
|---|---|---|---|---|---|
| MMAudio 44.1kHz VAE | 427.6M | 40 | 0.636 | -32.08 | -2.68 |
| DACVAE MovieGen | 107.7M | 128 | 0.669 | 8.38 | 9.42 |
| SAME-L (Stable Audio 3 VAE) | 852.1M | 256 | 0.986 | 9.59 | 10.35 |
| KVAE-Audio | 166.9M | 64 | 0.537 | 9.07 | 9.92 |
생성 품질 (AudioCaps)
고정 DiT 생성기 하에서 KVAE-Audio는 가장 높은 CLAP 점수(0.344), 교차 엔트로피(3.982), 지각적 품질(6.242)을 달성하여 훨씬 더 큰 SAME-L을 포함한 모든 베이스라인을 능가했습니다.
아키텍처
KVAE-Audio는 연속형 VAE(DAC/EnCodec과 같은 이산형이 아님)로, 확산 모델 학습에 적합한 부드럽고 정보가 풍부한 잠재 데이터를 생성하도록 설계되었습니다. 주요 아키텍처 세부 정보는 다음과 같습니다.
- 전체 대역 48kHz 동작 — 대역 분할 또는 서브밴드 코딩 없음
- 연속 잠재 공간 — 64차원, flow-matching 및 확산 백본용으로 설계
- 가벼운 디코더 — 실시간 애플리케이션에 충분히 효율적
제공 사항
모델은 MIT 라이선스로 HuggingFace에 사전 학습된 가중치와 함께 공개되었습니다. 저장소에는 다음이 포함됩니다.
- 사전 학습된 VAE 인코더 및 디코더 가중치
- 추론 스크립트
- 평가 벤치마크
GitHub: https://github.com/kandinskylab/kvae-audio HuggingFace: https://huggingface.co/kandinskylab/KVAE-Audio
의의
KVAE-Audio는 오픈소스 오디오 생성 생태계에 중요한 이정표를 세웠습니다. 경쟁사 대비 64차원의 컴팩트한 잠재 공간(경쟁사는 128~256차원)과 우수한 재구성 품질을 결합하여 텍스트 기반 오디오 생성, 비디오-오디오, 음악 생성 파이프라인에서 기존 오디오 VAE를 대체할 매력적인 옵션을 제공합니다. MIT 라이선스는 연구 및 상업 프로젝트 모두에 통합 장벽을 더욱 낮춰줍니다.