Kandinsky LabがKVAE-Audioをオープンソース化：高忠実度48kHzオーディオオートエンコーダ
Kandinsky Lab（Sber）がKVAE-Audioをリリース。166.9Mパラメータの連続オーディオオートエンコーダで、音声、音楽、一般音声を48kHzフル帯域で最先端の再構築品質を実現します。
概要
KVAE-Audioは、1億6690万パラメータ（166.9M）の連続オーディオオートエンコーダで、48kHzのフル帯域で動作します。生のオーディオ波形を64次元の連続潜在空間に圧縮し、音声、音楽、一般音声の各ドメインで高忠実度に再構築します。このモデルは、生成オーディオパイプラインの構成要素として設計されており、オートエンコーダのみを交換するだけで、固定生成器の下での生成品質が向上します。
主な結果
KVAE-Audioは、複数のドメインと指標において最先端または競争力のある結果を達成しています。
- 1億6690万パラメータ — MMAudio VAE（4億2760万）、DACVAE MovieGen（1億0770万）、SAME-L（8億5210万）よりも大幅に小型
- 64次元の潜在空間 — 拡散モデルへの統合に理想的なコンパクトな表現
- AudioSet、MUSDB18-HQ、EARS、AudioCaps、Song Describer、LibriSpeechの各ベンチマークでベースラインを上回る
- 全体的な再構築が最良：AudioSetとMUSDB18-HQで最低のMEL、STFT、波形距離
- 固定生成器での生成品質が最良：AudioCapsで最高のCLAPスコア（0.344）とFADスコア
再構築品質（AudioSet）
| モデル | パラメータ | 潜在次元 | MEL↓ | SI-SDR↑ | SDR↑ |
|---|---|---|---|---|---|
| MMAudio 44.1kHz VAE | 427.6M | 40 | 0.636 | -32.08 | -2.68 |
| DACVAE MovieGen | 107.7M | 128 | 0.669 | 8.38 | 9.42 |
| SAME-L（Stable Audio 3 VAE） | 852.1M | 256 | 0.986 | 9.59 | 10.35 |
| KVAE-Audio | 166.9M | 64 | 0.537 | 9.07 | 9.92 |
生成品質（AudioCaps）
固定のDiT生成器の下で、KVAE-Audioは最高のCLAPスコア（0.344）、クロスエントロピー（3.982）、知覚品質（6.242）を達成し、はるかに大きなSAME-Lを含むすべてのベースラインを上回っています。
アーキテクチャ
KVAE-Audioは連続VAE（DAC/EnCodecのような離散型ではありません）で、拡散モデルのトレーニングに適したスムーズで情報豊富な潜在変数を生成するように設計されています。主なアーキテクチャの詳細は次のとおりです。
- 48kHzフルバンド動作 — 帯域分割やサブバンド符号化は不要
- 連続潜在空間 — 64次元、フローマッチングおよび拡散バックボーン向けに設計
- 軽量デコーダ — リアルタイムアプリケーションに十分な効率
入手方法
モデルはMITライセンスのもと、HuggingFaceで事前学習済み重みとともに公開されています。リポジトリには以下が含まれます。
- 事前学習済みVAEエンコーダおよびデコーダの重み
- 推論スクリプト
- 評価ベンチマーク
GitHub: https://github.com/kandinskylab/kvae-audio HuggingFace: https://huggingface.co/kandinskylab/KVAE-Audio
意義
KVAE-Audioは、オープンソースのオーディオ生成エコシステムにとって重要な一歩です。コンパクトな潜在空間（競合の128〜256次元に対し64次元）と優れた再構築品質を兼ね備えており、テキストから音声生成、ビデオから音声生成、音楽生成パイプラインにおいて、既存のオーディオVAEのドロップイン代替として魅力的です。MITライセンスにより、研究プロジェクトと商用プロジェクトの両方への統合の障壁がさらに低くなっています。