Ovi : Génération audio-vidéo à double backbone par Character.AI
Ovi de Character.AI est un modèle audio-vidéo à double backbone basé sur Wan2.2 qui génère audio et vidéo synchronisés dans les deux sens.
Ovi
Génération audio-vidéoGénération vidéoCross-modalWan2.2Character.AIOvi de Character.AI est un modèle cross-modal à double backbone qui génère de manière bidirectionnelle l'audio et la vidéo synchronisés. Basé sur Wan2.2 (architecture A14B MoE), Ovi utilise des backbones de diffusion distincts pour l'audio et la vidéo avec un conditionnement par attention croisée entre les modalités. Le pipeline audio utilise le VAE MMAUDIO et le vocodeur BigVGAN pour une synthèse audio à 16 kHz. Disponible en précision bf16, optimisé pour ComfyUI via WanVideoWrapper de Kijai.
| Développeur | Character.AI |
| Date de sortie | 2025-10 |
| Architecture | Diffusion Transformer à double backbone (basé sur Wan2.2, A14B MoE) |
| Licence | Apache-2.0 |
| Tailles du modèle | Audio ~11,4 Go / Vidéo ~10,4 Go (bf16) |
| Capacités | Vidéo→Audio, Audio→Vidéo, Génération vidéo+audio |
| Audio | 16 kHz MMAUDIO VAE + vocodeur BigVGAN |
| Inférence | ComfyUI via Kijai WanVideoWrapper |
Variantes
| Variante | Description | Licence | Sortie |
|---|---|---|---|
| Ovi | Modèle audio-vidéo à double backbone : backbones audio et vidéo distincts avec conditionnement par attention croisée | Apache 2.0 | 2025-10 |
Sélectionnez une variante pour les tutoriels, les Nœuds personnalisés et les actualités associées. Les Téléchargements de poids sélectionnés se trouvent dans le catalogue Model Hub.
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.