CausVid : de la génération vidéo bidirectionnelle lente à la génération vidéo causale rapide
CausVid par lightx2v/tianweiy adapte les transformateurs de diffusion bidirectionnelle à la génération vidéo causale autorégressive sur Wan2.1. CVPR 2025. Disponible en 14B fp8 avec LoRAs rank32.
CausVid
Wan2.1Video GenerationCausal GenerationAutoregressiveCVPR 2025Modèle de génération vidéo causale par lightx2v/tianweiy. Adapte les transformateurs de diffusion bidirectionnelle Wan2.1 pré-entraînés à la génération causale autorégressive rapide. CVPR 2025. Disponible en 14B fp8 avec LoRAs rank32.
| Développeur | lightx2v / tianweiy |
| Architecture | Basée sur Wan2.1 avec attention causale autorégressive |
| Tailles du modèle | 14B (fp8), plus LoRAs (rank32) |
| Capacités | Génération vidéo causale en temps réel, applications interactives |
Aperçu
CausVid (CVPR 2025) résout une limitation fondamentale des modèles de diffusion vidéo actuels : les dépendances d'attention bidirectionnelle qui empêchent une utilisation interactive en temps réel. En adaptant un transformateur de diffusion bidirectionnelle Wan2.1 pré-entraîné en un transformateur autorégressif causal, CausVid permet une génération image par image où chaque image ne dépend que des images passées, et non de la séquence entière.
Cette approche réduit considérablement la latence pour les applications interactives, la rendant adaptée aux scénarios de génération vidéo en temps réel tout en maintenant une qualité de sortie élevée.
Intégration ComfyUI
CausVid pour Wan2.1 est disponible en précision fp8 ainsi qu'avec des adaptateurs LoRA rank32 via le WanVideoWrapper de Kijai pour ComfyUI.
Variantes disponibles
| Variante | Précision | Description |
|---|---|---|
| 14B Base | fp8 | Modèle principal de génération causale |
| LoRAs | rank32 | Adaptateurs de fine-tuning pour génération causale |
Ressources
| Ressource | Lien |
|---|---|
| Dépôt GitHub | github.com/tianweiy/CausVid |
| Page du projet | causvid.github.io |
| Article | arXiv:2412.07772 |
| Hugging Face (Original) | lightx2v/Wan2.1-T2V-14B-CausVid |
| Hugging Face (Kijai) | Kijai/WanVideo_comfy |
Guides and workflows related to this model series.