SkyReels-V2 : Modèle génératif de film de longueur infinie par Skywork
SkyReels-V2 est le premier modèle génératif de film de longueur infinie open source utilisant Diffusion Forcing. Construit sur Wan2.1, il prend en charge la génération T2V, I2V et vidéo autorégressive.
SkyReels-V2
VidéoTexte-vers-vidéoImage-vers-vidéoDiffusion ForcingLongueur infinieOpen SourceSkyReels-V2 est un modèle génératif de film de longueur infinie par Kunlun Tech (Skywork), utilisant une architecture AutoRegressive Diffusion-Forcing pour une génération vidéo open source de pointe. Construit sur Wan2.1, il prend en charge le texte-vers-vidéo (T2V), l'image-vers-vidéo (I2V) et la génération Diffusion Forcing (DF) de longueur infinie via des modes d'inférence synchrone et asynchrone. Disponible en tailles de paramètres 14B et 1.3B aux résolutions 540P et 720P. Des adaptateurs LoRA sont également disponibles pour le fine-tuning. Support ComfyUI via WanVideoWrapper de Kijai.
| Développeur | Kunlun Tech (Skywork AI) |
| Date de sortie | 2025-04-21 |
| Architecture | AutoRegressive Diffusion-Forcing Transformer |
| Modèle de base | Wan2.1 (Wan-AI) |
| Licence | Licence communautaire SkyReels-V2 |
| Tailles du modèle | 14B (complet) / 1.3B (léger) |
| Capacités | Texte-vers-vidéo (14B), Image-vers-vidéo (14B), Diffusion Forcing (14B/1.3B) : autorégressif de longueur infinie |
| Résolutions de sortie | 540P (960×544) / 720P (1280×720) |
| Images max | 97~1457 images (4s–60s+ à 24 ips) |
| VRAM (540P) | ~51.2 Go (14B) / ~14.7 Go (1.3B) |
Aperçu
SkyReels-V2 est le premier modèle génératif vidéo open source utilisant une architecture AutoRegressive Diffusion-Forcing, atteignant des performances de pointe parmi les modèles disponibles publiquement. Il synergise les modèles de langage multimodaux (MLLM), le pré-entraînement multi-étapes, l'apprentissage par renforcement et le framework Diffusion Forcing pour permettre la génération de films de longueur infinie.
Variantes du modèle
Trois types de modèles sont disponibles, chacun avec plusieurs résolutions et options de précision :
| Type | Description | Tailles disponibles | Précision |
|---|---|---|---|
| Diffusion Forcing (DF) | Génération vidéo autorégressive de longueur infinie ; prend en charge les tâches T2V et I2V en modes synchrone ou asynchrone | 14B (540P/720P), 1.3B (540P) | fp16, fp8_e4m3fn, fp8_e5m2 |
| Texte-vers-vidéo (T2V) | Génération standard texte-vers-vidéo | 14B (540P/720P) | fp16, fp8_e4m3fn, fp8_e5m2 |
| Image-vers-vidéo (I2V) | Génération vidéo conditionnée par image | 14B (540P/720P) | fp16, fp8_e4m3fn, fp8_e5m2 |
| SkyReels A2 | Génération vidéo contrôlable pour assembler des éléments visuels arbitraires ; Apache-2.0 | 14B (fp8) | fp8_e4m3fn |
Fonctionnalités clés
- Génération de longueur infinie : utilise Diffusion Forcing avec prédiction autorégressive d'images pour générer des vidéos arbitrairement longues au-delà des limites d'un seul clip
- Inférence synchrone et asynchrone : synchrone pour une génération plus rapide, asynchrone pour un meilleur suivi des instructions et une cohérence visuelle
- Extension vidéo : étendre les vidéos existantes avec le modèle DF en passant un chemin vidéo
- Contrôle des images de début et de fin : contrôler les première et dernière images des vidéos générées
- Amélioration du prompt : améliorateur de prompt intégré utilisant Qwen2.5-32B-Instruct
- Accélération TeaCache : mise en cache optionnelle pour une inférence plus rapide
- Support du déchargement CPU : le déchargement CPU réduit les besoins en VRAM maximale
Configuration ComfyUI
Ces modèles sont empaquetés par Kijai pour être utilisés avec le nœud personnalisé WanVideoWrapper. Placez les modèles de diffusion dans ComfyUI/models/diffusion_models/ et les LoRA dans ComfyUI/models/loras/.