SANA-Video 2.0 5B 720p : le modèle vidéo efficace de NVIDIA
SANA-Video 2.0 5B génère des clips de 736x1280, 193 images, à 24 FPS à partir d'un texte ou d'une première image, avec un aperçu DMD en 4 étapes pour le text-to-video.
SANA-Video 2.0 5B 720p
Text-to-VideoImage-to-VideoLinear DiT720pNVIDIALe transformer de diffusion vidéo de classe 5B de NVIDIA. Le checkpoint de base à 50 étapes est post-entraîné pour le text-to-video et le text-image-to-video en 736x1280 pendant environ huit secondes, et une distillation DMD en 4 étapes est publiée en parallèle comme aperçu de recherche pour le text-to-video.
| Développeur | NVIDIA (équipe SANA) |
| Date de sortie | 2026-08 (base), 2026-08-27 (aperçu 4 étapes) |
| Architecture | Transformer de diffusion linéaire SanaVideo2_5B, 32 couches, 4,47 milliards de paramètres |
| Encodeur texte | Gemma 2 2B IT |
| VAE | LTX 2.3, 128 canaux latents, stride (8, 32, 32) |
| Sortie | 736x1280 à 193 images et 24 FPS (environ 8 secondes) |
| Modes de génération | Text-to-video, text-image-to-video |
| Licence | Apache-2.0 |
Architecture
SANA-Video 2.0 5B est un transformer de diffusion linéaire SanaVideo2_5B de 32 couches, avec une taille cachée de 2 560 et 4 466 980 960 paramètres entraînables (4,47 milliards). L'attention est hybride : 75 % de couches d'attention linéaire bidirectionnelle à porte portent l'essentiel de la séquence, tandis que 25 % d'ancres d'attention softmax dense périodiques restaurent le mélange global, et une agrégation Attention Residual partagée, indépendante du pas de temps, s'exécute toutes les 8 couches. Le conditionnement texte provient de google/gemma-2-2b-it, et l'espace latent suit le contrat VAE LTX 2.3 avec 128 canaux latents et une compression temporelle et spatiale (8, 32, 32).
Le fichier .pth publié est un artefact d'inférence. Les poids de base EMA de SANA-Video 2.0 et un adaptateur de post-entraînement ReFL ont été fusionnés avant la publication, de sorte que le fichier ne contient que le state_dict fusionné, sans optimiseur, scheduler ni tenseurs LoRA autonomes. Le point d'entrée officiel convertit le transformer en BF16.
Contrat de sortie et échantillonnage
Le bucket 720p par défaut est 736 x 1280 à 193 images et 24 FPS, soit environ huit secondes par clip. Les deux dimensions spatiales doivent être divisibles par 32, ce qui explique que la largeur ne soit pas le 1280 plus habituel à elle seule, et le nombre d'images doit satisfaire (num_frames - 1) % 8 == 0. L'exemple de publication vérifié tourne en BF16 avec CFG 8, flow shift 12, 50 étapes et motion score 20.
L'aperçu en 4 étapes est une distillation DMD du modèle complet plutôt qu'un LoRA, et il est réservé au text-to-video. Il tourne à CFG 1 avec le profil sigma sana_shift6_dpm et n'utilise pas de trajectoire DPM-Solver tronquée : à chacune des quatre étapes fixes, le modèle prédit la vélocité, calcule x0, puis re-bruite au sigma suivant (0.9998, 0.9472, 0.8569 et 0.6664) avec un nouveau tirage depuis le même générateur seedé. L'aperçu produit 81 images à 16 FPS, et 193 images à 24 FPS dans la liste du model zoo.
Disponibilité
L'inférence passe par la branche main du référentiel Sana, qui charge le checkpoint directement depuis le référentiel Hugging Face, et un VAE LTX 2.3 au format Diffusers doit être placé dans output/pretrained_models/LTX-2.3-Diffusers/ ou indiqué via vae.vae_pretrained. La carte du modèle et le model zoo listent ce chemin Python comme la seule voie prise en charge, et aucune intégration ComfyUI pour SANA-Video 2.0 n'est documentée en amont.
Ressources
Guides and workflows related to this model series.
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.