SANA-Video : le transformer de diffusion linéaire vidéo de NVIDIA

Variantes

Sélectionnez une variante ci-dessus pour des Téléchargements de poids sélectionnés, des Tutoriels et des informations connexes.

À propos de la gamme SANA-Video

SANA-Video étend le transformer de diffusion linéaire SANA de NVIDIA de l'image à la vidéo. L'auto-attention est remplacée par l'attention linéaire, ce qui supprime le coût quadratique qui domine la génération vidéo riche en tokens, et le design ajoute des embeddings de position rotatifs ainsi qu'une convolution temporelle 1D à l'intérieur du Mix-FFN, afin qu'un modèle d'image pré-entraîné puisse être adapté à la vidéo par pré-entraînement continu. Un module d'attention linéaire par blocs doté d'un cache KV à mémoire constante conserve le contexte de chaque bloc précédent pour un coût mémoire fixe, ce qui rend pratique la génération de vidéos d'une minute. Les auteurs rapportent un budget d'entraînement de 12 jours sur 64 GPU H100.

SANA-Video 2.0 est la génération actuelle. Le checkpoint 5B 720p mélange 75 % de calques d'attention linéaire bidirectionnelle à portes avec 25 % d'ancres d'attention softmax denses périodiques, et agrège des Attention Residuals partagées tous les 8 calques. Il compte 32 calques, une taille cachée de 2 560 et 4,47 milliards de paramètres entraînables. Le conditionnement utilise Gemma 2 2B IT comme encodeur de texte, et le décodage utilise le contrat VAE LTX 2.3 avec 128 canaux latents et une compression temporelle et spatiale (8, 32, 32). Le checkpoint est post-entraîné avec ReFL à la fois pour le texte-vers-vidéo et le texte-image-vers-vidéo, de sorte qu'une première image peut être fournie comme condition supplémentaire.

Le hub de modèles expose les deux poids publiés comme une seule variante. Le checkpoint de base 720p en 50 étapes est le point d'entrée pour la génération conjointe texte-vers-vidéo et texte-image-vers-vidéo, tandis que la distillation DMD en 4 étapes est distribuée comme un APERÇU de recherche distinct, uniquement en texte-vers-vidéo. Le zoo de modèles officiel annonce également un modèle 14B 480p comme Bientôt disponible, mais il n'est pas encore publié.

Disponibilité

En amont, la documentation désigne la branche main du référentiel Sana comme point d'entrée d'inférence et attend qu'un VAE LTX 2.3 au format Diffusers soit fourni localement. La carte de modèle et le zoo de modèles ne documentent pas de Pack de Nœuds ComfyUI pour SANA-Video 2.0.