SANA-Video: el transformer de difusión lineal de NVIDIA para vídeo

Variantes

Seleccione una variante arriba para ver descargas de pesos seleccionadas, tutoriales e información relacionada.

Acerca de la línea SANA-Video

SANA-Video extiende el transformer de difusión lineal SANA de NVIDIA desde las imágenes al vídeo. La autoatención se reemplaza por atención lineal, lo que elimina el coste cuadrático que domina la generación de vídeo con gran cantidad de tokens, y el diseño añade embeddings de posición rotatorios más una convolución temporal 1D dentro del Mix-FFN, de modo que un modelo de imagen preentrenado puede adaptarse a vídeo mediante preentrenamiento continuado. Un módulo de atención lineal por bloques con una caché KV de memoria constante mantiene el contexto de cada bloque anterior a un coste de memoria fijo, y eso es lo que hace práctica la generación de vídeos de un minuto de duración. Los autores informan de un presupuesto de entrenamiento de 12 días en 64 GPU H100.

SANA-Video 2.0 es la generación actual. El checkpoint 5B 720p combina un 75 % de capas de atención lineal bidireccional con compuertas y un 25 % de anclas de atención densa softmax periódicas, y agrega Attention Residuals compartidas cada 8 capas. Tiene 32 capas, un tamaño oculto de 2.560 y 4,47B de parámetros entrenables. El acondicionamiento usa Gemma 2 2B IT como codificador de texto, y la decodificación usa el contrato del VAE LTX 2.3 con 128 canales latentes y una compresión temporal y espacial de (8, 32, 32). El checkpoint recibe post-entrenamiento con ReFL tanto para texto a vídeo como para texto-imagen a vídeo, por lo que se puede proporcionar un primer fotograma como condición adicional.

El hub de modelos expone ambos pesos publicados como una única variante. El checkpoint base 720p de 50 pasos es el punto de entrada para la generación conjunta de texto a vídeo y texto-imagen a vídeo, y la destilación DMD de 4 pasos se distribuye como una vista previa de investigación independiente que solo admite texto a vídeo. El zoo de modelos oficial también anuncia un modelo 14B 480p como próximamente, que todavía no se ha publicado.

Disponibilidad

El proyecto upstream documenta la rama main del repositorio Sana como punto de entrada de inferencia y espera que se proporcione localmente un VAE LTX 2.3 en formato Diffusers. La tarjeta del modelo y el zoo de modelos no documentan un paquete de nodos de ComfyUI para SANA-Video 2.0.