SANA-Video 2.0 5B 720p: el modelo de vídeo eficiente de NVIDIA
SANA-Video 2.0 5B 720p genera clips de 736x1280 y 193 fotogramas a 24 FPS a partir de texto o de un primer fotograma, con una vista previa DMD de 4 pasos para texto a vídeo.
SANA-Video 2.0 5B 720p
Texto a vídeoImagen a vídeoDiT lineal720pNVIDIAEl transformer de difusión de vídeo de clase 5B de NVIDIA. El checkpoint base de 50 pasos está post-entrenado tanto para texto a vídeo como para texto-imagen a vídeo a 736x1280 durante unos ocho segundos, y junto a él se publica una destilación DMD de 4 pasos como vista previa de investigación para texto a vídeo.
| Desarrollador | NVIDIA (equipo SANA) |
| Fecha de lanzamiento | 2026-08 (base), 2026-08-27 (vista previa de 4 pasos) |
| Arquitectura | SanaVideo2_5B, transformer de difusión lineal, 32 capas, 4,47B parámetros |
| Codificador de texto | Gemma 2 2B IT |
| VAE | LTX 2.3, 128 canales latentes, stride (8, 32, 32) |
| Salida | 736x1280 a 193 fotogramas y 24 FPS (unos 8 segundos) |
| Modos de generación | Texto a vídeo, texto-imagen a vídeo |
| Licencia | Apache-2.0 |
Arquitectura
SANA-Video 2.0 5B es un transformer de difusión lineal SanaVideo2_5B con 32 capas, un tamaño oculto de 2.560 y 4.466.980.960 parámetros entrenables (4,47B). La atención es híbrida: el 75% de capas de atención lineal bidireccional con compuertas transportan la mayor parte de la secuencia, mientras que el 25% de anclas periódicas de atención densa softmax restauran la mezcla global, y una agregación compartida de Attention Residual, independiente del timestep, se ejecuta cada 8 capas. El acondicionamiento de texto proviene de google/gemma-2-2b-it, y el espacio latente sigue el contrato del VAE LTX 2.3 con 128 canales latentes y una compresión temporal y espacial de (8, 32, 32).
El archivo .pth publicado es un artefacto de inferencia. Los pesos base EMA de SANA-Video 2.0 y un adaptador ReFL de post-entrenamiento se fusionaron antes del lanzamiento, por lo que el archivo contiene únicamente el state_dict fusionado y ningún tensor de optimizador, scheduler o LoRA independiente. El punto de entrada oficial convierte el transformer a BF16.
Contrato de salida y muestreo
El bucket predeterminado de 720p es de 736 x 1280 a 193 fotogramas y 24 FPS, aproximadamente ocho segundos por clip. Ambas dimensiones espaciales deben ser divisibles por 32, y por eso el ancho no es el más habitual 1280 por sí solo, y el número de fotogramas debe cumplir (num_frames - 1) % 8 == 0. El ejemplo verificado del lanzamiento se ejecuta en BF16 con CFG 8, flow shift 12, 50 pasos y motion score 20.
La vista previa de 4 pasos es una destilación DMD de modelo completo en lugar de una LoRA, y es solo de texto a vídeo. Se ejecuta con CFG 1 y el perfil sigma sana_shift6_dpm, y no utiliza una trayectoria truncada de DPM-Solver: en cada una de las cuatro etapas fijas, el modelo predice la velocidad, calcula x0 y vuelve a añadir ruido en el siguiente sigma (0,9998, 0,9472, 0,8569 y 0,6664) con un nuevo muestreo del mismo generador con semilla. La vista previa emite 81 fotogramas a 16 FPS, y 193 fotogramas a 24 FPS en el listado del model zoo.
Disponibilidad
La inferencia se ejecuta a través de la rama main del repositorio Sana, que carga el checkpoint directamente desde el repositorio de Hugging Face, y un VAE LTX 2.3 en formato Diffusers debe colocarse en output/pretrained_models/LTX-2.3-Diffusers/ o indicarse mediante vae.vae_pretrained. La tarjeta del modelo y el model zoo señalan esta ruta de Python como la única vía compatible, y no hay documentada ninguna integración con ComfyUI para SANA-Video 2.0.
Recursos
Guides and workflows related to this model series.
Comentarios
Inicia sesión con GitHub para unirte a la conversación.