SANA-Video 2.0 5B 720p: эффективная видеомодель от NVIDIA

Архитектура

SANA-Video 2.0 5B это линейный diffusion-трансформер SanaVideo2_5B с 32 слоями, скрытым размером 2 560 и 4 466 980 960 обучаемыми параметрами (4,47 млрд). Внимание гибридное: 75% стробированных двунаправленных линейных attention-слоёв несут основную часть последовательности, тогда как 25% периодических плотных softmax-attention слоёв-якорей восстанавливают глобальное смешивание, а общая, не зависящая от таймстепа агрегация Attention Residual выполняется каждые 8 слоёв. Текстовое условие поступает от google/gemma-2-2b-it, а латентное пространство следует контракту VAE LTX 2.3 со 128 латентными каналами и временным и пространственным сжатием (8, 32, 32).

Выпущенный файл .pth является артефактом вывода. Базовые EMA-веса SANA-Video 2.0 и адаптер постобучения ReFL были объединены перед релизом, поэтому файл содержит только объединённый state_dict, без оптимизатора, scheduler и отдельных LoRA-тензоров. Официальная точка входа приводит трансформер к BF16.

Контракт выхода и выборка

Стандартный бакет 720p это 736 x 1280 при 193 кадрах и 24 FPS, примерно восемь секунд на клип. Оба пространственных размера должны делиться на 32, поэтому ширина не равна более привычным 1280, а количество кадров должно удовлетворять условию (num_frames - 1) % 8 == 0. Проверенный пример из релиза выполняется в BF16 при CFG 8, flow shift 12, 50 шагах и motion score 20.

4-шаговый предпросмотр это DMD-дистилляция всей модели, а не LoRA, и он поддерживает только text-to-video. Он работает при CFG 1 с сигма-профилем sana_shift6_dpm и не использует усечённую траекторию DPM-Solver: на каждой из четырёх фиксированных стадий модель предсказывает скорость, вычисляет x0 и заново зашумляет при следующей сигме (0.9998, 0.9472, 0.8569 и 0.6664), делая новую выборку из того же генератора с тем же seed. Предпросмотр выдаёт 81 кадр при 16 FPS и 193 кадра при 24 FPS согласно списку model zoo.

Доступность

Вывод выполняется через ветку main репозитория Sana, которая загружает checkpoint напрямую из репозитория Hugging Face, а VAE LTX 2.3 в формате Diffusers нужно разместить по пути output/pretrained_models/LTX-2.3-Diffusers/ или указать через vae.vae_pretrained. Карточка модели и model zoo называют этот путь на Python единственным поддерживаемым маршрутом, и никакой интеграции SANA-Video 2.0 с ComfyUI в upstream не задокументировано.

Ресурсы

• Репозиторий Sana и документация SANA-Video 2.0
• Статья SANA-Video
• Страница проекта SANA-Video 2.0
• Проверенный релизный клип 5B 720p