SANA-Video 2.0 за 4 шага: Быстрая 720p видеомодель NVIDIA
NVIDIA выпускает ПРЕДПРОСМОТР на 4 шага с дистилляцией DMD модели SANA-Video 2.0 5B, генерирующий видео 720p из 81 кадра с выводом BF16 CFG-1 и контрактом выборки в четыре этапа.
Обзор
ПРЕДПРОСМОТР представляет собой полную дистилляцию модели DMD, а не адаптер LoRA: экспорт EMA DMD глобального шага-1000 был инициализирован из модели SANA-Video 2.0 SFT ПОСЛЕ слияния адаптера ReFL шага-500, затем DMD обновляет весь трансформер. Архитектура объединяет 75% слоев линейного внимания с управляемым двунаправленным механизмом и 25% якорей плотного периодического softmax-внимания с общей агрегацией остатков внимания каждые 8 слоев. Текстовый энкодер: google/gemma-2-2b-it, а VAE: LTX 2.3 с 128 латентными каналами.
Проверенный образец с seed-4: мультяшный петух в винтажной комнате с цветочным узором, сгенерированный с точностью выпущенным чекпоинтом и настройками. Источник: SANA-Video 2.0 5B 720p 4-step
Контракт выборки на четыре этапа
Модель не использует усеченную траекторию DPM-Solver. На каждом фиксированном этапе модель предсказывает скорость, вычисляет x0 и добавляет шум заново на следующем сигме с новым выбором из того же генератора с заданным семенем:
| Этап | Физическая сигма | Временной шаг модели |
|---|---|---|
| 1 | 0.9998 | 999 |
| 2 | 0.9472 | 947 |
| 3 | 0.8569 | 856 |
| 4 | 0.6664 | 666 |
Вывод выполняется в BF16 при CFG 1 с профилем сигмы sana_shift6_dpm и отключенным flow_shift. Выпущенный чекпоинт был оценен по полному набору VBench T2V (4,730 промптов, все 16 размеров) при этих точных настройках.
Доступность
Чекпоинт поставляется как .pth EMA трансформер плюс чистая конфигурация башни источника 5B. До слияния PR в исходном репозитории вывод требует ветки ПРЕДПРОСМОТРА репозитория Sana (feat/sana-video2-4step-preview) с VAE LTX 2.3 формата Diffusers. Базовый релиз на 50 шагов остается точкой входа для TI2V с условием изображения: дистиллированный ПРЕДПРОСМОТР предназначен только для текст-в-видео и не поддерживает условие изображения первого кадра.
Проверенное видео образца на 4 шага (1280×736, 81 кадр, 16 FPS), сгенерированное с seed 4. Источник: SANA-Video 2.0 5B 720p 4-step
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.