SANA-Video 2.0 за 4 шага: Быстрая 720p видеомодель NVIDIA

ComfyUI Wikinews

NVIDIA выпускает ПРЕДПРОСМОТР на 4 шага с дистилляцией DMD модели SANA-Video 2.0 5B, генерирующий видео 720p из 81 кадра с выводом BF16 CFG-1 и контрактом выборки в четыре этапа.

Команда NVIDIA SANA выпустила дистиллированный ПРЕДПРОСМОТР исследования на 4 шага для SANA-Video 2.0 5B 720p: Efficient-Large-Model/SANA-Video_2.0_5B_720p_4step. Чекпоинт генерирует текст-в-видео 736×1280, 81 кадр (16 FPS) всего за четыре этапа выборки. Источник: README репозитория HF.

Обзор

ПРЕДПРОСМОТР представляет собой полную дистилляцию модели DMD, а не адаптер LoRA: экспорт EMA DMD глобального шага-1000 был инициализирован из модели SANA-Video 2.0 SFT ПОСЛЕ слияния адаптера ReFL шага-500, затем DMD обновляет весь трансформер. Архитектура объединяет 75% слоев линейного внимания с управляемым двунаправленным механизмом и 25% якорей плотного периодического softmax-внимания с общей агрегацией остатков внимания каждые 8 слоев. Текстовый энкодер: google/gemma-2-2b-it, а VAE: LTX 2.3 с 128 латентными каналами.

Пример ПРЕДПРОСМОТРА SANA-Video 2.0 на 4 шага

Проверенный образец с seed-4: мультяшный петух в винтажной комнате с цветочным узором, сгенерированный с точностью выпущенным чекпоинтом и настройками. Источник: SANA-Video 2.0 5B 720p 4-step

Контракт выборки на четыре этапа

Модель не использует усеченную траекторию DPM-Solver. На каждом фиксированном этапе модель предсказывает скорость, вычисляет x0 и добавляет шум заново на следующем сигме с новым выбором из того же генератора с заданным семенем:

ЭтапФизическая сигмаВременной шаг модели
10.9998999
20.9472947
30.8569856
40.6664666

Вывод выполняется в BF16 при CFG 1 с профилем сигмы sana_shift6_dpm и отключенным flow_shift. Выпущенный чекпоинт был оценен по полному набору VBench T2V (4,730 промптов, все 16 размеров) при этих точных настройках.

Доступность

Чекпоинт поставляется как .pth EMA трансформер плюс чистая конфигурация башни источника 5B. До слияния PR в исходном репозитории вывод требует ветки ПРЕДПРОСМОТРА репозитория Sana (feat/sana-video2-4step-preview) с VAE LTX 2.3 формата Diffusers. Базовый релиз на 50 шагов остается точкой входа для TI2V с условием изображения: дистиллированный ПРЕДПРОСМОТР предназначен только для текст-в-видео и не поддерживает условие изображения первого кадра.

Проверенное видео образца на 4 шага (1280×736, 81 кадр, 16 FPS), сгенерированное с seed 4. Источник: SANA-Video 2.0 5B 720p 4-step

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
SANA-Video 2.0 за 4 шага: Быстрая 720p видеомодель NVIDIA | ComfyUI Wiki