SANA-Video: линейный diffusion-трансформер NVIDIA для генерации видео

Варианты

Выберите вариант выше, чтобы получить подборку загрузок весов, учебники и связанную информацию.

О линейке SANA-Video

SANA-Video расширяет линейный diffusion-трансформер SANA от NVIDIA с изображений на видео. Self-attention заменён линейным вниманием, что устраняет квадратичную стоимость, доминирующую при генерации видео с большим количеством токенов; кроме того, в архитектуру добавлены rotary position embeddings и одномерная временная свёртка внутри Mix-FFN, благодаря чему предварительно обученная модель для изображений может быть адаптирована к видео путём продолженного предобучения. Блочный модуль линейного внимания с KV-кэшем постоянного объёма памяти сохраняет контекст каждого предыдущего блока при фиксированных затратах памяти, и именно это делает генерацию длительностью в минуты практически осуществимой. Авторы сообщают о бюджете обучения в 12 дней на 64 GPU H100.

SANA-Video 2.0: текущее поколение. Checkpoint 5B 720p сочетает 75% стробированных двунаправленных слоёв линейного внимания с 25% периодических плотных анкоров softmax-внимания и агрегирует общие Attention Residuals каждые 8 слоёв. Модель содержит 32 слоя, скрытый размер 2 560 и 4,47 млрд обучаемых параметров. В качестве условия используется Gemma 2 2B IT как текстовый энкодер, а декодирование опирается на контракт VAE LTX 2.3 со 128 латентными каналами и (8, 32, 32) временным и пространственным сжатием. Checkpoint дообучен с помощью ReFL как для text-to-video, так и для text-image-to-video, поэтому первый кадр можно подать как дополнительное условие.

В хабе моделей оба выпущенных набора весов представлены одним вариантом. Базовый checkpoint 720p на 50 шагов служит точкой входа для совместной генерации text-to-video и text-image-to-video, а 4-шаговая дистилляция DMD распространяется как отдельный исследовательский предпросмотр, работающий только в режиме text-to-video. Официальный model zoo также анонсирует модель 14B 480p как «скоро будет», но она пока не выпущена.

Доступность

В upstream-документации в качестве точки входа для вывода указана ветка main репозитория Sana, при этом предполагается, что VAE LTX 2.3 в формате Diffusers предоставляется локально. Карточка модели и model zoo не документируют пакет узлов ComfyUI для SANA-Video 2.0.