SANA-Video 2.0 5B 720p: NVIDIA의 효율적인 비디오 모델

SANA-Video 2.0 5B 720p

Text-to-VideoImage-to-VideoLinear DiT720pNVIDIA

NVIDIA의 5B급 비디오 diffusion 트랜스포머입니다. 50스텝 기본 checkpoint는 736x1280, 약 8초 길이로 텍스트 기반 비디오 생성과 텍스트-이미지 기반 비디오 생성 모두를 위해 사후 학습되었고, 4스텝 DMD 증류 모델이 텍스트 기반 비디오 생성 연구 미리보기로 함께 공개되었습니다.

Hugging Face 4스텝 미리보기 GitHub 프로젝트 페이지 논문

개발사	NVIDIA (SANA 팀)
출시일	2026-08 (기본), 2026-08-27 (4스텝 미리보기)
아키텍처	SanaVideo2_5B 선형 diffusion 트랜스포머, 32개 레이어, 4.47B 파라미터
텍스트 인코더	Gemma 2 2B IT
VAE	LTX 2.3, 128개 잠재 채널, stride (8, 32, 32)
출력	736x1280, 193프레임, 24 FPS (약 8초)
생성 모드	텍스트 기반 비디오 생성, 텍스트-이미지 기반 비디오 생성
라이선스	Apache-2.0

아키텍처

SANA-Video 2.0 5B는 32개 레이어, 숨김 크기 2,560, 4,466,980,960개의 학습 가능한 파라미터(4.47B)를 갖춘 SanaVideo2_5B 선형 diffusion 트랜스포머입니다. 어텐션은 하이브리드 구조로, 75%의 게이트된 양방향 선형 어텐션 레이어가 시퀀스의 대부분을 담당하고 25%의 주기적 dense softmax 어텐션 앵커가 전역 혼합을 복원하며, 공유 타임스텝 독립적 Attention Residual 집계가 8개 레이어마다 실행됩니다. 텍스트 조건화는 google/gemma-2-2b-it에서 비롯되며, 잠재 데이터 공간은 128개 잠재 채널과 (8, 32, 32) 시간적·공간적 압축을 갖춘 LTX 2.3 VAE 규약을 따릅니다.

공개된 .pth는 추론 아티팩트입니다. SANA-Video 2.0 EMA 기본 가중치와 ReFL 사후 학습 어댑터가 출시 전에 병합되었기 때문에, 파일에는 병합된 state_dict만 들어 있고 옵티마이저, scheduler 또는 독립형 LoRA tensor는 포함되지 않습니다. 공식 진입점은 트랜스포머를 BF16으로 캐스팅합니다.

출력 규약과 샘플링

기본 720p 버킷은 736 x 1280, 193프레임, 24 FPS로 클립당 약 8초입니다. 두 공간 크기는 모두 32로 나누어떨어져야 하며, 이 때문에 너비가 더 익숙한 1280 단독 값이 아닙니다. 또한 프레임 수는 (num_frames - 1) % 8 == 0을 충족해야 합니다. 검증된 릴리스 예제는 CFG 8, flow shift 12, 50스텝, motion score 20에서 BF16으로 실행됩니다.

4스텝 미리보기는 LoRA가 아닌 전체 모델 DMD 증류 방식이며, 텍스트 기반 비디오 생성 전용입니다. sana_shift6_dpm sigma 프로필과 함께 CFG 1로 실행되며 잘린 DPM-Solver 궤적을 사용하지 않습니다. 네 개의 고정 단계 각각에서 모델은 velocity를 예측하고 x0를 계산한 뒤, 동일한 시드 생성기에서 새로 뽑은 값으로 다음 sigma(0.9998, 0.9472, 0.8569, 0.6664)에 다시 노이즈를 추가합니다. 미리보기는 16 FPS에서 81프레임을 출력하며, model zoo 목록에서는 24 FPS에서 193프레임을 출력합니다.

사용 가능성

추론은 Sana 저장소의 main 브랜치를 통해 실행되며, 이 브랜치는 Hugging Face 저장소에서 checkpoint를 직접 로드합니다. 또한 Diffusers 형식의 LTX 2.3 VAE를 output/pretrained_models/LTX-2.3-Diffusers/에 배치하거나 vae.vae_pretrained로 지정해야 합니다. 모델 카드와 model zoo는 이 Python 경로를 유일하게 지원되는 방식으로 나열하며, SANA-Video 2.0용 ComfyUI 통합은 업스트림에 문서화되어 있지 않습니다.

SANA-Video 2.0 5B 720p: NVIDIA의 효율적인 비디오 모델