SANA-Video: NVIDIA의 선형 확산 트랜스포머 기반 비디오 생성 모델

변형

위에서 변형을 선택하면 엄선된 가중치 다운로드, 튜토리얼 및 관련 정보를 확인할 수 있습니다.

SANA-Video 라인 정보

SANA-Video는 NVIDIA의 SANA 선형 확산 트랜스포머를 이미지에서 비디오로 확장한 모델입니다. 셀프 어텐션을 선형 어텐션으로 교체하여 토큰이 많은 비디오 생성에서 지배적인 2차 비용을 제거했고, Mix-FFN 내부에 회전 위치 임베딩과 1D 시간 컨볼루션을 추가하여 사전 학습된 이미지 모델을 지속적 사전 학습으로 비디오에 적응시킬 수 있게 했습니다. 일정한 메모리 KV 캐시를 사용하는 블록 선형 어텐션 모듈은 이전 모든 블록의 컨텍스트를 고정된 메모리 비용으로 유지하며, 이것이 분 단위 길이의 생성을 실용적으로 만드는 핵심입니다. 저자들은 64개의 H100 GPU에서 12일의 학습 예산을 보고했습니다.

SANA-Video 2.0은 현재 세대 모델입니다. 5B 720p 체크포인트는 75%의 게이트 양방향 선형 어텐션 레이어와 25%의 주기적 dense softmax 어텐션 앵커를 혼합하고, 8개 레이어마다 공유 어텐션 잔차(Attention Residuals)를 집계합니다. 32개 레이어, 숨김 크기 2,560, 4.47B개의 학습 가능한 파라미터를 갖습니다. 조건화에는 Gemma 2 2B IT를 텍스트 인코더로 사용하고, 디코딩에는 128개 잠재 데이터 채널과 (8, 32, 32) 시간 및 공간 압축을 갖춘 LTX 2.3 VAE 규약을 사용합니다. 이 체크포인트는 텍스트 기반 비디오 생성과 텍스트-이미지 기반 비디오 생성 모두를 위해 ReFL로 후속 학습되었으므로, 첫 프레임을 추가 조건으로 제공할 수 있습니다.

모델 허브는 공개된 두 가중치를 하나의 변형으로 제공합니다. 50스텝 720p 베이스 체크포인트는 텍스트 기반 비디오 생성과 텍스트-이미지 기반 비디오 생성을 함께 수행하기 위한 진입점이며, 4스텝 DMD 증류 모델은 텍스트 기반 비디오 생성 전용인 별도의 연구 미리보기로 배포됩니다. 공식 model zoo에서는 14B 480p 모델도 곧 출시 예정이라고 예고했지만, 아직 공개되지는 않았습니다.

사용 가능 여부

업스트림에서는 Sana 저장소의 main 브랜치를 추론 진입점으로 문서화하고 있으며, Diffusers 형식의 LTX 2.3 VAE를 로컬에 준비할 것을 요구합니다. 모델 카드와 model zoo에는 SANA-Video 2.0용 ComfyUI 노드 팩이 문서화되어 있지 않습니다.