SANA-Video 2.0 4 단계 미리보기: NVIDIA 의 빠른 720p 비디오 모델

ComfyUI Wikinews

NVIDIA 가 SANA-Video 2.0 5B 의 DMD 증류 4 단계 미리보기를 출시하여 BF16 CFG-1 추론과 4 단계 샘플링 계약을 통해 720p 81 프레임 비디오를 생성합니다.

NVIDIA 의 SANA 팀이 SANA-Video 2.0 5B 720p증류된 4 단계 연구 미리보기를 출시했습니다: Efficient-Large-Model/SANA-Video_2.0_5B_720p_4step. 이 checkpoint 는 단 4 개의 샘플링 단계에서 736×1280, 81 프레임 (16 FPS) 텍스트 기반 비디오 생성을 수행합니다. 출처: Hugging Face 저장소 README.

개요

이 미리보기는 LoRA 어댑터가 아닌 전체 모델 DMD 증류입니다: 전체 스텝 1000 DMD EMA 내보내기는 ReFL 스텝 500 어댑터를 병합한 후 SANA-Video 2.0 SFT 모델에서 초기화되었으며, 그 후 DMD 가 전체 트랜스포머를 업데이트합니다. 아키텍처는 75% 게이트된 양방향 선형 어텐션 레이어와 25% 주기적 밀집 소프트맥스 어텐션 앵커를 결합하며, 8 레이어마다 공유된 Attention Residual 집합을 사용합니다. 텍스트 인코더는 google/gemma-2-2b-it 이며, VAE 는 128 개 잠재 채널을 가진 LTX 2.3 입니다.

SANA-Video 2.0 4 단계 미리보기 샘플

검증된 시드 4 샘플: 꽃무늬 빈티지 방에 있는 만화 수탉으로, 정확히 출시된 checkpoint 와 설정으로 생성되었습니다. 출처: SANA-Video 2.0 5B 720p 4 단계

4 단계 샘플링 계약

모델은 잘린 DPM-Solver 궤적을 사용하지 않습니다. 각 고정 단계에서 모델은 속도를 예측하고 x0 를 계산한 다음, 동일한 시드 생성기에서 새로 뽑은 것으로 다음 시그마에서 다시 노이즈를 추가합니다:

단계물리적 시그마모델 임베딩 시간 단계
10.9998999
20.9472947
30.8569856
40.6664666

추론은 sana_shift6_dpm 시그마 프로필과 flow_shift 비활성화로 CFG 1 에서 BF16 으로 실행됩니다. 출시된 checkpoint 는 이러한 정확한 설정 하에서 전체 VBench T2V 스위트 (4,730 프롬프트, 모든 16 차원) 에서 평가되었습니다.

제공 현황

checkpoint 는 .pth EMA 트랜스포머와 깔끔한 5B 소스 타워 구성 파일로 제공됩니다. 상위 PR 이 병합될 때까지, 추론에는 Sana 저장소 의 미리보기 브랜치 (feat/sana-video2-4step-preview) 와 Diffusers 포맷 LTX 2.3 VAE 가 필요합니다. 50 스텝 기본 릴리스는 이미지 조건화 TI2V 에 대한 진입점으로 남아 있습니다: 증류된 미리보기는 텍스트 기반 비디오 생성 전용이며 첫 번째 프레임 이미지 조건화를 지원하지 않습니다.

검증된 4 단계 샘플 비디오 (1280×736, 81 프레임, 16 FPS), 시드 4 로 생성됨. 출처: SANA-Video 2.0 5B 720p 4 단계

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
SANA-Video 2.0 4 단계 미리보기: NVIDIA 의 빠른 720p 비디오 모델 | ComfyUI Wiki