FastH3 미리보기 v1: FastVideo 의 4 단계 MiniMax H3 증류

FastVideo 는 Nuva Lab 과 NVIDIA FastGen 팀과 협력하여 텍스트 기반 비디오 및 오디오 생성을 위한 MiniMax H3의 4 단계 증류 버전인 FastH3 미리보기 v1을 오픈소스로 공개했습니다 (체크포인트 | 블로그 | GitHub). 베이스 모델의 49 번 트랜스포머 호출을 4 번으로 줄이고 90% 희석 attention 을 추가하여 단일 NVIDIA Blackwell GPU 에서 최대 14 배 속도 향상을 달성했습니다.

FastH3 미리보기 v1: FastVideo 의 오픈 웨이트 4 단계 희석 증류 MiniMax H3

벤치마크 속도

B200 하드웨어에서 1344x768 해상도 및 오디오 포함 24 FPS 로 권장되는 VSA / Data-Free 체크포인트는 15 초 클립을 단일 B200 에서 47.2 초에 생성합니다 (밀집 베이스 모델보다 14.38 배 빠름) 및 8 개 B200 에서 15.5 초, 단일 GPU 에서 5 초 및 10 초 클립은 각각 16.2 초와 31.1 초입니다. 타이밍은 인코딩, denoising, 디코딩, 오디오, muxing 및 파일 출력 등 전체 pipeline 을 포함합니다.

증류 방식 설명

FastH3 는 두 가지 방식으로 비용을 절감합니다:

• 49 번 대신 4 번 호출. 분포 매칭 증류 (DMD2) 는 학습된 비평가와 함께 고정된 베이스 H3 교사 모델을 대상으로 학생 모델을 훈련합니다. 프롬프트 전용 실행은 역방향 시뮬레이션을 사용하며, 합성 데이터 변이는 순방향 노이즈가 있는 베이스-H3 비디오 및 오디오 latent 에서 시작합니다.
• 호출당 attention 작업 감소. 학생 모델은 90% 희소도로 VSA(비디오 diffusion 을 위한 trainable sparse attention) 를 채택하며, FastVideo 의 tile-64 CUDA VSA 커널, 지역적 DiT 컴파일, H3 퓨전 및 컴파일된 비디오 VAE 위에서 실행됩니다.

릴리스 내용

체크포인트는 정방형, 세로형, 가로형 및 초광각 768p 를 포함한 여러 종횡비에서 학습 및 검증되었으며, 32 의 배수인 사용자 정의 높이와 너비를 지원합니다. H3-Base 텍스트 인코더, 비디오 VAE, 오디오 VAE, tokenizer 및 스케줄러를 재사용합니다.

범위 및 ComfyUI 사용 가능성

미리보기 v1 은 텍스트 기반 비디오 및 오디오 생성만 다룹니다: FL2VA(첫 번째 프레임 이미지 조건화) 와 Ref2VA(참조 이미지 조건화) 는 증류되지 않았으며, 어려운 동작, 세부 사항 및 일부 오디오는 베이스 모델보다 낮을 수 있습니다. FastVideo 는 이미지 참조 지원, NVFP4 양자화, RTX / DGX Spark / Apple MLX 최적화 및 NVIDIA 의 PDD 방법을 사용한 새로운 실행을 로드맵에 나열했습니다.

오늘날 ComfyUI 사용자에게 FastH3 는 드롭인 체크포인트가 아닌 FastVideo 스택 릴리스입니다: VSA 어댑터에는 범용 LoRA 로더가 아닌 FastVideo 의 VSA-H3 백엔드 및 런처가 필요합니다. H3 에 대한 ComfyUI 네이티브 가속은 현재 표준 ComfyUI H3 워크플로에서 실행되는 H3 Turbo-SLA 및 PDD Acc LoRA 와 같은 증류 LoRA 에서 제공됩니다. 팀이 모델을 소비자 하드웨어로 가져오는 동안 호환 가능한 FastH3 경로를 주목할 가치가 있습니다.