FastH3 Omni: 동기화된 오디오를 갖춘 8단계 H3 참조 비디오

FastH3 Omni는 MiniMax H3를 FastVideo가 참조 조건화 방식으로 변형한 모델입니다. 프롬프트와 순서가 지정된 이미지, 비디오, 오디오 참조가 동기화된 사운드를 갖춘 하나의 클립이 되며, 기본 H3의 50회가 아닌 8회의 트랜스포머 평가로 생성됩니다. Hao AI Lab 팀은 10월 20일 가중치와 릴리스 글을 공개했으며, 같은 컬렉션에 ComfyUI에서 바로 사용할 수 있는 단일 파일 변환본도 포함했습니다.

이 모델은 최대 이미지 9개, 비디오 클립 3개, 오디오 클립 3개로 총 12개의 참조를 받으며, 최소 한 개의 이미지나 비디오가 필요합니다. 출력은 32 kHz 스테레오 오디오가 포함된 비디오로, 24 FPS에 124, 243, 362 프레임 길이, 즉 5초, 10초, 15초입니다.

팀이 FastVideo에서 FastH3 Omni로 생성한 런칭 비디오의 한 프레임입니다.

위치로 참조하기

프롬프트는 입력을 파일 이름이 아니라 위치로 지칭합니다: <Picture 1>, <Video 1>, <Audio 1>이며, 번호는 유형별로 다시 시작합니다. 참조 비디오 자체의 사운드트랙은 해당 비디오 레이블 바로 앞에 오디오 참조로 표시되고, 독립 오디오는 맨 마지막에 옵니다. 참조가 모든 샘플링 단계를 통과하기 때문에, 팀은 ComfyUI에서 크기 선택 옵션을 제공합니다: match는 각 참조를 생성 결과의 픽셀 면적에 맞춰 축소하고, max는 2048 px 짧은 변을 유지해 정체성 충실도를 높이지만 비용이 몇 배로 듭니다.

이미지 참조 1개와 음성 참조 1개를 사용한 5초 요청입니다. 대사는 오디오 참조의 음색을 사용하며, 오디오는 나중에 추가된 것이 아니라 비디오와 함께 생성됩니다.

50회가 아닌 8회 평가

FastH3 Omni는 기본 H3의 증류된 학생 모델이며, 이 릴리스는 기본 H3의 텍스트 인코더, 비디오 VAE, 오디오 VAE를 그대로 유지하고 diffusion transformer만 변경합니다. 샘플링은 가이드 1.0, 비디오 shift 12.0, 오디오 shift 3.0으로 실행되며, ComfyUI 템플릿이 기본 제공하는 설정과 동일합니다.

8개의 GB200 GPU에서 27개의 동일 조건 작업을 대상으로, 팀은 전체 서빙 레시피를 비교했을 때 기본 H3보다 엔드투엔드 지연 시간이 5.6~11.9배 낮다고 보고합니다. 공개된 표에서 발췌한 값은 각각 시드 3개 평균입니다:

팀은 또한 특정 FastH3 Omni 작업에서 자사의 UniServe 스택이 5초, 10초, 15초 클립의 768p 실시간 생성에 도달한다고 밝힙니다. 공개된 클립은 동일 조건의 정성적 비교이며, 기본 H3와 출력이 동등하다는 증거는 아닙니다.

이미지 1개, 5초 작업에 대해 동일한 프롬프트, 참조, 시드, GPU 수를 사용했습니다.

이미지, 비디오, 음성 참조를 하나의 10초 요청에 담았습니다: 기본 H3에서는 172.37초, FastH3 Omni에서는 19.75초.

이미지 참조 9개, 5초 요청.

ComfyUI에서 실행하기

ComfyUI 저장소에는 단일 파일 변환본이 있어 커스텀 노드 패키지가 필요하지 않습니다. diffusion 모델 1개, 텍스트 인코더 1개, 비디오 VAE, 오디오 VAE를 배치하세요:

템플릿은 video_fasth3_ominiref_r2v이며 10월 20일 workflow_templates에 추가되었습니다. 핵심 MiniMax H3 참조 → 비디오 조건화 노드를 사용하며, 최대 이미지 9개, 비디오 3개, 독립 오디오 3개와 그에 짝을 이루는 비디오 사운드트랙을 위한 autogrow 입력이 있고, 기본값으로 8스텝, 가이드 1.0, 비디오에 MiniMaxH3SigmaShift 12와 오디오에 3, 1344x768 해상도, 124 프레임으로 실행됩니다.

FastH3 Omni 레퍼런스 기반 비디오 생성 워크플로 다운로드

모델 카드에서는 ComfyUI가 자체 모델 레이아웃, 샘플러, 런타임 커널을 사용하므로 결과가 FastVideo 및 UniServe 출력과 다를 수 있다고 언급합니다.

로컬 및 서버 프로필

• 서버: GB200, B200, RTX PRO 6000 Blackwell, Hopper에서 UniServe를 통해 BF16 체크포인트를 실행하며, 참조 조건화 구성을 사용합니다.
• DGX Spark 및 RTX 5090: Blackwell에서 NVFP4 실행을 위해 학습된 NVFP4 QAD 빌드를 사용하며, FastVideo 쿡북의 디바이스 레시피를 따릅니다.
• RTX 4090: Ada에는 FP4 하드웨어가 없으므로 레이어별 오프로드를 사용하는 FP8 빌드를 사용합니다.
• 디코더: 선택 사항인 NVFP4 VAE 디코더로, 36레이어 품질 등급과 8레이어 고속 등급이 있습니다.

ComfyUI용으로는 별도 저장소로 FP8 변환(23.1 GB)과 NVFP4 QAD 변환(13.8 GB)도 제공됩니다. 팀은 10월 21일 로컬 AI 관련 글과 릴리스가 이어진다고 밝혔습니다.

FastH3 라인업에서

기본 H3는 오디오가 포함된 비디오에 50개의 트랜스포머 스텝을 실행하며, 단일 GPU에서 클립당 수 분이 걸립니다. FastH3 V2는 이를 8스텝으로 증류했고, Trim은 50개 블록 중 8개를 제거해 8 GB 카드에서도 실행되게 했으며, Omni는 여기에 참조 경로를 추가합니다: 프롬프트 위에 이미지, 클립, 음성을 더하면서 동일한 8스텝 예산을 유지합니다. FastH3 Omni는 Nuva Lab과 Reactor를 미리보기 런칭 파트너로 두고 포스트 트레이닝되었으며, 릴리스에서는 NVIDIA FastGen 팀에 크레딧을 표기합니다.