MiniMax H3 Turbo LoRA: ComfyUI 4단계 오디오-비디오 생성 미리보기

MiniMax H3용 커뮤니티 LoRA는 동기화된 스테레오 오디오가 포함된 비디오를 일반적인 약 20회 대신 4회의 샘플링 단계로 렌더링하여 샘플링 시간을 약 5배 단축합니다. larryvrh가 8월 5일에 초기 미리보기로 출시한 이 LoRA는 오픈 가중치 H3 모델을 위한 최초의 속도 LoRA입니다(오픈 가중치 스토리 읽기).

이것은 초기 프로토타입입니다. 가중치와 ComfyUI 도구는 아직 개발 진행 중입니다. 4단계는 작동하지만 눈에 띄게 더 부드럽게 출력되며, 선명도를 위해서는 현재 6~8단계가 무난한 범위입니다. 완성된 제품이 아닌 미리보기로 간주하세요.

가중치

모든 파일은 bf16, 약 744MB이며 표준 저랭크 업데이트(W_eff = W + lora_B @ lora_A, 알파는 랭크와 동일, 추가 스케일링 없음)로 적용됩니다. LoRA는 H3 기본 트랜스포머를 대상으로 합니다. 비디오와 오디오 스트림은 서로 다른 두 개의 플로우 스케줄로 실행되므로, 기본 샘플러는 4단계에서 오디오에 과도한 스텝을 적용해 오디오를 깨뜨립니다. 커스텀 샘플러 노드가 이 문제를 처리합니다.

LoRA는 프루닝되지 않은 기본 체크포인트가 필요합니다. bf16 또는 전체 INT8 convrot diffusion 모델입니다. 프루닝된 변형은 다른 시간 조건화 레이어를 사용하므로 호환되지 않습니다. 프루닝 모델과 호환되는 변환은 별도로 제공됩니다(아래 참조).

ComfyUI 사용법

원본 릴리스에는 커스텀 노드(ComfyUI-MiniMax-H3-Turbo, ComfyUI-Manager를 통해 설치하거나 custom_nodes에 git clone으로 설치 가능)와 models/loras/ 디렉토리의 minimax_h3_turbo_4step*.safetensors 파일이 필요합니다.

1. 커스텀 노드를 설치합니다.
2. .safetensors 파일을 ComfyUI/models/loras/에 다운로드합니다.
3. 공식 MiniMax H3 오픈 가중치 워크플로에서 시작하여 모델 로더와 샘플러 사이에 Turbo LoRA를 삽입하고, 샘플러를 스케줄러가 simple로 설정된 **MiniMax-H3 Turbo 샘플러(4단계)**로 교체합니다.

즉시 사용 가능한 텍스트 기반 비디오 생성 워크플로가 리포지토리(minimax_h3_t2v_turbo.json)와 노드 리포지토리의 예제 워크플로에 번들로 포함되어 있습니다.

이것은 ComfyUI의 내장 지원이 아닙니다. 속도 LoRA는 서드파티 ComfyUI-MiniMax-H3-Turbo 커스텀 노드에 의존합니다.

프루닝 모델 변환

ComfyUI에서 사용하는 프루닝/곡선 형태의 H3 체크포인트는 키 변환이 필요합니다. drbaph가 MiniMax-H3-Turbo-Lora-ComfyUI에 minimax_h3_turbo_4step_ckpt500_pruned_comfyui.safetensors(EMA 변형 포함)를 게시했습니다. 이 파일은 ComfyUI 내장 MiniMax-H3 LoRA 로더로 로드되며, 예제 워크플로(fl_minimax_h3_turbo_lora_example_workflow.json)도 함께 번들로 제공되었습니다. QrusherZA도 H3_Turbo_ComfyUI에 단일 파일 프루닝 변환을 게시했습니다.

LoRA 강도 1.0에서 Euler/Beta를 사용한 초기 커뮤니티 테스트는 선명한 4단계 출력을 보고했습니다. 오디오 스트림은 이 초기 체크포인트의 현재 약점입니다.

다운로드 및 관련 링크

• 원본 가중치: larryvrh/MiniMax-H3-Turbo-Lora (Apache-2.0)
• 커스텀 노드: Larryvrh/ComfyUI-MiniMax-H3-Turbo
• 프루닝 모델 변환: drbaph/MiniMax-H3-Turbo-Lora-ComfyUI, QrusherZA/H3_Turbo_ComfyUI
• 카탈로그: MiniMax H3 모델 페이지에 필수 커스텀 노드가 플래그로 표시된 Turbo LoRA 항목이 추가됨