h3.c: antirez의 Apple Silicon 네이티브 MiniMax-H3 추론 엔진

ComfyUI Wikinews

Redis의 창시자 antirez가 Apple Silicon용 Metal 기반 네이티브 MiniMax-H3 추론 엔진 h3.c를 개발 중입니다. 프롬프트-투-비디오/오디오와 Ref2VA 참조가 종단 간(end-to-end) 작동합니다.

antirez(살바토레 산필리포, Redis와 Lua를 개발한 개발자)는 Apple Silicon용 네이티브 MiniMax-H3 추론 엔진h3.c를 개발하고 있습니다. 핵심 파이프라인은 이미 Mac에서 종단 간(end-to-end)으로 작동합니다. 프롬프트-투-비디오/오디오, 첫/마지막 프레임 조건화, 순서가 지정된 Ref2VA 이미지/비디오/오디오 참조가 모두 작동하며, 현재는 M3 Max 및 M5 Max에서 H3 특화 Metal 성능 및 메모리 최적화에 주력하고 있습니다.

Mac 하드웨어에서의 H3

ComfyUI에서 MiniMax-H3를 실행하려면 높은 VRAM의 CUDA 또는 AMD GPU가 필요합니다. h3.c는 다른 경로를 택합니다. Objective-C 및 Metal 셰이더가 포함된 단일 C 코드베이스로, Metal을 통해 H3를 Apple GPU에서 직접 실행하여 M 시리즈 Mac이 개별 GPU나 클라우드 인스턴스 없이도 H3 비디오와 오디오를 로컬에서 생성할 수 있게 합니다. 이 프로젝트는 공개된 지 며칠 만에 GitHub 스타 1,100개를 넘겼습니다.

현재 작동하는 기능

  • 공식 MiniMax-H3 가중치를 사용한 프롬프트-투-비디오 및 프롬프트-투-오디오 생성
  • 대화형 세션(!first, !last)을 통한 첫/마지막 프레임 조건화
  • 순서가 지정된 Ref2VA 참조: 여러 참조 이미지를 순서대로 추가하여 <Picture 1>, <Picture 2> 등으로 모델에 노출
  • 생성 사이에 프롬프트 조건화, 준비된 DiT, 비디오 디코더를 메모리에 유지하는 대화형 Iris 스타일 CLI
  • 메모리 제약이 있는 머신을 위한 네이티브 256 미리보기 생성 및 원본 BF16 SSD 스트리밍 DiT 모드

시작하기

README에는 엔진을 빌드하고 실행하는 방법이 안내되어 있습니다. ./MiniMax-H3에 Hugging Face 스냅샷이 있는 경우:

make -j8
mkdir -p outputs
./h3 --info -d ./MiniMax-H3
./h3 -d ./MiniMax-H3 --width 512 --height 512 --steps 6

-p 옵션이 없으면 바이너리는 대화형 세션을 시작하며, 프롬프트를 입력하면 번호가 매겨진 비디오가 생성됩니다. 유용한 세션 명령으로는 !status, !seed random, !seconds 2, !show, !save output.mp4, !first, !last, !ref-image, !cache 등이 있습니다.

상태

이 프로젝트는 활발히 개발 중이며 매일 커밋이 추가되고 있습니다. README에 따르면 현재 작업은 H3 특화 Metal 성능 및 메모리 최적화를 점진적으로 진행하는 것이므로, M 시리즈 하드웨어에서 속도 향상과 함께 미숙한 부분도 있을 수 있습니다.

링크

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
h3.c: antirez의 Apple Silicon 네이티브 MiniMax-H3 추론 엔진 | ComfyUI Wiki