AI Toolkit MiniMax H3 LoRA 학습: T2V 및 I2V

ComfyUI Wikinews

Ostris AI Toolkit으로 MiniMax H3 LoRA를 학습하세요. T2V 및 I2V 지원, NVFP4 양자화, VAE 그래디언트 체크포인트로 소비자용 GPU에서도 실행할 수 있습니다.

Ostris AI Toolkit이 8월 3일 MiniMax H3 텍스트 기반 비디오 생성 및 이미지 기반 비디오 생성 학습 지원을 추가했습니다. 이를 통해 소비자용 GPU에서도 오픈 웨이트 H3 모델용 LoRA를 파인튜닝할 수 있습니다.

이 지원은 커밋 8502a84("Add support for MiniMax H3 T2V and I2V training")에 포함되었으며, 전체 학습 파이프라인을 갖춘 새로운 minimax_h3 확장을 제공합니다. 여기에는 packed-token transformer, 비디오/오디오 VAE, 텍스트 인코더, NVFP4 양자화 유틸리티가 포함됩니다.

포함된 기능

  • 두 H3 체크포인트에 대한 T2V 및 I2V LoRA 학습 (FL2VA 및 Ref2VA)
  • 학습 중 VRAM 사용량을 줄이기 위한 NVFP4 양자화 지원 (nvfp4_quant.py)
  • 메모리 사용량을 낮추기 위한 VAE 그래디언트 체크포인트 (커밋 602306d)
  • 오디오-비디오 동시 처리: H3 파이프라인은 비디오와 스테레오 오디오 latent를 함께 디노이즈하며, 툴킷은 학습 과정에서도 이를 그대로 유지합니다
  • I2V 학습 페어를 위한 데이터 파이프라인의 이미지 지원 (커밋 88ac27f)
  • H3의 레이어 구조에 맞춰 튜닝된 더 빠른 양자화 처리 (커밋 d3a3f70)

모델 지원

MiniMax H3는 이제 AI Toolkit의 지원 모델 목록에 MiniMaxAI/MiniMax-H3로 등록되어 있습니다. H3는 MiniMax의 Hailuo 라인을 뒷받침하는 33.1B 옴니모달 transformer로, 8월 3일 네이티브 ComfyUI 지원과 함께 오픈소스로 공개되었습니다 (오픈 웨이트 소식 읽기).

시작하기

AI Toolkit은 소비자용 하드웨어에서 GUI 또는 CLI로 실행됩니다. ostris/ai-toolkit 저장소에서 설치한 다음, H3 베이스 모델을 지정하는 학습 config를 생성하세요. minimax_h3 확장은 기본 내장되어 있으므로 별도로 설치할 필요가 없습니다.

링크

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
AI Toolkit MiniMax H3 LoRA 학습: T2V 및 I2V | ComfyUI Wiki