Entrenamiento LoRA de MiniMax H3 con AI Toolkit: T2V e I2V

El soporte llegó en el commit 8502a84 ("Add support for MiniMax H3 T2V and I2V training"), que incluye una nueva extensión minimax_h3 con el pipeline de entrenamiento completo: transformer de tokens empaquetados, VAE de vídeo y audio, codificador de texto y utilidades de cuantización NVFP4.

Qué incluye

• Entrenamiento LoRA T2V e I2V para ambos checkpoints de H3 (FL2VA y Ref2VA)
• Soporte de cuantización NVFP4 (nvfp4_quant.py) para reducir la VRAM durante el entrenamiento
• Gradient checkpointing del VAE (commit 602306d) para reducir el uso de memoria
• Manejo conjunto de audio y vídeo: el pipeline de H3 aplica denoising a los latents de vídeo y audio estéreo a la vez, y el toolkit lo conserva durante el entrenamiento
• Soporte de imágenes en el pipeline de datos (commit 88ac27f) para pares de entrenamiento I2V
• Procesamiento de cuantización más rápido (commit d3a3f70) optimizado para la estructura de capas de H3

Soporte de modelos

MiniMax H3 ahora aparece en los modelos compatibles de AI Toolkit como MiniMaxAI/MiniMax-H3. H3 es el transformer omnimodal de 33.1B detrás de la línea Hailuo de MiniMax, liberado como código abierto el 3 de agosto con soporte nativo en ComfyUI (lee la historia de los pesos abiertos).

Primeros Pasos

AI Toolkit se ejecuta como GUI o CLI en hardware de consumo. Instálalo desde el repositorio ostris/ai-toolkit y luego crea una configuración de entrenamiento que apunte al modelo base H3. La extensión minimax_h3 viene integrada: no hace falta instalarla por separado.

Enlaces

• GitHub de AI Toolkit: github.com/ostris/ai-toolkit
• Modelo H3: MiniMaxAI/MiniMax-H3
• ComfyUI reempaquetado: Comfy-Org/MiniMax-H3
• Licencia: MiniMax H3 Community License (pesos abiertos)