Entraînement LoRA MiniMax H3 avec AI Toolkit : T2V et I2V

Ce support est arrivé dans le commit 8502a84 (« Add support for MiniMax H3 T2V and I2V training »), qui embarque une nouvelle extension minimax_h3 avec le pipeline d'entraînement complet : transformer à tokens packés, VAE vidéo/audio, encodeur de texte et outils de quantification NVFP4.

Ce qui est inclus

• Entraînement LoRA T2V et I2V pour les deux checkpoints H3 (FL2VA et Ref2VA)
• Support de la quantification NVFP4 (nvfp4_quant.py) pour réduire la VRAM pendant l'entraînement
• Checkpointing de gradient VAE (commit 602306d) pour diminuer l'utilisation de la mémoire
• Traitement conjoint audio-vidéo : le pipeline H3 débruite ensemble les latents vidéo et audio stéréo, et le toolkit préserve ce comportement pendant l'entraînement
• Support des images dans le pipeline de données (commit 88ac27f) pour les paires d'entraînement I2V
• Traitement de quantification plus rapide (commit d3a3f70) optimisé pour la structure des couches de H3

Support des modèles

MiniMax H3 figure désormais parmi les modèles pris en charge par AI Toolkit sous le nom MiniMaxAI/MiniMax-H3. H3 est le transformer omni-modal de 33,1 milliards de paramètres derrière la gamme Hailuo de MiniMax, open-sourcé le 3 août avec un support ComfyUI natif (lire l'article sur les poids ouverts).

Commencer

AI Toolkit fonctionne via une interface graphique ou en ligne de commande sur du matériel grand public. Installez-le depuis le dépôt ostris/ai-toolkit, puis créez une configuration d'entraînement pointant vers le modèle de base H3. L'extension minimax_h3 est intégrée : aucune installation séparée n'est nécessaire.

Liens

• AI Toolkit GitHub : github.com/ostris/ai-toolkit
• Modèle H3 : MiniMaxAI/MiniMax-H3
• ComfyUI repackagé : Comfy-Org/MiniMax-H3
• Licence : MiniMax H3 Community License (poids ouverts)