Fizgig v5 Entraînement Complet : Former MiniMax H3 et Krea 2 sur 16 Go

Fizgig v5.0.0 publié le 29 août ajoute l'entraînement complet des modèles de base MiniMax H3 (33B) et Krea 2 (12,9B) sur une seule carte graphique grand public, jusqu'à 16 Go de VRAM (GitHub | notes de version, Apache-2.0). Jusqu'à présent, chaque exécution de Fizgig entraînait un adaptateur LoRA sur un modèle figé. Cette version entraîne le modèle lui-même : mises à jour de poids pleine échelle sans adaptateur ni goulot d'étranglement de rang, utilisant une fenêtre d'entraînement rotative sur une base figée 4-bit NF4, avec la copie maître bf16 conservée dans la RAM système.

Fizgig : un atelier d'entraînement, d'affinement, de réparation et d'exploration pour MiniMax H3, Krea 2 et Flux 2 Klein 9B

Ce que votre carte peut affiner

Chaque nombre confirmé provient d'exécutions mesurées, pas d'estimations : pics de 8,8 à 12,3 Go sur une carte 16 Go pour H3, et de 8,4 à 11,0 Go pour Krea 2. Une carte 12 Go ne forme toujours que des LoRAs ; 16 Go est le plancher pour l'entraînement complet. Deux réserves du développeur : l'entraînement complet n'a pas encore été testé sur AMD/ROCm, et l'entraînement de Krea 2 nécessite réellement 48 Go ou plus de RAM système car sa copie maître d'environ 24 Go vit dans la RAM.

Comment un entraînement complet 33B tient dans 16 Go

Un entraînement complet naïf des 33B paramètres de MiniMax H3 nécessiterait environ 200 Go de mémoire. Fizgig fait tourner une fenêtre d'entraînement à travers le modèle : chaque poids s'entraîne sur un cycle complet, mais les gradients et l'état de l'optimiseur n'existent que pour la tranche active. Le reste figé du modèle est maintenu 4-bit sur la carte, et le checkpoint sauvegardé est écrit en bf16 à partir d'une copie maître qui ne passe jamais par le quantificateur, donc la sortie est un entraînement complet propre pleine précision.

Un concept explique les valeurs par défaut : une époque entraîne une tranche du modèle. La fenêtre d'entraînement tourne chaque époque, donc un cycle complet, généralement 4 époques, est nécessaire pour que chaque partie du modèle s'entraîne une fois. C'est pourquoi les valeurs par défaut des époques semblent élevées, et pourquoi les checkpoints sont sauvegardés aux limites du cycle.

Le taux d'apprentissage compte plus que dans l'entraînement LoRA

Les notes de version appellent cela le seul nombre à respecter : l'entraînement complet souhaite des taux d'apprentissage beaucoup plus bas que l'entraînement LoRA. Cochez Fine-tune pour définir un taux sûr de 1e-5 sur les deux familles. Sur MiniMax H3, 3e-5 est le taux plus rapide testé et le maximum que vous devriez utiliser ; 1e-4 détruira un entraînement complet H3. Sur Krea 2, vous pouvez expérimenter jusqu'à 1e-4, mais les résultats sont meilleurs à des valeurs inférieures.

Exportation Checkpoint vers LoRA pour ComfyUI

L'utilitaire intégré Checkpoint to LoRA compare votre entraînement complet au modèle de base et extrait un LoRA ordinaire et partageable à n'importe quel rang. Dans les tests du développeur, une extraction de rang 64 était imperceptiblement indiscernable du checkpoint complet, dans un fichier que ComfyUI charge déjà normalement. Vous pouvez également conserver le checkpoint complet et le définir comme base de la famille dans Préférences, puis former des LoRAs sur votre propre modèle entraîné.