MiniMax H3 Fusion Hybride : Qualité FL2VA et Références Ref2VA
Une fusion communautaire combine la qualité FL2VA de MiniMax H3 avec le conditionnement par référence de Ref2VA dans un seul checkpoint, plus un nœud Hybrid Loader ComfyUI dédié.
MiniMax H3 est distribué sous forme de deux checkpoints avec la même architecture : FL2VA, qui offre la qualité visuelle et audio la plus élevée, et Ref2VA, la seule variante prenant en charge la génération pilotée par référence (conditionnement par référence d'image, de vidéo ou d'audio), mais avec une sortie brute nettement inférieure. Un projet de la communauté fusionne désormais les deux en un seul checkpoint MiniMax H3 Hybrid, et un nœud personnalisé compagnon le charge directement dans ComfyUI.
Paramètres recommandés du Hybrid Loader selon le README officiel du projet
Pourquoi cette fusion existe
Une comparaison tensor par tensor des deux checkpoints officiels a révélé que l'écrasante majorité des poids (projections d'attention QKV/sortie, MLP, RMSNorm, projections de patch, embeddings rotatifs et le raffineur de jetons) sont identiques au bit près ou extrêmement proches (similarité cosinus ≥ 0,9997) entre FL2VA et Ref2VA. Les différences significatives se concentrent dans les poids adaln_proj par bloc : les projections de modulation AdaLN qui acheminent les signaux de modalité texte, audio, vidéo et référence dans le flux résiduel.
Le traitement du conditionnement par référence étant concentré dans les poids AdaLN des blocs ultérieurs, tandis que la fidélité visuelle/audio générale repose sur les poids partagés, une fusion ciblée semblait prometteuse plutôt qu'un compromis avec pertes : utiliser FL2VA comme base pour tout le reste, et extraire les poids adaln_proj de Ref2VA pour une plage configurable de blocs transformer ultérieurs.
Variantes disponibles
La fusion a été réalisée au niveau des tensors, sans entraînement supplémentaire. Toutes les variantes utilisent FL2VA comme base, ne différant que par le nombre de blocs transformer (sur 50) qui prennent leurs poids adaln_proj depuis Ref2VA :
| Fichier | Blocs depuis Ref2VA | Compromis |
|---|---|---|
minimax_h3_hybrid_fl2va_ref2va_b30-49.safetensors | 30–49 (20 derniers) | Le plus proche de FL2VA : qualité de sortie maximale, capacité de référence réduite |
minimax_h3_hybrid_fl2va_ref2va_b25-49.safetensors | 25–49 (25 derniers) | Équilibre par défaut recommandé |
minimax_h3_hybrid_fl2va_ref2va_b20-49.safetensors | 20–49 (30 derniers) | Plus proche de Ref2VA : meilleur respect des références, qualité légèrement inférieure |
minimax_h3_hybrid_fl2va_ref2va_b15-49.safetensors | 15–49 (35 derniers) | Capacité de référence maximale, certaines pertes de qualité |
Chaque variante est un checkpoint autonome avec la même architecture et la même organisation des tensors que les modèles sources (~21 Go). Une fois chargée, elle se comporte comme un modèle de diffusion normal.
Utilisation dans ComfyUI
L'hybride ne peut pas être chargé avec le nœud Load Diffusion Model standard de ComfyUI, car aucun chargeur standard ne sait composer deux checkpoints. Le MiniMax H3 Hybrid Loader compagnon (ComfyUI_MinimaxH3HybridLoader) comble cette lacune :
- Installez le nœud personnalisé dans `Com
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.