VDN-H3 Turbo devient autonome : LoRA à 8 étapes pour MiniMax H3
drbaph extrait l'adaptateur VDN-H3 Turbo en un LoRA autonome à 8 étapes pour MiniMax H3, avec variantes élaguées fl2va/ref2va et un checkpoint VDN INT8 ConvRot.
Pourquoi le mode autonome est important
Jusqu'à présent, la seule façon d'exécuter l'adaptateur VDN-H3 Turbo passait par les nœuds personnalisés ComfyUI-VDN-H3 avec le correctif d'attention hybride complet : le checkpoint à 8 étapes, sa branche linéaire et les deux adaptateurs chargés ensemble. Le nouveau LoRA autonome retire l'adaptateur Turbo de cette pile et le repacke comme un simple LoRA MiniMax H3, afin qu'il se charge avec le chargeur LoRA intégré de ComfyUI sur le checkpoint H3 d'origine, sans nœud personnalisé requis.
Selon drbaph, l'adaptateur Turbo à l'intérieur de VDN-H3 a été initialisé à partir du LoRA MiniMax H3 Turbo de larryvrh puis entraîné davantage en DMD dans le cadre de VDN-H3. Cette publication est la conversion autonome de cet adaptateur résultant, il porte donc le signal de distillation des deux lignées.
Ce qui a été publié
Les LoRAs sont situés dans le dossier experimental/ de drbaph/MiniMax-H3-Turbo-Lora-ComfyUI :
| Fichier | Modèle de base | Notes |
|---|---|---|
minimax_h3_dmd_8step_turbo.safetensors | fl2va / ref2va non élagués | un LoRA pour les deux variantes non élaguées |
minimax_h3_dmd_fl2va_8step_turbo_pruned.safetensors | fl2va élagué | variante séparée pour le checkpoint de forme courbe élagué |
minimax_h3_dmd_ref2va_8step_turbo_pruned.safetensors | ref2va élagué | variante séparée pour le checkpoint de forme courbe élagué |
Paramètres recommandés : 8 étapes, force de 0,65 à 1,0. Chaque fichier élagué fait environ 2,1 Go.
Le checkpoint VDN INT8 ConvRot
La deuxième publication vise la voie complète VDN-H3. drbaph/vdn-minimax-h3-int8-convrot-comfyui pré-quantifie le checkpoint stage-dmd-step-250 à 8 étapes au format Comfy Kitchen INT8 ConvRot, la même sérialisation que ComfyUI livre pour ses propres modèles de diffusion int8-convrot. Seuls les poids matmul dispatchés de la branche linéaire sont quantifiés ; les adaptateurs, biais, normes et convolutions passent sans modification.
| original bf16 | INT8 ConvRot | |
|---|---|---|
| branche linéaire | 4,28 Go | 2,20 Go |
| total de l'étape | 5,09 Go | 3,25 Go |
| matmul de la branche | 1x | ~2,7 fois plus rapide |
| bout-en-bout (test unique) | ~111 s | ~95 s |
Un rendu A/B à 1280x736 / 61 images avec la même graine était visuellement identique, et la VRAM maximale lors du chargement a chuté d'environ 4,7 Go. L'étape quantifiée nécessite ComfyUI-VDN-H3 v1.3.0 ou supérieur et se place dans ComfyUI/models/vdn/ comme l'original.
Exemple Ref2VA rendu avec l'étape INT8 ConvRot : 8 étapes, er_sde / BÊTA, 928x928.
Comment cela s'intègre aux autres accélérateurs H3
Les tests de la Communauté dans les canaux Banodoco H3 cette semaine ont mis les chiffres en contexte : la voie VDN échange une partie de la vitesse contre les LoRAs lightx2v turbo (un benchmark a chronométré le VDN Turbo à 8 étapes à 2:04 pour 1280x736 contre 1:24 pour le lightx2v turbo à 4 étapes sur le même matériel) mais maintient mieux le mouvement rapide que la voie FastH3. Le LoRA autonome à 8 étapes donne maintenant une option intermédiaire : l'adaptateur DMD-distillé de VDN sans charger du tout la branche linéaire.
Pour un travail audio à 50 étapes, la recette suggérée par drbaph consiste à générer à au moins 512x512 et augmenter la résolution vers 1080p via le chemin ref2va turbo à 8 étapes, en réduisant d'abord à 256 pour la vitesse.
Disponibilité
- LoRA Turbo autonome : drbaph/MiniMax-H3-Turbo-Lora-ComfyUI, dossier
experimental/(Licence Communautaire MiniMax H3 via le modèle de base ; le dépôt lui-même est Apache-2.0) - Étape VDN INT8 ConvRot : drbaph/vdn-minimax-h3-int8-convrot-comfyui (Licence Communautaire MiniMax H3)
- Nœuds personnalisés pour la voie VDN complète : Saganaki22/ComfyUI-VDN-H3 v1.3.0+
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.