H3 Acceleration Arena : classement en aveugle des accélérations H3

L'H3 Acceleration Arena organise des votes A/B en aveugle entre des clips pré-générés issus de différentes variantes d'accélération MiniMax H3.

Une arène unique pour toutes les accélérations H3

La scène de l'accélération MiniMax H3 a explosé au cours du dernier mois : les LoRA de distillation, les fusions, les nœuds de cache et les kernels d'attention se disputent désormais l'attention, et la plupart des affirmations reposent sur des benchmarks auto-déclarés. L'H3 Acceleration Arena, construite par multimodalart de Hugging Face en collaboration avec des benchmarkers de la communauté, remplace ces affirmations par des votes par paires en aveugle. Deux clips générés à partir du même prompt et de la même graine avec différentes variantes d'accélération sont lus côte à côte, le spectateur choisit le meilleur, et les scores Elo et Bradley-Terry s'accumulent dans un classement public avec intervalles de confiance.

Le corpus actuel couvre 23 variantes évaluées sur un ensemble de 200 prompts avec environ 4 000 clips pré-générés, réparti sur quatre segments : visuel texte-vers-vidéo, audio texte-vers-vidéo, visuel image-vers-vidéo et audio image-vers-vidéo. Parce que H3 génère l'audio conjointement avec la vidéo, l'arène évalue la qualité du son séparément, plutôt que de laisser un modèle visuel rapide gagner sur les seules images.

Quelles variantes composent le pool

Le pool d'évaluation couvre la plupart des approches que nous avons traitées individuellement :

Beaucoup de ces LoRA proviennent de la communauté et ne s'étaient jamais affrontés sur des prompts identiques ; l'arène constitue donc la première comparaison équitable pour l'écosystème d'accélération H3.

Tout ne survit pas au contrôle qualité

La méthodologie de l'arène est exceptionnellement stricte concernant les variantes cassées. Quinze entrées ont été retirées du vote, avec les raisons publiées : des checkpoints FastVideo complets dont les tenseurs de gate VSA sont silencieusement supprimés par le loader diffusers (produisant une « bouillie floue » qui aurait injustement pénalisé les auteurs), une fusion Silveroxides due à un défaut en amont confirmé, et des exécutions LightX2V SLA remplacées par des ré-exécutions corrigées. La variante FastVideo la plus entraînée sur données synthétiques a été mise de côté uniquement pour accélérer la convergence des classements, et non parce qu'elle est cassée.

L'intégrité des votes fait l'objet d'un soin similaire : la connexion est requise via OAuth Hugging Face, chaque vote est attribué à un ID utilisateur stable, et les clips sont servis sous des jetons opaques afin que les noms des variantes ne fuient jamais avant qu'un vote ne soit émis. L'Elo est ancré à 1000 sur la baseline 28-step et les intervalles de confiance proviennent du rééchantillonnage bootstrap et du réordonnancement des données, car les auteurs ont constaté que les intervalles de permutation naïfs se rétrécissent précisément lorsque les données sont les plus rares.

Statut

Les chiffres du classement sont actuellement cachés jusqu'à ce que la visibilité du Space soit rendue publique, mais l'application de l'arène est elle-même en ligne et fonctionnelle : son endpoint de statistiques rapporte 200 prompts appariables, 23 variantes appariables et un corpus de 4 000 clips, et l'API de vote répond. Le post Reddit qui a annoncé le projet le présente comme « 15+ LoRA H3, fine-tunes, Max » s'affrontant directement, et l'annonce s'est hissée en haut de r/StableDiffusion et r/comfyui le même jour. Une fois les classements rendus publics, ce sera la table de référence pour choisir quelle accélération H3 installer, et cela devrait également trancher lequel des nombreux checkpoints LoRA Turbo mérite d'être conservé.