H3 Acceleration Arena: ranking a ciegas de aceleraciones H3

La H3 Acceleration Arena realiza votaciones A/B a ciegas entre clips pregenerados de diferentes variantes de aceleración de MiniMax H3.

Una única arena para todas las aceleraciones de H3

La escena de aceleración de MiniMax H3 ha explotado en el último mes: las LoRA de destilación, las fusiones, los nodos de caché y los kernels de atención ahora compiten por llamar la atención, y la mayoría de las afirmaciones se basan en pruebas de referencia autoinformadas. La H3 Acceleration Arena, creada por multimodalart de Hugging Face junto con evaluadores de la Comunidad, reemplaza esas afirmaciones con votos por pares a ciegas. Dos clips generados a partir del mismo prompt y la misma semilla con diferentes variantes de aceleración se reproducen lado a lado, el espectador elige el mejor, y las puntuaciones Elo y Bradley-Terry se acumulan en una tabla de clasificación pública con intervalos de confianza.

El corpus actual abarca 23 variantes calificadas en un conjunto de 200 prompts con aproximadamente 4.000 clips pregenerados, dividido en cuatro secciones: visual de texto a vídeo, audio de texto a vídeo, visual de imagen a vídeo y audio de imagen a vídeo. Debido a que H3 genera el audio junto con el vídeo, la arena puntúa la calidad del sonido por separado, en lugar de permitir que un modelo visual rápido gane solo con las imágenes.

¿Qué variantes hay en el grupo?

El grupo de calificación abarca la mayoría de los enfoques que hemos cubierto individualmente:

Muchas de estas son LoRA de la Comunidad que nunca se habían enfrentado entre sí con prompts idénticos, por lo que la arena es la primera comparación en igualdad de condiciones para el ecosistema de aceleración de H3.

No todo supera el control de calidad

La metodología de la arena es inusualmente estricta con las variantes rotas. Quince variantes se retiraron de la votación con motivos publicados, incluidos los checkpoints completos de FastVideo cuyos tensores de compuerta VSA son descartados silenciosamente por el cargador de diffusers (produciendo una "masa borrosa" que habría castigado injustamente a los autores), una fusión de silveroxides atribuida a un defecto confirmado en el upstream, y ejecuciones de SLA de LightX2V sustituidas por re-ejecuciones corregidas. La variante de datos sintéticos más entrenada de FastVideo se aparcó únicamente para acelerar la convergencia de las puntuaciones, no porque esté rota.

La integridad de los votos recibe un cuidado similar: se requiere iniciar sesión a través de Hugging Face OAuth, cada voto se atribuye a un ID de usuario estable, y los clips se sirven con tokens opacos para que los nombres de las variantes nunca se filtren antes de emitir un voto. El Elo se ancla al Modelo base de 28 pasos en 1000, y los intervalos de confianza provienen del remuestreo bootstrap más la reorganización del orden, ya que los autores descubrieron que los intervalos de permutación ingenuos se estrechan precisamente cuando los datos son más escasos.

Estado

Las cifras de la tabla de clasificación están actualmente ocultas hasta que la visibilidad del Space se haga pública, pero la propia aplicación de la arena está activa y funcionando: su endpoint de estadísticas informa de 200 prompts emparejables, 23 variantes emparejables y un corpus de 4.000 clips, y la API de votación responde. La publicación de Reddit que lo anunció enmarca el proyecto como "15+ H3 LoRAs, fine-tunes, Max" enfrentándose cara a cara, y el anuncio alcanzó la cima de r/StableDiffusion y r/comfyui el mismo día. Una vez que las puntuaciones sean públicas, esta será la tabla de referencia para elegir qué aceleración de H3 instalar, y también debería zanjar cuál de los muchos checkpoints de LoRA Turbo merece la pena conservar.