H3 Acceleration Arena: слепой рейтинг ускорений H3

H3 Acceleration Arena проводит слепые A/B-голосования между предварительно сгенерированными клипами различных вариантов ускорения MiniMax H3.

Одна арена для каждого ускорения H3

Сцена ускорения MiniMax H3 взорвалась за последний месяц: дистилляционные LoRA, мержи, кэш-узлы и ядра внимания теперь борются за внимание, и большинство заявлений опирается на самостоятельно заявленные бенчмарки. H3 Acceleration Arena, созданная multimodalart из Hugging Face совместно с бенчмаркерами сообщества, заменяет эти заявления слепыми попарными голосованиями. Два клипа, сгенерированные из одного промпта и сида с разными вариантами ускорения, воспроизводятся бок о бок, зритель выбирает лучший, а рейтинги Эло и Bradley-Terry накапливаются в публичной таблице лидеров с доверительными интервалами.

Текущий корпус охватывает 23 оценённых варианта на наборе из 200 промптов и примерно 4000 предварительно сгенерированных клипов, разделённых на четыре среза: текст-в-видео визуальный, текст-в-видео аудио, изображение-в-видео визуальный и изображение-в-видео аудио. Поскольку H3 генерирует аудио совместно с видео, арена оценивает качество звука отдельно, не позволяя быстрой визуальной модели побеждать только за счёт картинки.

Какие варианты входят в пул

Оценочный пул охватывает большинство подходов, которые мы освещали по отдельности:

Многие из них являются LoRA сообщества, которые никогда не сталкивались друг с другом на одинаковых промптах, поэтому арена стала первым сравнением на равных для экосистемы ускорения H3.

Не всё проходит контроль качества

Методология арены необычно строга к сломанным вариантам. Пятнадцать вариантов были отозваны из голосования с опубликованными причинами, включая полные чекпойнты FastVideo, у которых VSA gate tensor молча отбрасываются загрузчиком diffusers (что даёт «размытую кашу», которая несправедливо наказала бы авторов), мерж Silveroxides, обусловленный подтверждённым дефектом апстрима, и прогоны LightX2V SLA, заменённые исправленными повторными прогонами. Наиболее обученный вариант FastVideo на синтетических данных был отложен исключительно для ускорения сходимости рейтинга, а не потому что он сломан.

Целостности голосования уделяется не меньше внимания: вход обязателен через Hugging Face OAuth, каждый голос привязывается к стабильному ID пользователя, а клипы раздаются под анонимными токенами, чтобы названия вариантов не утекали до того, как будет отдан голос. Эло привязан к 28-шаговому базовому варианту с отметкой 1000, а доверительные интервалы получаются из бутстрэп-ресемплинга и перемешивания порядка, поскольку авторы обнаружили, что наивные пермутационные интервалы сужаются именно тогда, когда данные самые разреженные.

Статус

Числа в таблице лидеров сейчас скрыты, пока видимость Space не станет публичной, но само приложение арены запущено и работает: его endpoint статистики сообщает о 200 парных промптах, 23 парных вариантах и корпусе из 4000 клипов, а API голосования отвечает. Анонсировавший проект пост на Reddit описывает его как «15+ H3 LoRAs, fine-tunes, Max», соревнующихся друг с другом, и анонс в тот же день оказался на вершине r/StableDiffusion и r/comfyui. Когда рейтинги станут публичными, это станет эталонной таблицей для выбора того, какое ускорение H3 установить, а также должно определить, какой из множества Turbo LoRA чекпойнтов стоит сохранить.