H3 Acceleration Arena: MiniMax H3高速化のブラインドテストランキング

H3 Acceleration Arenaは、異なるMiniMax H3高速化バリアントから生成されたクリップを、ブラインドA/B投票で比較します。

すべてのH3高速化を扱う単一のアリーナ

MiniMax H3高速化シーンはこの1か月で急速に拡大しています。蒸留LoRA、マージ、キャッシュノード、アテンションカーネルが注目を集める中、その主張のほとんどは自己申告のベンチマークに基づいています。Hugging Faceのmultimodalartがコミュニティのベンチマーク担当者と共同で構築したH3 Acceleration Arenaは、こうした主張をブラインドのペアワイズ投票に置き換えます。同じプロンプトとシードから異なる高速化バリアントで生成された2本のクリップが並んで再生され、視聴者が優れた方を選びます。EloとBradley-Terryのレーティングが蓄積され、信頼区間付きの公開リーダーボードが形成されます。

現在のコーパスは、200プロンプトのセットに対する23の評価対象バリアントと、約4,000本の生成済みクリップで構成され、テキストから動画への視覚、テキストから動画への音声、画像から動画への視覚、画像から動画への音声の4つのスライスに分かれています。H3は動画とともに音声も同時に生成するため、アリーナでは高速な視覚モデルが映像だけで勝つのを防ぐため、サウンド品質を個別に評価します。

プールに含まれるバリアント

評価プールには、これまで個別に取り上げてきたアプローチの大半が含まれています:

これらの多くはコミュニティ製のLoRAであり、同一プロンプトで比較されたことは一度もありませんでした。そのため、このアリーナはH3高速化エコシステムにとって初めての公平な比較となります。

すべてが品質管理を通過するわけではない

アリーナの方法論は、破損したバリアントに対して異例なほど厳格です。15のレッグが理由を公表したうえで投票から撤回されました。その中には、diffusersローダーがVSAゲートテンソルを静かに破棄するFastVideoフルチェックポイント（作者を不当に不利にする「ぼやけたノイズ」を生成します）、確認済みの上流不良に起因するSilveroxidesマージ、修正済みの再実行に置き換えられたLightX2V SLA実行が含まれます。FastVideoが最も学習を施した合成データのレッグは、破損しているからではなく、レーティングの収束を速めるためだけに保留されています。

投票の整合性にも同様の配慮がなされています。Hugging Face OAuthによるサインインが必須で、各投票は安定したユーザーIDに帰属し、クリップは不透明なトークンで配信されるため、投票前にバリアント名が漏れることはありません。Eloは28ステップのベースラインを1000として固定され、信頼区間はブートストラップ再サンプリングと順序のシャッフルから算出されています。著者らは、素朴な順列区間がデータが最も少ないときに狭くなることを発見したためです。

現在の状況

リーダーボードの数値は現在、Spaceの公開設定が切り替わるまで非表示ですが、アリーナアプリ自体は稼働中です。統計エンドポイントは200のペアリング可能なプロンプト、23のペアリング可能なバリアント、4,000本のクリップのコーパスを報告し、投票APIも応答しています。発表されたRedditの投稿では、このプロジェクトを「15以上のH3 LoRA、ファインチューン、Max」の対決と位置づけており、発表は同日にr/StableDiffusionとr/comfyuiのトップに掲載されました。レーティングが公開されれば、どのH3高速化をインストールするかを選ぶためのリファレンス表となり、多数あるTurbo LoRAチェックポイントのうちどれを残す価値があるかも明らかになるはずです。