H3-World: MiniMax H3 上でキーボード操作可能なインタラクティブ世界モデル

H3-World は最初の単一フレームからアクション制御動画を生成します：キャラクターの動きは WASD、カメラの動きは IJKL です。

動画モデルの上に構築された世界モデル

H3-World は、Tencent、シンガポール国立大学、香港理工大学の著者によって、MiniMax H3 を基盤とした初のインタラクティブ世界モデルとして紹介されています。固定されたクリップを生成するのではなく、初期フレームとキーボード操作を受け取り、キャラクターが歩き、カメラが入力に応じて動く動画を作成します。論文は arXiv で公開されています。

鍵となるのは、ゲーム風の操作と動画モデルとの間の翻訳レイヤーです。H3-World は各キーボード状態を将来の動画 latent ごとに 1 つの言語指示に変換し、方向付きアテンションルーティングを使用して、すべての指示を対応する潜在区間にバインドします。キャラクター操作には W, A, S, D を使用し、カメラ操作には I, J, K, L を使用します。F は高速カメラ移動用です。プリセットには静止、前方、後方、左右への横移動、上下への傾き、左右へのパンが含まれており、高速パンも含まれます。

小さなアダプター、大きなバックボーン

トレーニングには ABot-World-Explorer-500h データセットからの 8,000 クリップを使用しています。結果は、33B の MiniMax H3 バックボーンの 0.199% に相当する 65.6M パラメータのランク 32 LoRAで、step-10000.safetensors として Apache 2.0 の下でリリースされています。

実行方法

LoRA だけでは不十分です：著者は明確に、未変更の MiniMax H3 pipeline を通じて checkpoint を読み込むだけでは報告された動作は再現できないと述べています。リリースされた checkpoint には、MiniMax H3 ベースの重み（約 135 GB）に加え、ピン留めされた DiffSynth-Studio リビジョンに対して方向付きアテンションパッチを適用する公式の H3-World コードリポジトリが必要です。推論では、最初のフレームとシーンプロンプトを受け取り、アクションプリセット（または生のキー状態）を latent ごとの指示にマッピングし、デフォルトで 832x480 の 5.2 秒クリップを生成します。

キーボード駆動型の制御ループを確認したい場合は、135 GB のダウンロードを着手する前に hugging-apps/h3-world-action-demo でインタラクティブなデモスペースを利用できます。