H3-World: Modèle interactif contrôlé par clavier sur MiniMax H3
H3-World transforme MiniMax H3 en un modèle de monde interactif : une LoRA de 65,6M plus un correctif d'attention mappe les touches WASD et caméra vers une vidéo contrôlée par action à partir d'une seule image.
H3-World génère une vidéo contrôlée par action à partir d'une première image unique : mouvement du personnage avec WASD, mouvement de la caméra avec IJKL.
Un modèle de monde construit sur un modèle vidéo
H3-World est décrit par ses auteurs de Tencent, de l'Université nationale de Singapour et de l'Université polytechnique de Hong Kong comme le premier modèle de monde interactif construit sur MiniMax H3. Au lieu de générer une séquence fixe, il prend une image initiale ainsi que des contrôles clavier et produit une vidéo où le personnage se déplace et la caméra bouge selon votre entrée, avec l'article disponible sur arXiv.
La technique consiste en une couche de traduction entre les contrôles style jeu et le modèle vidéo. H3-World convertit chaque état clavier en une instruction linguistique pour chaque futur latent vidéo, puis utilise un routage d'attention dirigé pour lier chaque instruction à son intervalle latent correspondant. Les contrôles du personnage utilisent W, A, S, D ; les contrôles de la caméra utilisent I, J, K, L, avec F pour le mouvement rapide de la caméra. Les préréglages couvrent immobile, avant, arrière, strafing gauche/droite, inclinaison haut/bas et panoramique gauche/droite, y compris les panoramiques rapides.
Petit adaptateur, grand modèle principal
L'entraînement utilise 8 000 clips de gameplay du jeu de données ABot-World-Explorer-500h. Le résultat est une LoRA de rang-32 de 65,6M paramètres, soit seulement 0,199 % du modèle principal MiniMax H3 33B, publiée sous forme de step-10000.safetensors sous licence Apache 2.0.
| Item | Detail |
|---|---|
| Base | MiniMax H3 33B (FL2VA) |
| Adaptateur | LoRA rang-32, 65,6M paramètres (0,199 %) |
| Données d'entraînement | 8 000 clips de ABot-World-Explorer-500h |
| Contrôles | Personnage WASD, caméra IJKL, caméra rapide F |
| Licence | Apache 2.0 (LoRA), licence H3 toujours applicable à la base |
Comment l'exécuter
La LoRA seule ne suffit pas : les auteurs sont explicites quant au fait que le chargement du checkpoint via un pipeline MiniMax H3 non modifié ne reproduira pas le comportement rapporté. Le checkpoint publié nécessite les poids de base MiniMax H3 (environ 135 Go) plus le référentiel de code officiel H3-World, qui applique un correctif d'attention dirigé à une révision épinglée de DiffSynth-Studio. L'inférence prend une première image et une invite de scène, puis mappe un préréglage d'action (ou des états de touches bruts) aux instructions par latent, générant des clips de 5,2 secondes par défaut à 832x480.
Un espace de démonstration interactif est disponible à hugging-apps/h3-world-action-demo si vous souhaitez voir la boucle de contrôle pilotée par clavier avant de procéder au téléchargement de 135 Go.
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.