H3-World: Modelo de Mundo Interactivo Controlado por Teclado en MiniMax H3
H3-World convierte a MiniMax H3 en un modelo de mundo interactivo: un LoRA de 65.6M más un parche de atención mapea las teclas WASD y de cámara a vídeo controlado por acciones desde un solo fotograma.
H3-World genera vídeo controlado por acciones desde un primer fotograma único: movimiento de personaje con WASD, movimiento de cámara con IJKL.
Un modelo de mundo sobre un modelo de vídeo
H3-World es descrito por sus autores de Tencent, la Universidad Nacional de Singapur y la Universidad Politécnica de Hong Kong como el primer modelo de mundo interactivo construido sobre MiniMax H3. En lugar de generar un clip fijo, toma un fotograma inicial más controles de teclado y produce vídeo donde el personaje camina y la cámara se mueve según tu entrada, con el documento disponible en arXiv.
El truco es una capa de traducción entre controles estilo juego y el modelo de vídeo. H3-World convierte cada estado de teclado en una instrucción de idioma por cada latente de vídeo futuro, luego usa enrutamiento de atención dirigida para vincular cada instrucción a su intervalo latente correspondiente. Los controles de personaje usan W, A, S, D; los controles de cámara usan I, J, K, L, con F para movimiento rápido de cámara. Los ajustes preestablecidos cubren estático, adelante, atrás, desplazamiento lateral izquierda/derecha, inclinar arriba/abajo y panorámica izquierda/derecha, incluyendo panorámicas rápidas.
Adaptador pequeño, núcleo grande
El entrenamiento utiliza 8.000 clips de jugabilidad del conjunto de datos ABot-World-Explorer-500h. El resultado es un LoRA de rango-32 de 65.6M parámetros, solo el 0.199% del núcleo MiniMax H3 de 33B, publicado como step-10000.safetensors bajo Apache 2.0.
| Item | Detalle |
|---|---|
| Base | MiniMax H3 33B (FL2VA) |
| Adaptador | LoRA de rango-32, 65.6M parámetros (0.199%) |
| Datos de entrenamiento | 8.000 clips de ABot-World-Explorer-500h |
| Controles | Personaje WASD, cámara IJKL, cámara rápida F |
| Licencia | Apache 2.0 (LoRA), la licencia H3 aún se aplica a la base |
Cómo ejecutarlo
El LoRA por sí solo no es suficiente: los autores son explícitos al indicar que cargando el checkpoint a través de una tubería MiniMax H3 sin modificar no reproducirá el comportamiento reportado. El checkpoint publicado requiere los pesos base de MiniMax H3 (aproximadamente 135 GB) más el repositorio oficial de código de H3-World, que aplica un parche de atención dirigida a una revisión fijada de DiffSynth-Studio. La inferencia toma un primer fotograma y un prompt de escena, luego mapea un ajuste preestablecido de acción (o estados de tecla crudos) a las instrucciones por latente, generando clips de 5.2 segundos por defecto a 832x480.
Un espacio de demostración interactivo está disponible en hugging-apps/h3-world-action-demo si quieres ver el bucle de control impulsado por teclado antes de comprometerte con la descarga de 135 GB.
Comentarios
Inicia sesión con GitHub para unirte a la conversación.