AlayaWorld: Un modelo de mundo interactivo de código abierto con control de cámara en tiempo real y cambio de indicaciones
Alaya Lab lanzó AlayaWorld, un framework completo de código abierto para construir mundos generativos interactivos. Ofrece consistencia de video de largo horizonte más allá de un minuto, control de cámara en tiempo real e interacción basada en indicaciones.
El 8 de julio de 2026, Alaya Lab (afiliado a Shanda AI Research) lanzó AlayaWorld, un framework completo de código abierto para construir mundos generativos interactivos. En lugar del enfoque tradicional de motor de juego donde cada objeto debe crearse manualmente, AlayaWorld genera mundos completos jugables sobre la marcha utilizando un modelo de mundo autorregresivo.
| Página del proyecto | alaya-lab.github.io/AlayaWorld |
| Video de demostración | YouTube |
| Informe técnico | arXiv 2607.06291 |
| Código y pesos | Próximamente |
| Licencia | Apache 2.0 |
AlayaWorld genera mundos jugables e interactivos en múltiples estilos artísticos, desde escenas realistas hasta entornos de juego estilizados.
Cuatro propiedades fundamentales
AlayaWorld se basa en cuatro principios de diseño: interacción, consistencia, estabilidad y rendimiento en tiempo real.
Interacción
Dos canales de control permiten la interacción del usuario en tiempo real:
- Una caché 3D renderizada con modulación de cámara AdaLN ligera para una navegación fundamentada y consciente de la trayectoria: los usuarios pueden mover la cámara libremente en cualquier dirección.
- Cambio de indicaciones a nivel de fragmento que introduce nuevos eventos durante la generación, permitiendo a los usuarios desencadenar acciones como combates, lanzamiento de hechizos o invocación de monstruos.
Consistencia
Para mantener el mundo reconocible mientras se explora, AlayaWorld utiliza dos sistemas de memoria complementarios:
- Una caché 3D explícita reproyectada a la vista consultada para recordar la disposición espacial.
- Un embedding comprimido del historial de fotogramas para la continuidad temporal.
Esto asegura que los lugares revisitados sigan siendo reconocibles, resolviendo un problema clave que afecta a la mayoría de los modelos de generación de video.
Estabilidad
La generación de video de largo horizonte es notoriamente inestable: los errores se acumulan con el tiempo. AlayaWorld aborda esto entrenando con historiales con deriva y manteniendo un banco de errores que reintroduce los artefactos acumulados tanto en la memoria como en el objetivo, evitando que los errores se acumulen durante despliegues de más de un minuto.
Rendimiento en tiempo real
El sistema logra interacción en tiempo real mediante destilación DMD de pocos pasos y fragmentos temporales cortos. El cambio de indicaciones ocurre en los límites de los fragmentos para minimizar la latencia visual y semántica.
Flexibilidad de estilo
AlayaWorld admite múltiples estilos artísticos para una misma escena. La página del proyecto muestra una escena de Jiangnan (al sur del Yangtsé) renderizada en:
- Realista — renderizado fotorrealista
- Pintura al óleo — pincelada expresiva
- Aguada — pintura tradicional china a tinta
- Cyberpunk — estética futurista iluminada con neón
- Estilo Zelda — estética de juego con sombreado cel
Los usuarios pueden cambiar entre estilos o incluso activar diferentes estilos dentro de una misma sesión de mundo.
Más allá de los videojuegos
Si bien las capacidades interactivas de AlayaWorld brillan en entornos similares a videojuegos (los usuarios pueden navegar libremente, luchar contra enemigos, lanzar hechizos e invocar monstruos), el framework está diseñado para generalizarse más allá de los juegos. Entrenado tanto en grabaciones de juego como en videos del mundo real, puede capturar diversas apariencias visuales y dinámicas físicas, abriendo posibilidades para la inteligencia encarnada y el entrenamiento en entornos sintéticos.
Equipo y hoja de ruta
El proyecto está liderado por Kaipeng Zhang (Líder principal) y Chuanhao Li (Líder) de Alaya Lab. El informe técnico completo está disponible en arXiv.
La hoja de ruta de lanzamiento incluye:
- Código de inferencia
- Pesos preentrenados
- Código de entrenamiento
- Datos de entrenamiento (parciales)
Todos los componentes están previstos para su publicación, convirtiendo a AlayaWorld en un framework completo de código abierto, desde la preparación de datos y la arquitectura del modelo hasta el entrenamiento, la aceleración de inferencia y el despliegue.