AlayaWorld : un modèle de monde interactif open source avec contrôle de caméra en temps réel et commutation de prompts
Alaya Lab a publié AlayaWorld, un framework open source full-stack pour construire des mondes génératifs interactifs. Il propose une cohérence vidéo à long terme au-delà d'une minute, un contrôle de caméra en temps réel et une interaction pilotée par prompts.
Le 8 juillet 2026, Alaya Lab (affilié à Shanda AI Research) a publié AlayaWorld, un framework open source full-stack pour construire des mondes génératifs interactifs. Contrairement à l'approche traditionnelle des moteurs de jeu où chaque objet doit être créé manuellement, AlayaWorld génère des mondes jouables entiers à la volée en utilisant un modèle de monde autorégressif.
| Page du projet | alaya-lab.github.io/AlayaWorld |
| Vidéo de démonstration | YouTube |
| Rapport technique | arXiv 2607.06291 |
| Code et poids | À venir |
| Licence | Apache 2.0 |
AlayaWorld génère des mondes jouables et interactifs dans plusieurs styles artistiques, des scènes réalistes aux environnements de jeu stylisés.
Quatre propriétés fondamentales
AlayaWorld est construit autour de quatre principes de conception : interaction, cohérence, stabilité et exécution.
Interaction
Deux canaux de contrôle permettent une interaction utilisateur en temps réel :
- Un cache 3D rendu avec une modulation de caméra AdaLN légère pour une navigation ancrée et consciente de la trajectoire — les utilisateurs peuvent déplacer librement la caméra dans n'importe quelle direction
- Une commutation de prompts au niveau des chunks qui introduit de nouveaux événements en cours de génération, permettant aux utilisateurs de déclencher des actions comme le combat, le lancement de sorts ou l'invocation de monstres
Cohérence
Pour que le monde reste reconnaissable lors de l'exploration, AlayaWorld utilise deux systèmes de mémoire complémentaires :
- Un cache 3D explicite reprojeté sur la vue interrogée pour le rappel spatial
- Un encodage compressé de l'historique des images pour la continuité temporelle
Cela signifie que les lieux revisités restent reconnaissables, résolvant un problème clé qui affecte la plupart des modèles de génération vidéo.
Stabilité
La génération vidéo à long horizon est notoirement instable — les erreurs s'accumulent avec le temps. AlayaWorld résout ce problème en s'entraînant sur des historiques dérivés et en maintenant une banque d'erreurs qui réinjecte les artefacts accumulés dans la mémoire et la cible, empêchant les erreurs de se cumuler sur des déploiements d'une minute.
Exécution
Le système atteint une interaction en temps réel grâce à la distillation DMD en quelques étapes et à des chunks temporels courts. La commutation de prompts se produit aux limites des chunks pour minimiser la latence visuelle et sémantique.
Flexibilité de style
AlayaWorld prend en charge plusieurs styles artistiques pour la même scène. La page du projet montre une scène du Jiangnan (sud du Yangtsé) rendue en :
- Réaliste — rendu photoréaliste
- Peinture à l'huile — style expressif au pinceau
- Lavis — peinture chinoise traditionnelle à l'encre
- Cyberpunk — esthétique futuriste néon
- Style Zelda — esthétique de jeu cel-shaded
Les utilisateurs peuvent basculer entre les styles ou même déclencher différents styles au sein d'une même session de monde.
Au-delà du jeu vidéo
Bien que les capacités interactives d'AlayaWorld brillent dans des environnements ressemblant à des jeux — les utilisateurs peuvent naviguer librement, combattre des ennemis, lancer des sorts et invoquer des monstres — le framework est conçu pour généraliser au-delà du jeu. Entraîné à la fois sur des enregistrements de gameplay et des vidéos du monde réel, il peut capturer diverses apparences visuelles et dynamiques physiques, ouvrant des possibilités pour l'intelligence incarnée et l'entraînement dans des environnements synthétiques.
Équipe et feuille de route
Le projet est dirigé par Kaipeng Zhang (Responsable principal) et Chuanhao Li (Responsable) d'Alaya Lab. Le rapport technique complet est disponible sur arXiv.
La feuille de route de publication inclut :
- Code d'inférence
- Poids pré-entraînés
- Code d'entraînement
- Données d'entraînement (partielles)
Tous les composants sont prévus pour être publiés, faisant d'AlayaWorld un framework open source full-stack — de la préparation des données et de l'architecture du modèle à l'entraînement, l'accélération de l'inférence et le déploiement.