AlayaWorld: интерактивная модель мира с открытым исходным кодом с управлением камерой в реальном времени и переключением промптов

8 июля 2026 года Alaya Lab (входит в Shanda AI Research) выпустила AlayaWorld — полнофункциональный фреймворк с открытым исходным кодом для создания интерактивных генеративных миров. В отличие от традиционного подхода игровых движков, где каждый объект создаётся вручную, AlayaWorld генерирует целые играбельные миры на лету с помощью авторегрессионной модели мира.

Страница проекта	alaya-lab.github.io/AlayaWorld
Демо-видео	YouTube
Технический отчёт	arXiv 2607.06291
Код и веса	Скоро появятся
Лицензия	Apache 2.0

AlayaWorld создаёт играбельные интерактивные миры в различных художественных стилях: от реалистичных сцен до стилизованных игровых окружений.

Четыре ключевых свойства

AlayaWorld построен на четырёх принципах: взаимодействие, согласованность, стабильность и производительность.

Взаимодействие

Два канала управления обеспечивают взаимодействие в реальном времени:

• Рендерный 3D-кэш с лёгкой модуляцией камеры AdaLN для обоснованной навигации с учётом траектории — пользователь может свободно перемещать камеру в любом направлении.
• Переключение промптов на уровне чанков, которое вводит новые события во время генерации, позволяя пользователю инициировать действия, такие как бой, заклинания или призыв монстров.

Согласованность

Чтобы мир оставался узнаваемым при исследовании, AlayaWorld использует две дополняющие друг друга системы памяти:

• Явный 3D-кэш, перепроецируемый на запрашиваемый вид для пространственного запоминания.
• Сжатая эмбеддинг-история кадров для временной непрерывности.

Благодаря этому повторно посещаемые места остаются узнаваемыми — решается ключевая проблема, свойственная большинству моделей генерации видео.

Стабильность

Генерация длинного видео печально нестабильна: ошибки накапливаются со временем. AlayaWorld решает эту проблему, обучаясь на дрейфующих историях и используя банк ошибок, который повторно внедряет накопленные артефакты обратно в память и целевой кадр, предотвращая накопление ошибок в течение минутных развёрток.

Производительность

Система достигает взаимодействия в реальном времени благодаря дистилляции DMD с малым количеством шагов и коротким временным чанкам. Переключение промптов происходит на границах чанков, что минимизирует как визуальную, так и семантическую задержку.

Гибкость стилей

AlayaWorld поддерживает несколько художественных стилей для одной и той же сцены. На странице проекта демонстрируется сцена в стиле Цзяннань (южнее Янцзы) в следующих стилях:

• Реалистичный — фотореалистичная визуализация.
• Масляная живопись — выразительная мазковая техника.
• Тушь — традиционная китайская живопись тушью.
• Киберпанк — неоновая футуристическая эстетика.
• Стиль Zelda — cel-shaded игровая эстетика.

Пользователи могут переключаться между стилями или даже активировать разные стили внутри одной сессии мира.

Одна и та же сцена Цзяннань в четырёх разных стилях: Реалистичный, Тушь, Киберпанк и Стиль Zelda.

За пределами игр

Хотя интерактивные возможности AlayaWorld наиболее ярко проявляются в игровых средах — пользователи могут свободно перемещаться, сражаться с врагами, произносить заклинания и вызывать монстров — фреймворк спроектирован для обобщения и выхода за рамки игр. Обученный как на записях геймплея, так и на реальных видеороликах, он может улавливать разнообразные визуальные образы и физическую динамику, открывая возможности для воплощённого интеллекта и тренировки в синтетических средах.

Команда и дорожная карта

Проектом руководят Kaipeng Zhang (Core Lead) и Chuanhao Li (Lead) из Alaya Lab. Полный технический отчёт доступен на arXiv.

План релизов включает:

• Код для инференса
• Предобученные веса
• Код для обучения
• Обучающие данные (частично)

Планируется выпуск всех компонентов, что делает AlayaWorld полнофункциональным фреймворком с открытым исходным кодом — от подготовки данных и архитектуры модели до обучения, ускорения инференса и развёртывания.