AlayaWorld: 대화형 세계 모델의 오픈 소스 프레임워크, 실시간 카메라 제어 및 프롬프트 전환 지원

2026년 7월 8일, Alaya Lab(Shanda AI Research 소속)이 AlayaWorld를 출시했습니다. AlayaWorld는 대화형 생성 세계를 구축하기 위한 풀스택 오픈 소스 프레임워크입니다. 모든 객체를 수동으로 제작해야 하는 전통적인 게임 엔진 접근 방식 대신, AlayaWorld는 자동회귀 월드 모델을 사용하여 즉시 전체 플레이 가능한 세계를 생성합니다.


프로젝트 페이지	alaya-lab.github.io/AlayaWorld
데모 비디오	YouTube
기술 보고서	arXiv 2607.06291
코드 및 가중치	곧 출시 예정
라이선스	Apache 2.0

AlayaWorld는 사실적인 장면부터 스타일화된 게임 환경까지 다양한 아트 스타일로 플레이 가능한 대화형 세계를 생성합니다.

네 가지 핵심 속성

AlayaWorld는 상호작용, 일관성, 안정성, 런타임이라는 네 가지 설계 원칙을 중심으로 구축되었습니다.

상호작용

두 가지 제어 채널을 통해 실시간 사용자 상호작용이 가능합니다:

가벼운 AdaLN 카메라 변조를 사용한 렌더링된 3D 캐시로, 지면 기반의 궤적 인식 탐색이 가능하며 사용자는 카메라를 어떤 방향으로든 자유롭게 이동할 수 있습니다.
청크 수준 프롬프트 전환으로 생성 중간에 새로운 이벤트를 도입하여 사용자가 전투, 주문 시전, 몬스터 소환 등의 작업을 트리거할 수 있습니다.

일관성

탐색하면서 세계를 인식 가능하게 유지하기 위해 AlayaWorld는 두 가지 보완적인 메모리 시스템을 사용합니다:

공간 재현을 위해 쿼리된 뷰로 재투영된 명시적 3D 캐시
시간적 연속성을 위한 압축된 프레임 히스토리 임베딩

이는 다시 방문한 장소가 인식 가능한 상태를 유지함을 의미하며, 대부분의 비디오 생성 모델을 괴롭히는 핵심 문제를 해결합니다.

안정성

장기 비디오 생성은 악명 높게 불안정합니다. 시간이 지남에 따라 오류가 누적됩니다. AlayaWorld는 드리프트된 히스토리에 대해 학습하고 오류 은행을 유지하여 누적된 아티팩트를 메모리와 타겟 모두에 다시 주입함으로써 장기 롤아웃 동안 오류가 누적되는 것을 방지합니다.

런타임

시스템은 소수 스텝 DMD 증류와 짧은 시간 청크를 통해 실시간 상호작용을 달성합니다. 프롬프트 전환은 청크 경계에서 발생하여 시각적 및 의미적 지연을 모두 최소화합니다.

스타일 유연성

AlayaWorld는 동일한 장면에 대해 여러 아트 스타일을 지원합니다. 프로젝트 페이지에서는 장난(양쯔강 이남) 장면을 다음과 같은 스타일로 렌더링한 예를 보여줍니다:

사실적: 포토리얼리스틱 렌더링
유화: 표현적인 붓질 스타일
수묵화: 전통 중국 먹 그림
사이버펑크: 네온 불빛의 미래적 미학
젤다 스타일: 셀 셰이딩 게임 미학

사용자는 스타일 간에 전환하거나 동일한 세계 세션 내에서 다른 스타일을 트리거할 수 있습니다.

동일한 장난 장면이 네 가지 다른 아트 스타일(사실적, 수묵화, 사이버펑크, 젤다 스타일)로 렌더링되었습니다.

게임을 넘어서

AlayaWorld의 대화형 기능은 게임과 같은 환경에서 빛을 발하지만(사용자가 자유롭게 탐색하고, 적과 싸우고, 주문을 시전하고, 몬스터를 소환할 수 있음), 이 프레임워크는 게임을 넘어 일반화할 수 있도록 설계되었습니다. 게임플레이 녹화와 실제 세계 비디오 모두에서 학습되었기 때문에 다양한 시각적 외관과 물리적 역학을 캡처할 수 있으며, 임보디드 인텔리전스와 합성 환경 학습의 가능성을 열어줍니다.

팀과 로드맵

이 프로젝트는 Alaya Lab의 Kaipeng Zhang(코어 리드)과 Chuanhao Li(리드)가 주도했습니다. 전체 기술 보고서는 arXiv에서 확인할 수 있습니다.

출시 로드맵은 다음과 같습니다:

추론 코드
사전 학습 가중치
학습 코드
학습 데이터(일부)

모든 구성 요소가 출시될 예정이며, 데이터 준비 및 모델 아키텍처부터 학습, 추론 가속화, 배포에 이르기까지 AlayaWorld를 풀스택 오픈 소스 프레임워크로 만듭니다.