AlayaWorld: リアルタイムカメラ制御とプロンプト切り替えを備えたオープンソースのインタラクティブワールドモデル

news

Alaya Labは、インタラクティブな生成ワールドを構築するためのフルスタックオープンソースフレームワーク「AlayaWorld」をリリースしました。1分を超える長期間のビデオ一貫性、リアルタイムカメラ制御、プロンプト駆動のインタラクションを特徴とします。

2026年7月8日、Alaya Lab(Shanda AI Research傘下)は、インタラクティブな生成ワールドを構築するためのフルスタックオープンソースフレームワークAlayaWorldをリリースしました。すべてのオブジェクトを手動で作成する必要がある従来のゲームエンジンアプローチの代わりに、AlayaWorldは自己回帰ワールドモデルを使用して、プレイ可能なワールド全体をその場で生成します。

プロジェクトページalaya-lab.github.io/AlayaWorld
デモ動画YouTube
テクニカルレポートarXiv 2607.06291
コードと重み近日公開
ライセンスApache 2.0
AlayaWorldティーザー — 複数のゲームスタイルにわたるインタラクティブワールド生成 AlayaWorldは、リアルなシーンから様式化されたゲーム環境まで、複数のアートスタイルにわたってプレイ可能なインタラクティブワールドを生成します。

4つのコアプロパティ

AlayaWorldは、インタラクション一貫性安定性ランタイムの4つの設計原則に基づいて構築されています。

インタラクション

2つの制御チャンネルがリアルタイムのユーザーインタラクションを可能にします:

  • 軽量なAdaLNカメラ変調によるレンダリング済み3Dキャッシュ:接地された軌跡認識ナビゲーションを実現し、ユーザーは自由にカメラを任意の方向に動かせます
  • チャンクレベルのプロンプト切り替え:生成途中で新しいイベントを導入し、ユーザーが戦闘、呪文詠唱、モンスター召喚などのアクションをトリガーできるようにします

一貫性

探索中にワールドを認識可能に保つため、AlayaWorldは2つの補完的なメモリシステムを使用します:

  • 空間想起のためにクエリされたビューに再投影された明示的な3Dキャッシュ
  • 時間的連続性のための圧縮フレーム履歴埋め込み

これにより、再訪した場所が認識可能なままとなり、ほとんどのビデオ生成モデルを悩ませる重要な問題を解決します。

安定性

長期間のビデオ生成は非常に不安定であり、エラーが時間とともに蓄積されます。AlayaWorldは、ドリフトした履歴でトレーニングし、蓄積されたアーティファクトをメモリとターゲットの両方に再注入するエラーバンクを維持することでこの問題に対処し、1分以上のロールアウトでのエラーの蓄積を防ぎます。

ランタイム

システムは数ステップのDMD蒸留短い時間チャンクによってリアルタイムのインタラクションを実現します。プロンプト切り替えはチャンク境界で発生し、視覚的および意味的な遅延を最小限に抑えます。

スタイルの柔軟性

AlayaWorldは同じシーンに対して複数のアートスタイルをサポートしています。プロジェクトページでは、江南(長江以南)のシーンが以下のスタイルでレンダリングされています:

  • リアリスティック — フォトリアリスティックなレンダリング
  • 油絵 — 表現力豊かな筆致スタイル
  • 水墨画 — 伝統的な中国の墨絵
  • サイバーパンク — ネオンに照らされた未来的な美観
  • ゼルダ風 — セルシェーディングのゲーム美観

ユーザーはスタイルを切り替えたり、同じワールドセッション内で異なるスタイルをトリガーすることもできます。

同じ江南のシーンが4つの異なるアートスタイル(リアリスティック、水墨画、サイバーパンク、ゼルダ風)でレンダリングされています。

ゲームを超えて

AlayaWorldのインタラクティブ機能はゲームのような環境で輝きます(ユーザーは自由に移動し、敵と戦い、呪文を唱え、モンスターを召喚できます)が、フレームワークはゲームを超えて一般化するように設計されています。ゲームプレイの記録と実際の動画の両方でトレーニングされており、多様な視覚的外観と物理的ダイナミクスをキャプチャでき、具現化知能や合成環境トレーニングの可能性を開きます。

チームとロードマップ

このプロジェクトは、Alaya LabのKaipeng Zhang(コアリード)とChuanhao Li(リード)が主導しています。完全なテクニカルレポートはarXivで入手できます。

リリースロードマップには以下が含まれます:

  • 推論コード
  • 事前学習済み重み
  • トレーニングコード
  • トレーニングデータ(一部)

すべてのコンポーネントがリリース予定であり、AlayaWorldはデータ準備、モデルアーキテクチャからトレーニング、推論高速化、デプロイメントまでをカバーするフルスタックオープンソースフレームワークとなります。

AlayaWorld: リアルタイムカメラ制御とプロンプト切り替えを備えたオープンソースのインタラクティブワールドモデル | ComfyUI Wiki