XGEN-JING: MiniMax H3 上の一人称視点インタラクティブモデル

XGEN Labs は XGEN-JING を公開しました。これは MiniMax H3 上に構築された一人称視点（egocentric）のインタラクティブ体験モデルです。通常の動画モデルが固定されたクリップを生成するのに対し、JING はアクション、参照画像、観測履歴を入力として受け取り、一人称視点の動画と音声を生成します。つまり、移動し、オブジェクトとインタラクションし、会話を行うことができるのです。

モデルリポジトリの公式 XGEN-JING カバー画像。

できること

このモデルは3つの動作を対象にトレーニングされており、いずれも動画と音声として同時に生成されます。

• カメラ操作。 キーボード入力で日常的な場所や想像上の世界を移動し、同じ出発点から異なる歩き方で探索できます。
• インタラクションと対話。 モーションプロンプトの代わりにテキストで、オブジェクトとのインタラクションやキャラクターとの会話を指示できます。
• 参照による条件付け。 ストーリーから取得したキャラクター、オブジェクト、シーンの画像から体験を構成するため、同じ参照セットを異なるアクションの下で探索できます。

JING Flash は MiniMax H3 の Ref2VA パスと、FlashGen（4ステップ H3 LoRA）上に構築されており、これが4ステップ双方向推論を可能にしています。テキストエンコーダー、トークナイザー、プロセッサー、動画および音声の VAE、スケジューラーはすべて diffusers 形式の MiniMax H3 に由来するもので、リリースには含まれていないため、新規なのは jing_flash_v1 transformer のみです。

リリース状況

これはプレビュー段階のリリースであり、リリース計画でもそれが明示されています。

この区別は、ここでの「インタラクティブ」の意味にとって重要です。4ステップ双方向モデルはアクション列をあらかじめ把握した上でクリップ全体を生成します。キーを押すたびにステップごとに応答する因果モデルはまだ公開されていません。XGEN Labs は重みとともにギャラリーとデモ動画を公開しています。

また、リポジトリには プロンプトスキル ドキュメントも含まれており、ストーリーと参照画像から検証済みの推論ケースを生成します。

入手方法

公式の XGEN-JING デモ動画。

• 重み: XGENlabs/XGEN-JING（jing_flash_v1、およびカバーとデモのアセット）
• コード: XGEN-Labs/XGEN-JING
• プロジェクトページ: xgenlabs.ai/research.html
• ギャラリー: xgenlabs.ai/gallery.html

ComfyUI のサポートはありません。推論パスは diffusers と、特定の diffusion リビジョンにピン留めされた SGLang ランタイムで構成されており、検証済みのデモ構成ではスタックを 6台の H100 GPU に分散させています（テキストエンコーダー用に1台、動画および音声 VAE 用に1台、シーケンス並列化を伴う DiT 用に4台）。また、デフォルトのアテンションバックエンドとして FlashAttention-4 を使用します。因果モデルとより軽量な推論パスが登場するまでは、これはローカルの ComfyUI マシンで実行できるものではなく、H3 ベースのインタラクティブモデルが向かう先を示すものと言えます。

同じベースを用いた以前のインタラクティブワールドモデルについては、H3-World をご覧ください。