DreamX-Creator 1.0：2K対応の7B音声・動画同時生成モデルをオープンソース公開

2K解像度での音声・動画同時生成結果を示すDreamX-Creator 1.0ティーザー。

動画と音声を同時に生成する7Bジェネレーター

先頭フレームとテキストプロンプトを入力すると、ベースジェネレーターはモダリティ特化の動画ストリームと音声ストリームを同時にモデリングします。この双方向の相互作用を支えるのは、次の2つのメカニズムです。

• Gated Cross-Modal Attention（ゲート付きクロスモーダルアテンション）: クロスアテンションの重み（cross_attn_weights.safetensors、2.56 GB）により、各モダリティが互いのモダリティにアテンションを適用できます。学習されたゲートが、どの程度の情報をやり取りするかを制御します。
• Progressive Joint Training（段階的ジョイントトレーニング）: 唇の動き、スクリーン上のアクション、サウンドトラックが後付けで張り合わされるのではなく同期するように、2つのストリームをまとめてトレーニングします。

ベースジェネレーターに加えて、モダリティを認識したマルチモーダルフィードバックを用いる**音声・動画強化学習（Audio-Video Reinforcement Learning）**のステージにより、画質、音質、意味的一貫性、細かな音声・動画の整列が向上します。

1ステップで2Kへ

システムの後半は、自己回帰型の1ステップ2Kリファイナー（SR-DiT、5Bパラメータ）です。コンテンツ、モーション、音声に同期したタイミングを維持したまま、生成済み動画を2Kへ超解像します。リファイナーは外部動画にも対応しているため、任意のクリップを入力できます。音声はそのまま通過します。

リファイナーには速度調整用のオプションが用意されています。KVキャッシュ、ウィンドウアテンション、潜在アップサンプラーの各バリアント（デフォルトはFlashLatentUpsampler、オプションで蒸留版のLightVAE高速デコーダーも選択可能）によって、品質とレイテンシーをトレードオフできます。

ダウンロードできるもの

すべての重みはHugging FaceとModelScopeで公開されており、合計で約54 GBです。

Wan2.2ディレクトリはWan-AI/Wan2.2-TI2V-5Bからそのまま再利用できるため、すでにWan2.2を実行している場合は、DreamX固有の3つのフォルダだけが新規ダウンロードになります。

推論はプレーンなPythonで実行できます。2つのステージにはそれぞれ専用のrequirements.txtとワンコマンドスクリプトが用意されており、CPUオフロードとマルチGPUシーケンス並列のオプションは各サブREADMEに記載されています。

対応状況

DreamX-Creator用のネイティブなComfyUIノードはまだありません。重みはdiffusersレイアウトで提供され、推論は公式リポジトリ経由で実行します。ロードマップには、次のマイルストーンとして蒸留された、より少ないステップのモデルが挙げられています。