DreamX-Creator 1.0: ComfyUI セットアップとモデルガイド

最初のフレームとテキストプロンプトを与えると、DreamX-Creator はゲート付きクロスモーダルアテンションを通じて、モダリティごとに特化した動画ストリームと音声ストリームを同時にモデリングします。クロスアテンションの重みによって各モダリティが互いを参照でき、学習済みのゲートが受け渡される情報量を制御します。プログレッシブなジョイントトレーニングにより、口の動き、画面上のアクション、サウンドトラックは事後的に繋ぎ合わされるのではなく、同期した状態に保たれます。その後、自己回帰 1 ステップリファイナー(SR-DiT、5B)がコンテンツ、動き、音声に同期したタイミングを保ちながらクリップを 2K に超解像し、外部の動画をリファインすることもできます。

インストール

DreamX-Creator は DreamX Creator T8 のネイティブ V3 ノードを通じて ComfyUI で動作します。ノードパッケージは ComfyUI Manager からインストールするか("DreamX Creator T8" で検索)、ComfyUI/custom_nodes/ にクローンして、ComfyUI を起動するのと同じ Python で要件をインストールしてください。

ComfyUI でそのまま使えるウェイトバンドルを共有モデルディレクトリにダウンロードします:

hf download t8star/DreamX-Creator-Comfy --local-dir ComfyUI/models/dreamx_creator

ローダーの model_root=auto はリポジトリの checkpoints/ と ComfyUI/models/dreamx_creator/ を検索します。バンドルは約 54 GB で、そのルート直下に creator/、audio_vae/、refiner/、wan2.2_ti2v_5b/ フォルダが含まれている必要があります。

ワークフロー

生成グラフは、完全なローダー、2 つのテキストエンコーダー、最初のフレームの音声・動画潜在、AV フローシフト(公開プリセットは 5.0 / 5.0)、マルチモーダルガイダー、そして通常スケジューリング・20 ステップ・euler の FlowMatch サンプラーを実行し、続いて AV 潜在の分割、動画と音声の VAE デコード、動画のエクスポートを行います。別個のリファイナーグラフは、音声と FPS を保ったまま 2× パスを実行します。要求された長さは、Wan 互換の 4N+1 フレーム数に切り捨てられます。

ノードパッケージには、フロントエンドからインポートできるサンプルが同梱されています(examples/dreamx_creator_ui.json は最初のフレームから同期した動画と音声を生成する用、examples/dreamx_refiner_ui.json は 2× リファインメントパス用)。

リソース

• DreamX-Creator 1.0 の発表
• DreamX-Creator の GitHub リポジトリ
• DreamX Creator T8 ComfyUI ノード
• ComfyUI 対応ウェイト