Wan2.2 Dancer: Tongyi Labによる分単位の音楽からダンス動画生成

概要

Wan-Dancer-14Bは、Tongyi Lab（Qwen、Wan、Tongyi Funを手がけるAlibaba GroupのAI研究機関）によるオープンソースモデルで、音楽と参照画像から高品質でリズムに同期したダンス動画を生成します。このモデルは拡散ベースの動画生成における従来の再生時間の壁を打ち破り、30fpsの720p動画を1分以上にわたって安定して生成します。既存のモデルが通常20秒を超えると苦戦するのに対し、これは特筆すべき成果です。

このモデルは、参照画像（ダンサーの外観とポーズを示すもの）と音声ファイル（楽曲トラック）、および希望するダンススタイルを記述したテキストプロンプトを受け取ります。そして、音楽のリズムと構成に一致する完全なダンス動画を生成します。

アーキテクチャ

Wan-Dancerは、生成プロセスを2つの段階に分離する階層型フレームワークを採用しています。

ステージ1: グローバルキーフレームプランニング

最初の段階では、楽曲全体の音楽構造を捉える5秒のキーフレームセグメントを生成し、全再生時間にわたるグローバルな一貫性を確保します。長距離のプランニングのためのコンテキストとして、楽曲トラック全体を処理します。

ステージ2: ローカル時間リファインメント

2番目の段階では、各セグメントを高解像度の720pフレームにリファインし、セグメント間の時間的な滑らかさを維持しながら細部を追加します。

主要な技術革新

• Time-Mapped RoPE埋め込み: 動的なフレームレート適応により、動きのタイミングを音楽のビートや構造に正確に一致させ、音声と動画の正確な同期を可能にします。
• オプティカルフローベースの損失関数: 隣接フレーム間のジッターや急激な変化にペナルティを与えることで動きの連続性を高め、より滑らかなダンスの動きを実現します。
• モーションスピード制御: 速い動きや急な切り替えの際にも高忠実度のディテールを保ち、長尺動画生成でよく見られるモーションブラーやアーティファクトを防ぎます。
• 楽曲全体の音楽コンテキスト: 短い音声ウィンドウのみを処理するモデルとは異なり、グローバルステージでは楽曲トラック全体を使用して、ダンス全体にわたる一貫した長距離プランニングを行います。

このフレームワークは、Wan2.1の成果、DiffSynth-Studio、およびWan2.2 MoEアーキテクチャを基盤としています。

ダンスジャンル

Wan-Dancerは、音楽と完全に同期する5つのダンスジャンルをサポートしています。

ComfyUI統合

Wan-Dancer-14Bは、ComfyUI 0.22.0以降でネイティブにサポートされています。公式のWan-Dancerワークフローではじめましょう。ComfyUIを最新バージョンに更新してあることを確認してください。

必須モデルファイル

以下のファイルをComfyUI/models/ディレクトリに配置してください。

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

モデルファイルはComfy-Org/Wan-DancerおよびComfy-Org/Wan_2.1_ComfyUI_repackagedリポジトリでホストされています。

リソース