Wan2.2 Dancer: 通義研究室による分単位の音楽-to-ダンス動画生成モデル

概要

Wan-Dancer-14Bは、通義研究所（アリババグループのAI研究所、Qwen、Wan、Tongyi Funの開発元）が公開したオープンソースモデルで、音楽と参照画像から高品質でリズムに同期したダンス動画を生成します。このモデルは拡散ベースの動画生成における従来の時間制限を克服し、1分以上にわたって安定した720p @30fpsの動画を生成します。既存のモデルでは20秒を超えると困難とされる性能です。

モデルは参照画像（ダンサーの外観とポーズを示す）とオーディオファイル（音楽トラック）、および希望するダンススタイルを記述したテキストプロンプトを受け取り、音楽のリズムと構造に合わせたフルダンス動画を生成します。

アーキテクチャ

Wan-Dancerは、生成プロセスを2段階に分離する階層型フレームワークを採用しています。

ステージ1: グローバルキーフレームプランニング

最初の段階では、トラック全体の音楽構造を捉えた5秒間のキーフレームセグメントを生成し、全長にわたるグローバルな一貫性を確保します。長期的なプランニングのコンテキストとして、完全な音楽トラックを処理します。

ステージ2: 局所時間リファインメント

第2段階では、各セグメントを高解像度720pフレームに洗練し、微細な詳細を追加しながらセグメント間の時間的滑らかさを維持します。

主な技術的革新

• 時間マッピング型RoPE埋め込み: 動的フレームレート適応により、動きのタイミングを音楽のビートや構造に正確に合わせ、オーディオとビデオの正確な同期を実現します。
• オプティカルフローベース損失関数: 隣接フレーム間のジッターや急激な遷移にペナルティを課すことで動きの連続性を向上させ、より滑らかなダンスの動きを実現します。
• 動作速度制御: 高速な動きや急激な遷移中も高忠実度の詳細を維持し、長時間動画生成でよく見られるモーションブラーやアーティファクトを防止します。
• 全トラック音楽コンテキスト: 短いオーディオウィンドウのみを処理するモデルとは異なり、グローバルステージでは全音楽トラックを使用して、ダンス全体にわたる一貫した長期的プランニングを行います。

このフレームワークは、Wan2.1の成果、DiffSynth-Studio、およびWan2.2 MoEアーキテクチャを基盤としています。

ダンスジャンル

Wan-Dancerは、フルミュージック同期で5つのダンスジャンルをサポートしています。

ComfyUIとの統合

Wan-Dancer-14Bは、ComfyUI 0.22.0以降でネイティブサポートされています。公式のWan-Dancerワークフローから始めてください。ComfyUIを最新バージョンに更新していることを確認してください。

必須モデルファイル

以下のファイルをComfyUI/models/ディレクトリに配置してください。

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

モデルファイルは、Comfy-Org/Wan-DancerおよびComfy-Org/Wan_2.1_ComfyUI_repackagedリポジトリでホストされています。

リソース