Wan-Dancer-14B：通義研が分単位の音楽連動ダンス動画生成を実現

news

通義研（Alibaba Group）が公開したオープンソースモデルWan-Dancer-14Bは、参照画像と音楽から720p/30fpsのダンス動画を生成。中国古典舞、K-Pop、ストリートダンス、タップダンス、ラテンダンスの5ジャンルに対応し、1分以上の長尺出力を実現。

概要

通義研（Alibaba Group傘下のAI研究所。Qwen、Wan、通義万相の開発元）は、音楽と参照画像からリズムに同期した高品質なダンス動画を生成するオープンソースモデル Wan-Dancer-14B を公開しました。このモデルは、拡散ベースの動画生成が抱える従来の時間制約を克服し、1分以上にわたる安定した720p/30fpsの動画を生成します。既存のモデルでは20秒を超える生成が困難でした。

![]

主な機能

Wan-Dancerは、音楽に完全同期した5つのダンスジャンルに対応しています。

ジャンル説明
中国古典舞伝統的な美意識を備えた優雅で流れるような動き
K-Popダンスモダンでエネルギッシュな振り付け
ストリートダンスアーバンで自由な動き
タップダンス打楽器的な音楽に同期したリズミカルなフットワーク
ラテンダンス情熱的で躍動的なペアダンススタイル

モデルは参照画像（ダンサーの外観とポーズを示す）とオーディオファイル（音楽トラック）、および希望するダンススタイルを記述したテキストプロンプトを受け取り、音楽のリズムと構造に合わせたフルダンス動画を生成します。

技術的アプローチ

Wan-Dancerは階層的フレームワークを採用し、一貫性のある長尺生成を実現しています。

  1. 全体キーフレーム計画 — 第1段階では、音楽トラック全体の構造を捉えた5秒のキーフレームセグメントを生成し、全長にわたる大域的整合性を確保します。

  2. 局所的時系列精緻化 — 第2段階では、各セグメントを高解像度720pフレームに精緻化し、細部を追加すると同時にセグメント間の時間的滑らかさを維持します。

主要な技術的革新は以下の通りです。

  • 時間マッピングRoPE埋め込み — 動画のタイミングを音楽のビートと構造に正確に合わせる動的フレームレート適応。
  • オプティカルフローベースの損失関数 — 動きの連続性を向上させ、隣接フレーム間のジッターを低減。
  • 動き速度制御 — 高速な動きや急な遷移でも高精細な詳細を保持。
  • トラック全体の音楽コンテキスト — 大域段階では短いウィンドウではなく、音楽トラック全体を処理して一貫性のある長期的計画を実現。

モデルアーキテクチャはWan2.1とDiffSynth-Studioを基盤とし、140億パラメータを活用して高品質な出力を実現しています。

モデルの入手方法

Wan-Dancer-14BはApache 2.0ライセンスで公開され、モデルウェイトと推論コードがHuggingFaceおよびModelScopeで提供されています。

リソースリンク
論文arXiv:2607.09581
プロジェクトページhumanaigc.github.io/wan-dancer-project/
GitHubgithub.com/Wan-Video/Wan-Dancer
HuggingFaceモデルhuggingface.co/Wan-AI/Wan-Dancer-14B
ModelScopeモデルmodelscope.cn/models/Wan-AI/Wan-Dancer-14B
ModelScopeデモmodelscope.ai/studios/Wan-AI/Wan-Dancer

ハードウェア要件

推論コードはNVIDIA A800（80GB）× 8台のGPUでテストされています。ローカルで使用する場合、140億パラメータのサイズから高いGPUメモリが必要ですが、量子化や最適化技術によりフットプリントを削減した推論も可能です。

ComfyUI 連携

Wan-Dancer-14B は ComfyUI でネイティブ対応しています。公式の Wan-Dancer ワークフロー ですぐに始められます。

ComfyUI を最新バージョンに更新してください（更新ガイド）。必要なモデルウェイトは Comfy-Org/Wan-Dancer Hugging Face リポジトリから入手できます。

必要なモデルファイル

以下のファイルを ComfyUI/models/ ディレクトリに配置します：

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

モデルファイルは Comfy-Org/Wan-Dancer および Comfy-Org/Wan_2.1_ComfyUI_repackaged リポジトリでホストされています。

このモデルは一度に149フレームをレンダリングするため、大量のVRAMが必要です。デフォルトでは5秒の動画を出力します。実行する前に高性能なGPUを用意してください。

問題の報告

Wan-Dancer-14B：通義研が分単位の音楽連動ダンス動画生成を実現 | ComfyUI Wiki