Wan2.2 Dancer: генерация минутных танцевальных видео по музыке от Tongyi Lab

Обзор

Wan-Dancer-14B — это модель с открытым исходным кодом от Tongyi Lab (исследовательский институт Alibaba Group, стоящий за Qwen, Wan и Tongyi Fun), которая генерирует высококачественные ритмически синхронизированные танцевальные видео по музыке и референсному изображению. Модель преодолевает традиционное ограничение длительности диффузионной генерации видео, создавая стабильное видео 720p при 30fps в течение более одной минуты — то, с чем существующие модели обычно не справляются дольше 20 секунд.

Модель принимает референсное изображение (внешний вид и позу танцора) и аудиофайл (музыкальный трек), а также текстовый промт с описанием желаемого танцевального стиля. Затем генерируется полноценное танцевальное видео, соответствующее ритму и структуре музыки.

Архитектура

Wan-Dancer использует иерархическую структуру, разделяющую процесс генерации на два этапа:

Этап 1: Глобальное планирование ключевых кадров

Первый этап генерирует пятисекундные сегменты ключевых кадров, которые отражают музыкальную структуру всего трека, обеспечивая глобальную согласованность на всей длительности. Он обрабатывает полный музыкальный трек как контекст для долгосрочного планирования.

Этап 2: Локальное временное уточнение

Второй этап уточняет каждый сегмент до кадров высокого разрешения 720p, добавляя мелкие детали и сохраняя временную плавность между сегментами.

Ключевые технические инновации

• Time-Mapped RoPE Embeddings: Динамическая адаптация частоты кадров, точно согласующая движение с музыкальными битами и структурой, что обеспечивает точную синхронизацию аудио и видео.
• Функция потерь на основе оптического потока: Улучшает плавность движений, штрафуя дрожание и резкие переходы между соседними кадрами, что приводит к более плавным танцевальным движениям.
• Управление скоростью движений: Сохраняет высокую детализацию при быстрых движениях и резких переходах, предотвращая размытие и артефакты, типичные для длительной генерации видео.
• Полный музыкальный контекст: В отличие от моделей, обрабатывающих короткие окна аудио, глобальный этап использует весь музыкальный трек для согласованного долгосрочного планирования всей танцевальной последовательности.

Структура основана на работе Wan2.1, DiffSynth-Studio и архитектуре Wan2.2 MoE.

Танцевальные жанры

Wan-Dancer поддерживает пять танцевальных жанров с полной музыкальной синхронизацией:

Интеграция с ComfyUI

Wan-Dancer-14B нативно поддерживается в ComfyUI 0.22.0+. Начните с официального workflow Wan-Dancer. Убедитесь, что вы обновили ComfyUI до последней версии.

Необходимые файлы моделей

Разместите следующие файлы в каталоге ComfyUI/models/:

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

Файлы моделей размещены в репозиториях Comfy-Org/Wan-Dancer и Comfy-Org/Wan_2.1_ComfyUI_repackaged.

Ресурсы