Wan-Dancer-14B: генерация танцевальных видео из музыки в масштабе минуты от Tongyi Lab

Обзор

Tongyi Lab (исследовательский институт ИИ Alibaba Group, создавший Qwen, Wan и Tongyi Fun) выпустила Wan-Dancer-14B — открытую модель, которая генерирует высококачественные, ритмически синхронизированные танцевальные видео на основе музыки и референсных изображений. Модель преодолевает традиционное ограничение длительности для диффузионной генерации видео, создавая стабильное видео 720p с частотой 30 кадров/с на более чем минуту — то, с чем существующие модели обычно не справляются за пределами 20 секунд.

![]

Ключевые возможности

Wan-Dancer поддерживает пять танцевальных жанров с полной синхронизацией музыки:

Модель принимает референсное изображение (показывающее внешность и позу танцора) и аудиофайл (музыкальный трек), а также текстовый запрос с описанием желаемого танцевального стиля. Затем она генерирует полное танцевальное видео, соответствующее ритму и структуре музыки.

Технический подход

Wan-Dancer использует иерархическую структуру для создания связной длинной генерации:

1. Глобальное планирование ключевых кадров — первый этап генерирует 5-секундные сегменты ключевых кадров, которые охватывают всю структуру музыкального трека, обеспечивая глобальную связность на всём протяжении.

2. Локальное временное уточнение — второй этап преобразует каждый сегмент в высокое разрешение 720p, добавляя мелкие детали и сохраняя временную плавность между сегментами.

Ключевые технические новшества включают:

• Time-Mapped RoPE Embeddings — динамическая адаптация частоты кадров, которая точно синхронизирует движение с музыкальными битами и структурой.
• Функция потерь на основе оптического потока — улучшает непрерывность движения и уменьшает дрожание между смежными кадрами.
• Управление скоростью движения — сохраняет высокую детализацию при быстрых движениях и резких переходах.
• Полный музыкальный контекст — глобальный этап обрабатывает весь музыкальный трек для связного долгосрочного планирования, а не короткие окна.

Архитектура модели основана на Wan2.1 и DiffSynth-Studio, использует 14 миллиардов параметров для достижения высокого качества результатов.

Доступность модели

Wan-Dancer-14B выпускается под лицензией Apache 2.0, веса модели и код инференса доступны на HuggingFace и ModelScope.

Требования к оборудованию

Код инференса тестировался на 8 графических процессорах NVIDIA A800 (80ГБ). Для локального использования модели потребуется значительный объём видеопамяти из-за размера 14B параметров, хотя методы квантизации и оптимизации могут позволить снизить требования.

Интеграция с ComfyUI

Wan-Dancer-14B нативно поддерживается в ComfyUI. Начните работу с официальным воркфлоу Wan-Dancer.

Убедитесь, что вы обновили ComfyUI до последней версии (руководство по обновлению). Необходимые веса модели доступны в репозитории Comfy-Org/Wan-Dancer на Hugging Face.

Необходимые файлы модели

Разместите следующие файлы в каталоге ComfyUI/models/:

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

Файлы модели размещены в репозиториях Comfy-Org/Wan-Dancer и Comfy-Org/Wan_2.1_ComfyUI_repackaged.

Сообщить о проблемах

• Ошибки выполнения: ComfyUI/issues
• Проблемы UI/фронтенда: ComfyUI_frontend/issues
• Проблемы с воркфлоу: workflow_templates/issues