Wan-Dancer-14B: Tongyi Lab의 분 단위 음악-댄스 비디오 생성 모델

개요

Tongyi Lab(알리바바 그룹의 AI 연구소, Qwen, Wan, Tongyi Fun 개발)이 Wan-Dancer-14B를 오픈소스로 공개했습니다. 이 모델은 음악과 참조 이미지로부터 리듬에 맞춰 정렬된 고품질 댄스 비디오를 생성합니다. 기존 확산 기반 비디오 생성 모델의 일반적인 20초 제한을 넘어 1분 이상의 안정적인 720p/30fps 비디오를 생성할 수 있습니다.

![]

주요 기능

Wan-Dancer는 5가지 댄스 장르를 완벽한 음악 동기화와 함께 지원합니다:

장르	설명
중국 고전 춤	전통 미학을 갖춘 우아하고 흐르는 듯한 동작
K-Pop 댄스	현대적이고 에너지 넘치는 안무
스트리트 댄스	도시적이고 자유로운 동작
탭 댄스	타악기 음악과 동기화된 리드미컬한 발놀림
라틴 댄스	열정적이고 다이내믹한 파트너 댄스 스타일

이 모델은 참조 이미지(댄서의 모양과 포즈)와 오디오 파일(음악 트랙)을 입력으로 받고, 텍스트 프롬프트로 원하는 댄스 스타일을 지정합니다. 그런 다음 음악의 리듬과 구조에 맞춰 전체 댄스 비디오를 생성합니다.

기술적 접근 방식

Wan-Dancer는 계층적 프레임워크를 사용하여 일관된 장편 생성을 달성합니다:

글로벌 키프레임 계획 - 첫 번째 단계에서는 전체 음악 트랙의 구조를 캡처하는 5초 키프레임 세그먼트를 생성하여 전체 기간에 걸친 글로벌 일관성을 보장합니다.
로컬 시간적 정제 - 두 번째 단계에서는 각 세그먼트를 고해상도 720p 프레임으로 정제하여 세부 정보를 추가하고 세그먼트 간 시간적 부드러움을 유지합니다.

주요 기술 혁신은 다음과 같습니다:

시간 매핑 RoPE 임베딩 - 동적 프레임 속도 적응으로 동작 타이밍을 음악의 비트와 구조와 정확히 정렬합니다.
광학 흐름 기반 손실 함수 - 동작 연속성을 향상시키고 인접 프레임 간의 떨림을 줄입니다.
동작 속도 제어 - 빠른 움직임과 급격한 전환 중에도 고충실도 세부 정보를 유지합니다.
전체 트랙 음악 컨텍스트 - 글로벌 단계에서는 짧은 윈도우가 아닌 전체 음악 트랙을 처리하여 일관된 장기 계획을 수행합니다.

모델 아키텍처는 Wan2.1 및 DiffSynth-Studio를 기반으로 구축되었으며, 140억 개의 파라미터를 사용하여 고품질 출력을 달성합니다.

모델 제공

Wan-Dancer-14B는 Apache 2.0 라이선스로 출시되었으며, 모델 가중치와 추론 코드는 HuggingFace 및 ModelScope에서 제공됩니다.

리소스	링크
논문	arXiv:2607.09581
프로젝트 페이지	humanaigc.github.io/wan-dancer-project/
GitHub	github.com/Wan-Video/Wan-Dancer
HuggingFace 모델	huggingface.co/Wan-AI/Wan-Dancer-14B
ModelScope 모델	modelscope.cn/models/Wan-AI/Wan-Dancer-14B
ModelScope 데모	modelscope.ai/studios/Wan-AI/Wan-Dancer

하드웨어 요구 사항

추론 코드는 8 × NVIDIA A800 (80GB) GPU에서 테스트되었습니다. 로컬 사용 시 140억 개의 파라미터 크기로 인해 상당한 GPU 메모리가 필요하지만, 양자화 및 최적화 기술을 통해 더 적은 메모리로도 추론이 가능할 수 있습니다.

ComfyUI 통합

Wan-Dancer-14B는 ComfyUI에서 기본 지원됩니다. 공식 Wan-Dancer 워크플로우로 빠르게 시작하세요.

ComfyUI를 최신 버전으로 업데이트했는지 확인하세요 (업데이트 가이드). 필요한 모델 가중치는 Comfy-Org/Wan-Dancer Hugging Face 저장소에서 제공됩니다.

필요한 모델 파일

다음 파일을 ComfyUI/models/ 디렉토리에 배치하세요:

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

모델 파일은 Comfy-Org/Wan-Dancer 및 Comfy-Org/Wan_2.1_ComfyUI_repackaged 저장소에서 호스팅됩니다.

이 모델은 한 번에 149프레임을 렌더링하므로 많은 VRAM이 필요합니다. 기본적으로 5초 분량의 비디오를 출력합니다. 실행하기 전에 강력한 GPU가 있는지 확인하세요.

문제 보고

런타임 오류: ComfyUI/issues
UI/프론트엔드 문제: ComfyUI_frontend/issues
워크플로우 문제: workflow_templates/issues