Wan2.2 Dancer: 통이랩의 분 단위 음악-댄스 비디오 생성 모델

개요

Wan-Dancer-14B는 통이랩(알리바바 그룹의 AI 연구 기관; Qwen, Wan, Tongyi Fun 개발)에서 공개한 오픈 소스 모델로, 음악과 참조 이미지에서 리듬에 맞춰 동기화된 고품질 댄스 비디오를 생성합니다. 이 모델은 기존 확산 기반 비디오 생성의 일반적인 시간 제약을 극복하고, 1분 이상 동안 30fps에서 안정적인 720p 비디오를 생성합니다. 이는 기존 모델이 20초를 넘기기 어려운 영역입니다.

모델은 참조 이미지(댄서의 모양과 포즈 표시)와 오디오 파일(음악 트랙)을 텍스트 프롬프트(원하는 댄스 스타일 설명)와 함께 입력받습니다. 그런 다음 음악의 리듬과 구조에 맞는 전체 댄스 비디오를 생성합니다.

아키텍처

Wan-Dancer는 생성 과정을 두 단계로 분리하는 계층적 프레임워크를 사용합니다.

1단계: 글로벌 키프레임 계획

첫 번째 단계는 전체 트랙의 음악 구조를 캡처하는 5초 키프레임 세그먼트를 생성하여 전체 재생 시간 동안 전역적 일관성을 보장합니다. 장기 계획을 위해 전체 음악 트랙을 컨텍스트로 처리합니다.

2단계: 로컬 시간적 정제

두 번째 단계는 각 세그먼트를 고해상도 720p 프레임으로 정제하고 세그먼트 간 시간적 부드러움을 유지하면서 세부 정보를 추가합니다.

주요 기술 혁신

• 시간 매핑 RoPE 임베딩: 동적 프레임 속도 적응을 통해 움직임 타이밍을 음악 비트와 구조에 정확하게 정렬하여 오디오와 비디오 간의 정확한 동기화를 가능하게 합니다.
• 광학 흐름 기반 손실 함수: 인접 프레임 간의 지터와 급격한 전환을 페널티하여 움직임 연속성을 향상시켜 더 부드러운 댄스 동작을 생성합니다.
• 움직임 속도 제어: 빠른 동작과 날카로운 전환 중에도 고해상도 세부 정보를 보존하여 긴 비디오 생성에서 흔한 모션 블러와 아티팩트를 방지합니다.
• 전체 트랙 음악 컨텍스트: 짧은 오디오 윈도우를 처리하는 모델과 달리, 글로벌 단계는 전체 음악 트랙을 사용하여 전체 댄스 지속 시간에 걸쳐 일관된 장기 계획을 수립합니다.

이 프레임워크는 Wan2.1, DiffSynth-Studio 및 Wan2.2 MoE 아키텍처를 기반으로 합니다.

댄스 장르

Wan-Dancer는 5가지 댄스 장르를 완전한 음악 동기화와 함께 지원합니다.

ComfyUI 통합

Wan-Dancer-14B는 ComfyUI 0.22.0+에서 기본 지원됩니다. 공식 Wan-Dancer 워크플로로 시작하세요. ComfyUI를 최신 버전으로 업데이트했는지 확인하세요.

필수 모델 파일

다음 파일을 ComfyUI/models/ 디렉토리에 배치하세요.

+--- diffusion_models/
|    +--- wan2.2_dancer_14b_global_fp8_scaled.safetensors
|    +--- wan2.2_dancer_14b_local_fp8_scaled.safetensors
+--- loras/
|    +--- lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
+--- text_encoders/
|    +--- umt5_xxl_fp16.safetensors
+--- clip_vision/
|    +--- clip_vision_h.safetensors
+--- vae/
|    +--- Wan2_1_VAE_bf16.safetensors

모델 파일은 Comfy-Org/Wan-Dancer 및 Comfy-Org/Wan_2.1_ComfyUI_repackaged 저장소에서 호스팅됩니다.

리소스