HuMo: 오디오 조건화를 활용한 인간 중심 비디오 생성

HuMo

Wan2.1인간 중심오디오 조건화Whisper

Whisper 오디오 조건화와 함께 Wan2.1을 기반으로 한 인간 중심 비디오 생성 모델입니다. 텍스트, 이미지, 오디오 입력을 지원하여 세밀하게 제어 가능한 인간 비디오를 생성합니다. 14B fp16 및 1.7B fp16 크기로 제공됩니다.

원본 저장소 HF (오디오 모델)

개발자	Phantom-video
아키텍처	Wan2.1 기반 멀티모달 조건화
모델 크기	14B fp16, 1.7B fp16
기능	인간 중심 비디오 생성, 텍스트/이미지/오디오 조건화
오디오 컨디셔너	Whisper (westlast/whisper)

개요

Phantom-video의 HuMo(Human Motion)는 Wan2.1을 기반으로 한 통합 인간 중심 비디오 생성 프레임워크입니다. 텍스트, 이미지, 오디오 등 멀티모달 입력을 통해 고품질, 세밀하고 제어 가능한 인간 비디오를 생성합니다. Whisper 오디오 조건화는 오디오 신호에 인간 동작을 정밀하게 동기화하여 토킹 헤드 생성, 제스처 합성, 표현적 인간 애니메이션에 적합하게 만듭니다.

이 모델은 최대 품질을 위한 전체 14B fp16 변종과 소비자 GPU 호환성을 위한 경량 1.7B fp16 변종의 두 가지 크기로 제공됩니다.

ComfyUI 통합

HuMo는 ComfyUI 워크플로와 호환됩니다. 조건화를 위한 Whisper 오디오 모델은 Hugging Face의 westlast/whisper에서 찾을 수 있습니다.