FantasyPortrait: 다중 캐릭터 인물 애니메이션 모델 가이드
FantasyPortrait는 오디오 기반 토킹 헤드를 지원하는 다중 캐릭터 인물 애니메이션용 DiT 기반 프레임워크입니다. 표정 증강 확산 트랜스포머를 제공합니다.
FantasyPortrait
Wan2.1인물 애니메이션토킹 헤드오디오 기반오디오 기반 토킹 헤드 생성을 지원하는 다중 캐릭터 인물 애니메이션용 Diffusion Transformer 프레임워크입니다. 표정 증강을 통해 단일 및 다중 캐릭터 시나리오를 지원합니다.
| 개발자 | Fantasy-AMAP |
| 출시 날짜 | 2025-07 |
| 아키텍처 | Wan2.1 기반 Diffusion Transformer |
| 기능 | 다중 캐릭터 인물 애니메이션, 오디오 기반 토킹 헤드, 표정 제어 |
| 데이터셋 | Multi-Expr Dataset(최초의 다중 인물 표정 비디오 데이터셋) |
개요
FantasyPortrait는 단일 및 다중 캐릭터 시나리오 모두에서 고품질의 감정이 풍부한 인물 애니메이션을 생성하기 위한 Diffusion Transformer(DiT) 기반 프레임워크입니다. Wan2.1을 기반으로 구축되었으며, 정밀한 표정 정렬, 다중 캐릭터 일관성, 오디오-비주얼 동기화 등 인물 애니메이션의 핵심 과제를 해결합니다.
이 모델은 오디오 입력을 받아 표정과 입 모양을 구동하므로 수화 통역사, 애니메이션 뉴스 앵커, 커뮤니케이션 보조 도구와 같은 응용 분야에 적합합니다. 함께 제공되는 Multi-Expr Dataset은 학습 및 평가를 위한 최초의 다중 인물 표정 비디오 데이터셋입니다.
ComfyUI 통합
FantasyPortrait는 Kijai WanVideoWrapper 노드를 통해 ComfyUI에서 사용할 수 있습니다. Wan2_1_FantasyPortrait_fp16.safetensors 모델 파일과 fp8 스케일 버전은 Hugging Face의 Kijai/WanVideo_comfy에서 제공됩니다.
리소스
| 리소스 | 링크 |
|---|---|
| 논문 | arXiv:2507.12956 |
| GitHub | github.com/Fantasy-AMAP/fantasy-portrait |
| HuggingFace (Kijai) | Kijai/WanVideo_comfy |
| 프로젝트 페이지 | fantasy-amap.github.io/fantasy-portrait/ |
Guides and workflows related to this model series.
댓글
GitHub로 로그인하고 토론에 참여하세요.