LongCat-Avatar: Meituan의 오디오 기반 아바타 비디오 생성 모델

LongCat-Avatar

AvatarAudio-to-VideoLip SyncVideo Generation

Meituan의 오디오 기반 아바타 비디오 모델로, LongCat-Video를 기반으로 만들어졌습니다. 사진 한 장과 오디오 트랙을 립 싱크가 맞는 토킹 비디오로 변환하며, Audio-Text-to-Video와 Audio-Text-Image-to-Video는 물론 기존 비디오를 이어서 생성하는 것도 지원하고, 단일 오디오 스트림이나 여러 개의 오디오 스트림 모두 사용할 수 있습니다. 버전 1.5에서는 Whisper-Large 오디오 인코더로 교체하고 8-step DMD2 증류 추론을 추가했습니다.

Hugging Face (1.5)Hugging Face 프로젝트 페이지

개발사	Meituan
출시 날짜	2026-05 (1.5), 2025-12 (원본)
베이스 모델	LongCat-Video
라이선스	MIT
지원 기능	오디오-텍스트 기반 비디오 생성, 오디오-텍스트-이미지 기반 비디오 생성, 비디오 이어서 생성
오디오 입력	단일 또는 다중 오디오 스트림
오디오 인코더	Whisper-Large (1.5)
추론	rank-128 distill LoRA를 사용하는 8-step DMD2 증류 경로

LongCat-Avatar란 무엇인가요?

LongCat-Avatar는 Meituan이 공개한 오디오 기반 휴먼 비디오 생성 프레임워크로, LongCat-Video 베이스 모델 위에 구축되었습니다. 사진 한 장과 오디오 트랙을 입력하면 립 싱크, 인물 정체성 보존, 긴 클립에서도 유지되는 전신의 시간적 안정성을 갖춘 토킹 아바타를 생성하며, 다중 화자 입력을 위해 하나 이상의 오디오 스트림을 받을 수 있습니다.

버전 1.5에서는 기존의 Wav2Vec2 인코더가 Whisper-Large로 교체되어 립 다이내믹스가 더 부드러워졌고, 시각적 충실도를 잃지 않으면서 더 저렴하게 서빙할 수 있는 8-step DMD2 증류 추론 경로가 추가되었습니다. 또한 이번 릴리스는 애니메이션, 동물, 다인 상호작용, 오브젝트 조작 등 스타일화된 영역으로도 일반화됩니다.