LongCat-Avatar: Meituan의 오디오 기반 아바타 비디오 생성 모델

ComfyUI Wiki

LongCat-Avatar는 Meituan이 공개한 오디오 기반 아바타 모델입니다. 사진 한 장과 오디오로 립 싱크가 맞는 토킹 비디오를 생성하며, 버전 1.6은 10분이 넘는 영상에서도 인물 정체성을 유지합니다.

L

LongCat-Avatar

AvatarAudio-to-VideoLip SyncVideo Generation

Meituan의 오디오 기반 아바타 비디오 모델로, LongCat-Video foundation 위에 구축되었습니다. 사진 한 장과 오디오 트랙을 립 싱크가 맞는 토킹 비디오로 변환하며, Audio-Text-to-Video와 Audio-Text-Image-to-Video는 물론 기존 비디오 이어 생성도 지원하고, 단일 오디오 스트림이나 여러 개의 오디오 스트림 모두 사용할 수 있습니다. 버전 1.6은 더 빨라진 8-step 경로에서 10분이 넘는 생성 비디오에서도 얼굴과 신체를 안정적으로 유지합니다.

개발사Meituan
출시 날짜2026-11 (1.6), 2026-05 (1.5), 2025-12 (원본)
베이스 모델LongCat-Video
라이선스MIT
지원 기능오디오-텍스트 기반 비디오 생성, 오디오-텍스트-이미지 기반 비디오 생성, 비디오 이어서 생성
오디오 입력단일 또는 다중 오디오 스트림
오디오 인코더Whisper-Large (1.5)
추론8-step 증류 경로: 초기 단계는 DMD LoRA, 후기 단계는 OPSD LoRA

LongCat-Avatar란 무엇인가요?

LongCat-Avatar는 Meituan이 공개한 오디오 기반 휴먼 비디오 생성 프레임워크로, LongCat-Video 베이스 모델 위에 구축되었습니다. 사진 한 장과 오디오 트랙을 입력하면 립 싱크, 인물 정체성 보존, 긴 클립에서도 유지되는 전신의 시간적 안정성을 갖춘 토킹 아바타를 생성하며, 다중 화자 입력을 위해 하나 이상의 오디오 스트림을 받을 수 있습니다.

버전 1.5에서는 기존의 Wav2Vec2 인코더가 Whisper-Large로 교체되어 립 다이내믹스가 더 부드러워졌고, 시각적 충실도를 잃지 않으면서 더 저렴하게 서빙할 수 있는 8-step DMD2 증류 추론 경로가 추가되었습니다. 또한 이번 릴리스는 애니메이션, 동물, 다인 상호작용, 오브젝트 조작 등 스타일화된 영역으로도 일반화됩니다.

버전 1.6

1.6은 새로운 기능보다 세 가지 문제를 겨냥합니다. 립 모션이 정리되고(과도하게 긴장되거나 지나치게 빨간색인 입 형태가 줄고 깜빡임이 감소), 오토리그레시브 오류 누적이 줄어 10분이 넘는 클립에서도 얼굴이 흐트러지지 않으며, 파이프라인 자체도 더 빨라졌습니다. 아키텍처는 1.5와 동일하므로 새로운 모델 계열이라기보다 기존 파이프라인에서 checkpoint만 교체하는 업데이트입니다.

여전히 두 가지 태스크 LoRA를 제공합니다. DMD는 초기 디노이징 단계를, OPSD는 후기 단계를 담당하며 --mix_steps와 --mix_alpha로 혼합합니다. 기본 8-step 설정은 각각 4단계씩 사용합니다. 선택 사항인 weight-only INT8 DiT를 사용하면 diffusion 가중치를 약 30GB에서 15GB로 줄일 수 있습니다.

ComfyUI 지원은 아직 따라오지 않았습니다. 커뮤니티 ComfyUI-LongCat-Avatar 팩은 1.5만 지원합니다. 출시 세부 정보와 비교 비디오는 LongCat Video Avatar 1.6에서 확인하세요.

Guides and workflows related to this model series.

No articles found.

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…