LongCat Video Avatar 1.6: 10분 넘는 말하는 아바타 영상 생성 지원
ComfyUI Wikinews
Meituan의 LongCat Video Avatar 1.6은 사진 한 장과 오디오 트랙 하나로 10분이 넘는 립싱크 아바타 비디오를 만들며, 더 빠른 8스텝 경로와 INT8 가중치를 제공합니다.
LongCat-Video-Avatar 1.6이 출시되었습니다. Meituan의 오디오 기반 아바타 모델은 이제 10분이 넘는 생성 비디오에서도 얼굴과 신체를 안정적으로 유지하며, 더 빠른 8스텝 경로로 실행됩니다. Avatar 1.5 이후 4개월 만인 11월 13일에 공개되었습니다.
1.6 미리보기 클립의 프레임: 인물 사진 하나와 오디오 트랙 하나.
1.6에서 달라진 점
| 영역 | 1.6 |
|---|---|
| 입술과 입 모양 움직임 | 과도하게 긴장되거나 붉게 변한 입 모양이 줄고, 입 주변의 깜빡임이 감소 |
| 긴 클립 | 오토리그레시브 오류 누적이 줄어 10분이 넘는 비디오에서도 정체성과 신체 구조를 유지 |
| 속도 | 엔드투엔드 파이프라인 및 프레임별 실행 최적화, 새로 학습할 모델 없음 |
| 배포 | 선택적 weight-only INT8 DiT, 그리고 Transformer Engine용 FP8 플래그 |
1.6은 1.5와 동일한 기본 아키텍처에서 실행되며 두 개의 어댑터 스택을 유지합니다. 초기 패스용 DMD LoRA와 나머지 패스용 OPSD LoRA를 스텝마다 혼합합니다. 기본 8스텝 설정에서는 처음 4스텝이 DMD만, 마지막 4스텝이 OPSD만 사용합니다. --mix_steps 또는 --mix_alpha를 높이면 초반에 DMD의 영향력을 더 크게 줄 수 있습니다.
영상 보기
모델 카드의 연속 생성 테스트로, 클립이 품질 저하 없이 계속 이어집니다.
말하기를 넘어: 이 모델은 오디오만으로 노래와 공연까지 구동합니다.
다른 모델과의 비교
Meituan은 15개 모델 조합을 대상으로 33,051건의 쌍대 인간 투표 아레나를 진행했습니다. 1.6은 OmniHuman-2.0에 이어 2위를 차지했으며, 1.5 대비 우위는 16 Elo로 작습니다.
| 순위 | 모델 | 아레나 Elo |
|---|---|---|
| 1 | OmniHuman-2.0 (비공개) | 1236.7 |
| 2 | LongCat-Video-Avatar 1.6 (공개) | 1068.1 |
| 3 | LongCat-Video-Avatar 1.5 (공개) | 1051.8 |
| 4 | HeyGen (비공개) | 906.4 |
| 5 | OmniHuman-1.5 (비공개) | 880.6 |
| 6 | Kling Avatar 2.0 (비공개) | 854.7 |
1.6 모델 카드에 게시된 리더보드.
동일한 입력, 세 가지 시스템, 각각 한 프레임:
| LongCat-Video-Avatar 1.6 | OmniHuman-2.0 | HeyGen |
|---|---|---|
실행에 필요한 사양
- BF16 DiT는 6개 샤드에 걸쳐 약 30GB이며, 선택적 INT8 DiT를 사용하면 약 15GB로 줄어듭니다.
- 두 LoRA는 각각 2.35GB이며, 저장소에는 Whisper-large-v3 오디오 인코더와 보컬 분리기가 함께 포함되어 있습니다.
- 공식 데모 명령은 컨텍스트 병렬 처리를 사용해 두 개의 GPU에서
torchrun을 사용합니다. GPU가 세 개 이상이면LONGCAT_A2A_WORKSPACE=1을 통해 All-to-All 워크스페이스를 사용합니다. --use_int8과--use_fp8을 함께 사용하지 마세요. FP8은 Transformer Engine이 필요하며,--compile_dit은 각 입력 형태의 첫 실행에서 트레이싱 비용이 발생합니다.
ComfyUI 지원 현황
ComfyUI 지원은 여전히 1.5에서 멈춰 있습니다. 커뮤니티 팩 ComfyUI-LongCat-Avatar(★43)가 새 체크포인트에 맞춰 업데이트되지 않아 아직 1.6 노드 경로가 없습니다. 노드가 등장하기 전까지 1.6은 공식 Python 파이프라인으로 실행합니다.
다운로드 및 사용 가능 여부
- 가중치: meituan-longcat/LongCat-Video-Avatar-1.6
- 전체 비교 영상이 있는 프로젝트 페이지: LongCat-Video-Avatar 1.6
- 추론 코드 및 기술 보고서: meituan-longcat/LongCat-Video
댓글
GitHub로 로그인하고 토론에 참여하세요.