LongCat Video Avatar 1.6: 10분 넘는 말하는 아바타 영상 생성 지원

ComfyUI Wikinews

Meituan의 LongCat Video Avatar 1.6은 사진 한 장과 오디오 트랙 하나로 10분이 넘는 립싱크 아바타 비디오를 만들며, 더 빠른 8스텝 경로와 INT8 가중치를 제공합니다.

LongCat-Video-Avatar 1.6이 출시되었습니다. Meituan의 오디오 기반 아바타 모델은 이제 10분이 넘는 생성 비디오에서도 얼굴과 신체를 안정적으로 유지하며, 더 빠른 8스텝 경로로 실행됩니다. Avatar 1.5 이후 4개월 만인 11월 13일에 공개되었습니다.
LongCat-Video-Avatar 1.6 미리보기

1.6 미리보기 클립의 프레임: 인물 사진 하나와 오디오 트랙 하나.

1.6에서 달라진 점

영역1.6
입술과 입 모양 움직임과도하게 긴장되거나 붉게 변한 입 모양이 줄고, 입 주변의 깜빡임이 감소
긴 클립오토리그레시브 오류 누적이 줄어 10분이 넘는 비디오에서도 정체성과 신체 구조를 유지
속도엔드투엔드 파이프라인 및 프레임별 실행 최적화, 새로 학습할 모델 없음
배포선택적 weight-only INT8 DiT, 그리고 Transformer Engine용 FP8 플래그

1.6은 1.5와 동일한 기본 아키텍처에서 실행되며 두 개의 어댑터 스택을 유지합니다. 초기 패스용 DMD LoRA와 나머지 패스용 OPSD LoRA를 스텝마다 혼합합니다. 기본 8스텝 설정에서는 처음 4스텝이 DMD만, 마지막 4스텝이 OPSD만 사용합니다. --mix_steps 또는 --mix_alpha를 높이면 초반에 DMD의 영향력을 더 크게 줄 수 있습니다.

영상 보기

모델 카드의 연속 생성 테스트로, 클립이 품질 저하 없이 계속 이어집니다.

말하기를 넘어: 이 모델은 오디오만으로 노래와 공연까지 구동합니다.

다른 모델과의 비교

Meituan은 15개 모델 조합을 대상으로 33,051건의 쌍대 인간 투표 아레나를 진행했습니다. 1.6은 OmniHuman-2.0에 이어 2위를 차지했으며, 1.5 대비 우위는 16 Elo로 작습니다.

순위모델아레나 Elo
1OmniHuman-2.0 (비공개)1236.7
2LongCat-Video-Avatar 1.6 (공개)1068.1
3LongCat-Video-Avatar 1.5 (공개)1051.8
4HeyGen (비공개)906.4
5OmniHuman-1.5 (비공개)880.6
6Kling Avatar 2.0 (비공개)854.7
아레나 리더보드

1.6 모델 카드에 게시된 리더보드.

동일한 입력, 세 가지 시스템, 각각 한 프레임:

LongCat-Video-Avatar 1.6OmniHuman-2.0HeyGen
LongCat 1.6 출력OmniHuman-2.0 출력HeyGen 출력

실행에 필요한 사양

  • BF16 DiT는 6개 샤드에 걸쳐 약 30GB이며, 선택적 INT8 DiT를 사용하면 약 15GB로 줄어듭니다.
  • 두 LoRA는 각각 2.35GB이며, 저장소에는 Whisper-large-v3 오디오 인코더와 보컬 분리기가 함께 포함되어 있습니다.
  • 공식 데모 명령은 컨텍스트 병렬 처리를 사용해 두 개의 GPU에서 torchrun을 사용합니다. GPU가 세 개 이상이면 LONGCAT_A2A_WORKSPACE=1을 통해 All-to-All 워크스페이스를 사용합니다.
  • --use_int8과 --use_fp8을 함께 사용하지 마세요. FP8은 Transformer Engine이 필요하며, --compile_dit은 각 입력 형태의 첫 실행에서 트레이싱 비용이 발생합니다.

ComfyUI 지원 현황

ComfyUI 지원은 여전히 1.5에서 멈춰 있습니다. 커뮤니티 팩 ComfyUI-LongCat-Avatar(★43)가 새 체크포인트에 맞춰 업데이트되지 않아 아직 1.6 노드 경로가 없습니다. 노드가 등장하기 전까지 1.6은 공식 Python 파이프라인으로 실행합니다.

다운로드 및 사용 가능 여부

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
LongCat Video Avatar 1.6: 10분 넘는 말하는 아바타 영상 생성 지원 | ComfyUI Wiki