LongCat Video Avatar 1.6, 이제 ComfyUI에서 실행

ComfyUI Wikinews

Meituan의 오디오 기반 아바타 모델을 이제 ComfyUI에서 실행할 수 있습니다. Comfy-Org가 가중치를 재패키징했고, 커뮤니티 네이티브 노드 팩이 있으며, 코어 지원은 리뷰 중입니다.

LongCat Video Avatar 1.6을 ComfyUI에서 사용할 수 있는 경로가 생겼습니다. Comfy-Org가 11월 18일 가중치를 재패키징했고, 커뮤니티 노드 팩으로 오늘 바로 모델을 실행할 수 있으며, Kijai의 코어 지원은 리뷰가 진행 중입니다. 모델 자체는 11월 13일에 공개되었는데, 그때는 1.6용 노드 경로가 아직 없었습니다.
하나의 토킹 아바타 클립을 구성하는 세 세그먼트에서 각각 두 프레임씩 추출한 이미지

93프레임 세그먼트 세 개에서 각각 두 프레임씩 뽑은 이미지. 각 세그먼트는 이전 세그먼트의 마지막 13프레임에서 이어집니다.

세 가지 접근 경로

경로상태내용
Comfy-Org 가중치다운로드 가능공식 int8 DiT, 두 LoRA, Whisper 인코더, 그리고 Wan 2.1의 공용 VAE와 텍스트 인코더
ComfyUI-LongCat-Avatar (커뮤니티)오늘부터 동작Pedro(LatentSpacer)가 만든 네이티브 노드 팩, 8스텝 증류 및 50스텝 베이스 비디오 노드
코어 지원 (CORE-720, Kijai)PR 17831, 열려 있음comfy/ldm/wan/model_longcat.py와 오디오 인코더 연결을 추가하며, 아직 병합되지 않음

이 노드 팩은 ComfyUI-Manager에서 LongCat Avatar Native로 설치하거나 comfy node install longcat-avatar-native로 설치할 수 있습니다. ComfyUI 0.44에서 테스트되었으며, ComfyUI 자체 패키지 외에는 별도의 패키지가 필요하지 않습니다.

다운로드할 파일

Comfy-Org/LongCat-Video-Avatar의 폴더 구조는 ComfyUI/models와 동일합니다.

파일폴더크기
longcat-avatar-1.6_int8_convrot.safetensorsdiffusion_models14.9 GiB
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensorsloras1.2 GiB
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensorsloras1.2 GiB
umt5_xxl_int8_convrot 또는 umt5_xxl_fp16text_encoders5.3 또는 10.6 GiB
whisper_large_v3_encoder_fp16.safetensorsaudio_encoders1.2 GiB
wan_2.1_vae.safetensorsvae242 MiB

텍스트 인코더와 VAE는 Wan 2.1 파일이므로, 이미 ComfyUI를 설치해 두었다면 해당 파일이 이미 있을 가능성이 높습니다.

4090 한 장에서의 속도

이 포팅의 작성자는 768×512 해상도에서 int8 ConvRot와 ComfyUI의 ck 어텐션을 사용해 연속 스텝당 5.1초를 측정했습니다. 253프레임 클립(10.1초 분량의 발화)을 세 세그먼트로 나누어 처리하는 데 약 162초가 걸렸습니다. 또한 W6A8 및 W4A8 버전도 함께 배포했는데, int8의 14.9GiB, bf16의 29.5GiB에 비해 각각 12.3GiB와 8.8GiB이며 두 LoRA 모두 이 모든 버전에 적용됩니다.

연기가 자욱한 무대에서 빨간색 재킷을 입은 남성이 마이크에 대고 노래하는 장면

노드 팩으로 생성한 클립 하나. 입 모양이 세 세그먼트 전반에서 발화를 따라갑니다.

베이스 50스텝 노드는 텍스트 및 오디오 가이드를 사용하고 LoRA 없이 동작하며, 각 스텝마다 모델을 세 번 실행하기 때문에 증류 경로보다 몇 배는 느립니다.

제공 현황

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
LongCat Video Avatar 1.6, 이제 ComfyUI에서 실행 | ComfyUI Wiki