LongCat Video Avatar 1.6 ya se ejecuta en ComfyUI

ComfyUI Wikinews

El modelo de avatar por audio de Meituan ya funciona en ComfyUI: Comfy-Org reempaquetó los pesos, un paquete de nodos de la comunidad y soporte nativo en revisión.

LongCat Video Avatar 1.6 ya tiene un camino en ComfyUI. Comfy-Org reempaquetó los pesos el 18 de noviembre, un paquete de nodos de la comunidad ejecuta el modelo hoy mismo y el soporte nativo de Kijai está abierto a revisión. El modelo se publicó el 13 de noviembre, cuando aún no existía ninguna ruta de nodos para la 1.6.
Dos fotogramas de cada uno de los tres segmentos de un mismo clip de avatar parlante

Dos fotogramas de cada uno de los tres segmentos de 93 fotogramas. Cada segmento continúa a partir de los últimos 13 fotogramas del anterior.

Tres formas de acceder

RutaEstadoQué es
Pesos de Comfy-OrgListos para descargarDiT int8 oficial, ambos LoRA, el codificador Whisper y el VAE y el codificador de texto compartidos de Wan 2.1
ComfyUI-LongCat-Avatar (comunidad)Funciona hoyPaquete de nodos nativo de Pedro (LatentSpacer), con nodos de vídeo destilados de 8 pasos y base de 50 pasos
Soporte nativo (CORE-720, Kijai)PR 17831, abiertoAñade comfy/ldm/wan/model_longcat.py y el cableado del codificador de audio; aún no está fusionado

El paquete de nodos se instala desde ComfyUI-Manager como LongCat Avatar Native, o con comfy node install longcat-avatar-native. Se probó en ComfyUI 0.44 y no necesita paquetes más allá de los propios de ComfyUI.

Qué descargar

Desde Comfy-Org/LongCat-Video-Avatar, las carpetas replican ComfyUI/models:

ArchivoCarpetaTamaño
longcat-avatar-1.6_int8_convrot.safetensorsdiffusion_models14,9 GiB
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensorsloras1,2 GiB
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensorsloras1,2 GiB
umt5_xxl_int8_convrot o umt5_xxl_fp16text_encoders5,3 o 10,6 GiB
whisper_large_v3_encoder_fp16.safetensorsaudio_encoders1,2 GiB
wan_2.1_vae.safetensorsvae242 MiB

El codificador de texto y el VAE son los archivos de Wan 2.1, así que una instalación de ComfyUI ya existente probablemente los tenga.

Velocidad en una sola 4090

El autor del port midió 5,1 s por paso continuado a 768×512 con int8 ConvRot y la atención ck de ComfyUI: un clip de 253 fotogramas (10,1 s de habla) en tres segmentos tardó unos 162 s. También publicó copias W6A8 y W4A8, de 12,3 y 8,8 GiB frente a 14,9 GiB para int8 y 29,5 GiB para bf16, y ambos LoRA se aplican a todas ellas.

Un hombre con chaqueta roja canta frente a un micrófono en un escenario con humo

Un clip del paquete de nodos: la boca sigue el habla a lo largo de los tres segmentos.

El nodo base de 50 pasos funciona con orientación de texto y audio y sin LoRA, y como cada paso ejecuta el modelo tres veces, es muchas veces más lento que la ruta destilada.

Disponibilidad

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…
LongCat Video Avatar 1.6 ya se ejecuta en ComfyUI | ComfyUI Wiki