LongCat-Avatar: vídeo de avatar guiado por audio de Meituan (1.6)

ComfyUI Wiki

LongCat-Avatar es el modelo abierto de vídeo de avatar de Meituan: una foto más audio dan un vídeo hablado con sincronización labial. La versión 1.6 aguanta más de diez minutos.

L

LongCat-Avatar

AvatarAudio a vídeoSincronización labialGeneración de vídeo

El modelo de vídeo de avatar guiado por audio de Meituan, construido sobre la base de LongCat-Video. Convierte una foto más una pista de audio en un vídeo hablado con sincronización labial, admite Audio-Text-to-Video y Audio-Text-Image-to-Video, además de continuar un vídeo existente, y funciona con un único flujo de audio o con varios. La versión 1.6 mantiene estables el rostro y el cuerpo más allá de diez minutos de vídeo generado con una ruta de 8 pasos más rápida.

DesarrolladorMeituan
Fecha de lanzamiento2026-11 (1.6), 2026-05 (1.5), 2025-12 (original)
Modelo baseLongCat-Video
LicenciaMIT
CapacidadesAudio-texto-a-vídeo, audio-texto-imagen-a-vídeo, continuación de vídeo
Entrada de audioUno o varios flujos de audio
Codificador de audioWhisper-Large (1.5)
InferenciaRuta destilada de 8 pasos: pasos iniciales con LoRA DMD, pasos finales con LoRA OPSD

¿Qué es LongCat-Avatar?

LongCat-Avatar es el framework abierto de Meituan para vídeo humano guiado por audio, construido sobre el modelo base LongCat-Video. Dada una sola foto y una pista de audio, produce un avatar parlante con sincronización labial, preservación de la identidad y estabilidad temporal de cuerpo completo en clips largos, y acepta más de un flujo de audio para entradas con varios hablantes.

La versión 1.5 reemplazó el codificador Wav2Vec2 original por Whisper-Large, lo que suaviza la dinámica labial, y añadió una ruta de inferencia destilada DMD2 de 8 pasos para un servicio más económico sin perder fidelidad visual. El lanzamiento también se generaliza a dominios estilizados, como el anime, los animales, las interacciones entre varias personas y la manipulación de objetos.

Versión 1.6

La versión 1.6 se centra en tres problemas en lugar de añadir nuevas capacidades. El movimiento labial está más limpio (menos formas de boca forzadas o demasiado rojas, menos parpadeo), la acumulación de errores autoregresivos se reduce para que los clips puedan superar los diez minutos sin que el rostro se desvíe, y el propio pipeline es más rápido. La arquitectura no cambia respecto a la 1.5, por lo que se trata de un intercambio de checkpoint para los pipelines existentes y no de una nueva familia de modelos.

Sigue incluyendo dos LoRA de tarea: DMD ejecuta los primeros pasos de denoising y OPSD los posteriores, combinados con --mix_steps y --mix_alpha. La configuración predeterminada de 8 pasos usa cuatro pasos de cada uno. Un DiT INT8 opcional de solo pesos reduce los pesos de difusión de unos 30 GB a 15 GB.

El soporte de ComfyUI aún no ha llegado: el paquete de la comunidad ComfyUI-LongCat-Avatar solo cubre la 1.5. Consulta LongCat Video Avatar 1.6 para los detalles del lanzamiento y los vídeos de comparación.

Guides and workflows related to this model series.

No articles found.

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…