LongCat-Avatar: vídeo de avatar guiado por audio de Meituan (1.6)
LongCat-Avatar es el modelo abierto de vídeo de avatar de Meituan: una foto más audio dan un vídeo hablado con sincronización labial. La versión 1.6 aguanta más de diez minutos.
LongCat-Avatar
AvatarAudio a vídeoSincronización labialGeneración de vídeoEl modelo de vídeo de avatar guiado por audio de Meituan, construido sobre la base de LongCat-Video. Convierte una foto más una pista de audio en un vídeo hablado con sincronización labial, admite Audio-Text-to-Video y Audio-Text-Image-to-Video, además de continuar un vídeo existente, y funciona con un único flujo de audio o con varios. La versión 1.6 mantiene estables el rostro y el cuerpo más allá de diez minutos de vídeo generado con una ruta de 8 pasos más rápida.
| Desarrollador | Meituan |
| Fecha de lanzamiento | 2026-11 (1.6), 2026-05 (1.5), 2025-12 (original) |
| Modelo base | LongCat-Video |
| Licencia | MIT |
| Capacidades | Audio-texto-a-vídeo, audio-texto-imagen-a-vídeo, continuación de vídeo |
| Entrada de audio | Uno o varios flujos de audio |
| Codificador de audio | Whisper-Large (1.5) |
| Inferencia | Ruta destilada de 8 pasos: pasos iniciales con LoRA DMD, pasos finales con LoRA OPSD |
¿Qué es LongCat-Avatar?
LongCat-Avatar es el framework abierto de Meituan para vídeo humano guiado por audio, construido sobre el modelo base LongCat-Video. Dada una sola foto y una pista de audio, produce un avatar parlante con sincronización labial, preservación de la identidad y estabilidad temporal de cuerpo completo en clips largos, y acepta más de un flujo de audio para entradas con varios hablantes.
La versión 1.5 reemplazó el codificador Wav2Vec2 original por Whisper-Large, lo que suaviza la dinámica labial, y añadió una ruta de inferencia destilada DMD2 de 8 pasos para un servicio más económico sin perder fidelidad visual. El lanzamiento también se generaliza a dominios estilizados, como el anime, los animales, las interacciones entre varias personas y la manipulación de objetos.
Versión 1.6
La versión 1.6 se centra en tres problemas en lugar de añadir nuevas capacidades. El movimiento labial está más limpio (menos formas de boca forzadas o demasiado rojas, menos parpadeo), la acumulación de errores autoregresivos se reduce para que los clips puedan superar los diez minutos sin que el rostro se desvíe, y el propio pipeline es más rápido. La arquitectura no cambia respecto a la 1.5, por lo que se trata de un intercambio de checkpoint para los pipelines existentes y no de una nueva familia de modelos.
Sigue incluyendo dos LoRA de tarea: DMD ejecuta los primeros pasos de denoising y OPSD los posteriores, combinados con --mix_steps y --mix_alpha. La configuración predeterminada de 8 pasos usa cuatro pasos de cada uno. Un DiT INT8 opcional de solo pesos reduce los pesos de difusión de unos 30 GB a 15 GB.
El soporte de ComfyUI aún no ha llegado: el paquete de la comunidad ComfyUI-LongCat-Avatar solo cubre la 1.5. Consulta LongCat Video Avatar 1.6 para los detalles del lanzamiento y los vídeos de comparación.
Guides and workflows related to this model series.
Comentarios
Inicia sesión con GitHub para unirte a la conversación.