LongCat-Avatar: vídeo de avatar guiado por audio de Meituan

LongCat-Avatar

AvatarAudio a vídeoSincronización labialGeneración de vídeo

El modelo de vídeo de avatar guiado por audio de Meituan, construido sobre la base de LongCat-Video. Convierte una foto más una pista de audio en un vídeo hablado con sincronización labial, admite Audio-Text-to-Video y Audio-Text-Image-to-Video, además de continuar un vídeo existente, y funciona con un único flujo de audio o con varios. La versión 1.5 incorpora un codificador de audio Whisper-Large y añade inferencia destilada DMD2 de 8 pasos.

Hugging Face (1.5)Hugging Face Página del proyecto

Desarrollador	Meituan
Fecha de lanzamiento	2026-05 (1.5), 2025-12 (original)
Modelo base	LongCat-Video
Licencia	MIT
Capacidades	Audio-texto-a-vídeo, audio-texto-imagen-a-vídeo, continuación de vídeo
Entrada de audio	Uno o varios flujos de audio
Codificador de audio	Whisper-Large (1.5)
Inferencia	Ruta destilada DMD2 de 8 pasos con un LoRA destilado de rango 128

¿Qué es LongCat-Avatar?

LongCat-Avatar es el framework abierto de Meituan para vídeo humano guiado por audio, construido sobre el modelo base LongCat-Video. Dada una sola foto y una pista de audio, produce un avatar parlante con sincronización labial, preservación de la identidad y estabilidad temporal de cuerpo completo en clips largos, y acepta más de un flujo de audio para entradas con varios hablantes.

La versión 1.5 reemplazó el codificador Wav2Vec2 original por Whisper-Large, lo que suaviza la dinámica labial, y añadió una ruta de inferencia destilada DMD2 de 8 pasos para un servicio más económico sin perder fidelidad visual. El lanzamiento también se generaliza a dominios estilizados, como el anime, los animales, las interacciones entre varias personas y la manipulación de objetos.