LongCat-Avatar : vidéo d'avatar pilotée par l'audio, par Meituan

LongCat-Avatar

AvatarAudio-to-VideoLip SyncVideo Generation

Le modèle vidéo d'avatar piloté par l'audio de Meituan, construit sur la base LongCat-Video. Il transforme une photo et une piste audio en une vidéo parlante synchronisée avec les lèvres, prend en charge l'Audio-Text-to-Video et l'Audio-Text-Image-to-Video ainsi que la continuation d'une vidéo existante, et fonctionne avec un seul flux audio ou plusieurs. La version 1.5 remplace l'encodeur audio par Whisper-Large et ajoute une inférence distillée DMD2 en 8 étapes.

Hugging Face (1.5)Hugging Face Page du projet

Développeur	Meituan
Date de sortie	2026-05 (1.5), 2025-12 (originale)
Modèle de base	LongCat-Video
Licence	MIT
Capacités	Audio-texte-vers-vidéo, audio-texte-image-vers-vidéo, continuation vidéo
Entrée audio	Un ou plusieurs flux audio
Encodeur audio	Whisper-Large (1.5)
Inférence	Chemin distillé DMD2 en 8 étapes avec un LoRA de distillation rank-128

Qu'est-ce que LongCat-Avatar ?

LongCat-Avatar est le framework open source de Meituan pour la vidéo humaine pilotée par l'audio, construit sur le modèle de base LongCat-Video. À partir d'une seule photo et d'une piste audio, il produit un avatar parlant avec synchronisation labiale, préservation de l'identité et stabilité temporelle du corps entier sur de longs clips, et il accepte plusieurs flux audio pour une entrée multi-locuteurs.

La version 1.5 a remplacé l'encodeur Wav2Vec2 d'origine par Whisper-Large, ce qui lisse la dynamique labiale, et a ajouté un chemin d'inférence distillé DMD2 en 8 étapes pour un service moins coûteux sans perte de fidélité visuelle. Cette version généralise également à des domaines stylisés, notamment l'anime, les animaux, les interactions multi-personnes et la manipulation d'objets.