LongCat-Avatar : vidéo d'avatar pilotée par l'audio par Meituan

ComfyUI Wiki

LongCat-Avatar est le modèle d'avatar audio open source de Meituan : une photo et une piste audio donnent une vidéo parlante synchronisée. La version 1.6 tient plus de dix minutes.

L

LongCat-Avatar

AvatarAudio-to-VideoLip SyncVideo Generation

Le modèle vidéo d'avatar piloté par l'audio de Meituan, construit sur la base LongCat-Video. Il transforme une photo et une piste audio en une vidéo parlante synchronisée avec les lèvres, prend en charge l'Audio-Text-to-Video et l'Audio-Text-Image-to-Video ainsi que la continuation d'une vidéo existante, et fonctionne avec un seul flux audio ou plusieurs. La version 1.6 garde le visage et le corps stables au-delà de dix minutes de vidéo générée, sur un chemin en 8 étapes plus rapide.

DéveloppeurMeituan
Date de sortie2026-11 (1.6), 2026-05 (1.5), 2025-12 (originale)
Modèle de baseLongCat-Video
LicenceMIT
CapacitésAudio-texte-vers-vidéo, audio-texte-image-vers-vidéo, continuation vidéo
Entrée audioUn ou plusieurs flux audio
Encodeur audioWhisper-Large (1.5)
InférenceChemin distillé en 8 étapes : LoRA DMD sur les premières étapes, LoRA OPSD sur les suivantes

Qu'est-ce que LongCat-Avatar ?

LongCat-Avatar est le framework open source de Meituan pour la vidéo humaine pilotée par l'audio, construit sur le modèle de base LongCat-Video. À partir d'une seule photo et d'une piste audio, il produit un avatar parlant avec synchronisation labiale, préservation de l'identité et stabilité temporelle du corps entier sur de longs clips, et il accepte plusieurs flux audio pour une entrée multi-locuteurs.

La version 1.5 a remplacé l'encodeur Wav2Vec2 d'origine par Whisper-Large, ce qui lisse la dynamique labiale, et a ajouté un chemin d'inférence distillé DMD2 en 8 étapes pour un service moins coûteux sans perte de fidélité visuelle. Cette version généralise également à des domaines stylisés, notamment l'anime, les animaux, les interactions multi-personnes et la manipulation d'objets.

Version 1.6

La 1.6 s'attaque à trois problèmes plutôt qu'à de nouvelles capacités. Le mouvement des lèvres est nettoyé (moins de formes de bouche crispées ou trop rouges, moins de scintillement), l'accumulation d'erreur autoregressive est réduite pour que les clips dépassent dix minutes sans dérive du visage, et le pipeline lui-même est plus rapide. L'architecture est inchangée par rapport à la 1.5 : il s'agit donc d'un remplacement de checkpoint pour les pipelines existants, et non d'une nouvelle famille de modèles.

Elle embarque toujours deux LoRA de tâche : DMD exécute les premières étapes de débruitage, OPSD les suivantes, mélangées avec --mix_steps et --mix_alpha. La configuration par défaut en 8 étapes utilise quatre étapes de chacune. Un DiT INT8 en poids uniquement, optionnel, réduit les poids de diffusion d'environ 30 Go à 15 Go.

La prise en charge dans ComfyUI n'a pas encore suivi : le pack communautaire ComfyUI-LongCat-Avatar ne couvre que la 1.5. Voir LongCat Video Avatar 1.6 pour les détails de la sortie et des vidéos de comparaison.

Guides and workflows related to this model series.

No articles found.

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…