LongCat Video Avatar 1.6 : un avatar parlant au-delà de 10 minutes

ComfyUI Wikinews

LongCat Video Avatar 1.6 transforme une photo et une piste audio en vidéo d'avatar synchronisée au-delà de dix minutes, avec un chemin en 8 étapes et des poids INT8.

LongCat-Video-Avatar 1.6 est disponible. Le modèle d'avatar piloté par l'audio de Meituan maintient désormais un visage et un corps stables au-delà de dix minutes de vidéo générée, et emprunte un chemin en 8 étapes plus rapide. Il est sorti le 13 novembre, quatre mois après Avatar 1.5.
Aperçu de LongCat-Video-Avatar 1.6

Images issues des clips d'aperçu de la 1.6 : un portrait et une piste audio.

Ce qui change dans la 1.6

Domaine1.6
Mouvement des lèvres et de la bouchemoins de formes de bouche crispées ou trop rouges, moins de scintillement dans la zone de la bouche
Clips longsaccumulation d'erreurs autoregressives réduite, les vidéos peuvent dépasser 10 minutes tout en conservant l'identité et la structure du corps
Vitesseoptimisations du pipeline de bout en bout et de l'exécution image par image, aucun nouveau modèle à apprendre
DéploiementDiT INT8 en poids uniquement en option, plus un indicateur FP8 pour Transformer Engine

La 1.6 repose sur la même architecture de base que la 1.5 et conserve la pile de deux adaptateurs : un LoRA DMD pour les premières passes et un LoRA OPSD pour les suivantes, mélangés à chaque étape. Avec la configuration par défaut en 8 étapes, les quatre premières étapes utilisent uniquement DMD et les quatre dernières uniquement OPSD ; augmentez --mix_steps ou --mix_alpha pour donner plus d'influence à DMD au début.

Voir en vidéo

Un test de continuation issu de la carte du modèle, où le clip continue au lieu de se dégrader.

Au-delà de la parole : le modèle anime aussi le chant et la performance à partir de l'audio seul.

Comparaison

Meituan a organisé une arène de 33 051 votes humains par paires sur 15 appariements de modèles. La 1.6 termine deuxième derrière OmniHuman-2.0, et sa marge sur la 1.5 est faible : 16 Elo.

RangModèleElo de l'arène
1OmniHuman-2.0 (fermé)1236.7
2LongCat-Video-Avatar 1.6 (ouvert)1068.1
3LongCat-Video-Avatar 1.5 (ouvert)1051.8
4HeyGen (fermé)906.4
5OmniHuman-1.5 (fermé)880.6
6Kling Avatar 2.0 (fermé)854.7
Classement de l'arène

Le classement tel que publié dans la carte du modèle 1.6.

Même entrée, trois systèmes, une image chacun :

LongCat-Video-Avatar 1.6OmniHuman-2.0HeyGen
Sortie de LongCat 1.6Sortie d'OmniHuman-2.0Sortie de HeyGen

Ce qu'il faut pour l'exécuter

  • Le DiT en BF16 fait environ 30 Go répartis sur six shards ; le DiT INT8 optionnel fait tomber cela à environ 15 Go.
  • Les deux LoRA font 2,35 Go chacun, et le dépôt inclut son encodeur audio Whisper-large-v3 et un séparateur de voix.
  • Les commandes de démo officielles utilisent torchrun sur deux GPU avec parallélisme de contexte. Au-delà de deux GPU, un espace de travail All-to-All est activé via LONGCAT_A2A_WORKSPACE=1.
  • Ne combinez pas --use_int8 avec --use_fp8. FP8 nécessite Transformer Engine, et --compile_dit entraîne un coût de traçage lors de la première exécution de chaque forme d'entrée.

Statut dans ComfyUI

Le support ComfyUI s'arrête toujours à la 1.5. Le pack communautaire ComfyUI-LongCat-Avatar (★43) n'a pas été mis à jour pour le nouveau checkpoint, il n'existe donc pas encore de chemin de nœuds pour la 1.6. En attendant, la 1.6 passe par le pipeline Python officiel.

Disponibilité

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
LongCat Video Avatar 1.6 : un avatar parlant au-delà de 10 minutes | ComfyUI Wiki