LongCat Video Avatar 1.6 s'exécute désormais dans ComfyUI
Le modèle d'avatar audio de Meituan fonctionne dans ComfyUI : poids reconditionnés par Comfy-Org, pack de nœuds communautaire et support natif en révision.
Deux images de chacun des trois segments de 93 images. Chaque segment reprend à partir des 13 dernières images du précédent.
Trois façons de procéder
| Parcours | État | Ce que c'est |
|---|---|---|
| Poids Comfy-Org | Prêts à télécharger | DiT int8 officiel, les deux LoRA, l'encodeur Whisper, ainsi que le VAE et l'encodeur de texte partagés de Wan 2.1 |
| ComfyUI-LongCat-Avatar (communauté) | Fonctionne aujourd'hui | Pack de nœuds natif de Pedro (LatentSpacer), avec nœuds vidéo distillé en 8 étapes et base en 50 étapes |
| Prise en charge native (CORE-720, Kijai) | PR 17831, ouverte | Ajoute comfy/ldm/wan/model_longcat.py et le câblage de l'encodeur audio ; pas encore fusionnée |
Le pack de nœuds s'installe depuis ComfyUI-Manager sous le nom LongCat Avatar Native, ou avec comfy node install longcat-avatar-native. Il a été testé sur ComfyUI 0.44 et ne nécessite aucun paquet en dehors de ceux fournis avec ComfyUI.
Ce que vous téléchargez
Depuis Comfy-Org/LongCat-Video-Avatar, les dossiers reprennent l'arborescence de ComfyUI/models :
| Fichier | Dossier | Taille |
|---|---|---|
longcat-avatar-1.6_int8_convrot.safetensors | diffusion_models | 14,9 Gio |
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensors | loras | 1,2 Gio |
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensors | loras | 1,2 Gio |
umt5_xxl_int8_convrot ou umt5_xxl_fp16 | text_encoders | 5,3 ou 10,6 Gio |
whisper_large_v3_encoder_fp16.safetensors | audio_encoders | 1,2 Gio |
wan_2.1_vae.safetensors | vae | 242 Mio |
L'encodeur de texte et le VAE sont les fichiers Wan 2.1 : une installation ComfyUI existante les possède probablement déjà.
Vitesse sur une seule 4090
L'auteur du portage a mesuré 5,1 s par étape de continuation en 768×512 avec int8 ConvRot et l'attention ck de ComfyUI : un clip de 253 images (10,1 s de parole) en trois segments a pris environ 162 s. Il a également publié des copies W6A8 et W4A8, de 12,3 et 8,8 Gio contre 14,9 Gio pour int8 et 29,5 Gio pour bf16, et les deux LoRA s'appliquent à toutes ces versions.
Un clip produit avec le pack de nœuds : la bouche suit la parole sur les trois segments.
Le nœud de base en 50 étapes fonctionne avec le guidage texte et audio, sans LoRA, et comme chaque étape exécute le modèle trois fois, il est bien plus lent que le parcours distillé.
Disponibilité
- Poids ComfyUI : Comfy-Org/LongCat-Video-Avatar
- Pack de nœuds : ComfyUI-LongCat-Avatar, miroir des poids sur PedroMarinhoDev/LongCat-Video-Avatar-1.6-ComfyUI
- Prise en charge native : Comfy-Org/ComfyUI PR 17831
- Modèle original : meituan-longcat/LongCat-Video-Avatar-1.6
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.