LongCat Video Avatar 1.6 s'exécute désormais dans ComfyUI

ComfyUI Wikinews

Le modèle d'avatar audio de Meituan fonctionne dans ComfyUI : poids reconditionnés par Comfy-Org, pack de nœuds communautaire et support natif en révision.

LongCat Video Avatar 1.6 dispose désormais d'un parcours ComfyUI. Comfy-Org a reconditionné les poids le 18 novembre, un pack de nœuds communautaire fait tourner le modèle dès aujourd'hui, et la prise en charge native de Kijai est ouverte à la révision. Le modèle lui-même est sorti le 13 novembre, alors qu'aucun parcours de nœuds 1.6 n'existait encore.
Deux images de chacun des trois segments d'un même clip d'avatar parlant

Deux images de chacun des trois segments de 93 images. Chaque segment reprend à partir des 13 dernières images du précédent.

Trois façons de procéder

ParcoursÉtatCe que c'est
Poids Comfy-OrgPrêts à téléchargerDiT int8 officiel, les deux LoRA, l'encodeur Whisper, ainsi que le VAE et l'encodeur de texte partagés de Wan 2.1
ComfyUI-LongCat-Avatar (communauté)Fonctionne aujourd'huiPack de nœuds natif de Pedro (LatentSpacer), avec nœuds vidéo distillé en 8 étapes et base en 50 étapes
Prise en charge native (CORE-720, Kijai)PR 17831, ouverteAjoute comfy/ldm/wan/model_longcat.py et le câblage de l'encodeur audio ; pas encore fusionnée

Le pack de nœuds s'installe depuis ComfyUI-Manager sous le nom LongCat Avatar Native, ou avec comfy node install longcat-avatar-native. Il a été testé sur ComfyUI 0.44 et ne nécessite aucun paquet en dehors de ceux fournis avec ComfyUI.

Ce que vous téléchargez

Depuis Comfy-Org/LongCat-Video-Avatar, les dossiers reprennent l'arborescence de ComfyUI/models :

FichierDossierTaille
longcat-avatar-1.6_int8_convrot.safetensorsdiffusion_models14,9 Gio
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensorsloras1,2 Gio
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensorsloras1,2 Gio
umt5_xxl_int8_convrot ou umt5_xxl_fp16text_encoders5,3 ou 10,6 Gio
whisper_large_v3_encoder_fp16.safetensorsaudio_encoders1,2 Gio
wan_2.1_vae.safetensorsvae242 Mio

L'encodeur de texte et le VAE sont les fichiers Wan 2.1 : une installation ComfyUI existante les possède probablement déjà.

Vitesse sur une seule 4090

L'auteur du portage a mesuré 5,1 s par étape de continuation en 768×512 avec int8 ConvRot et l'attention ck de ComfyUI : un clip de 253 images (10,1 s de parole) en trois segments a pris environ 162 s. Il a également publié des copies W6A8 et W4A8, de 12,3 et 8,8 Gio contre 14,9 Gio pour int8 et 29,5 Gio pour bf16, et les deux LoRA s'appliquent à toutes ces versions.

Un homme en veste rouge chante dans un microphone sur une scène enfumée

Un clip produit avec le pack de nœuds : la bouche suit la parole sur les trois segments.

Le nœud de base en 50 étapes fonctionne avec le guidage texte et audio, sans LoRA, et comme chaque étape exécute le modèle trois fois, il est bien plus lent que le parcours distillé.

Disponibilité

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
LongCat Video Avatar 1.6 s'exécute désormais dans ComfyUI | ComfyUI Wiki