LongCat Video Avatar 1.6 теперь работает в ComfyUI

ComfyUI Wikinews

Аудио-модель аватара от Meituan теперь работает в ComfyUI: Comfy-Org переупаковала веса, появился нативный пакет узлов от сообщества, а поддержка в ядре находится на рассмотрении.

У LongCat Video Avatar 1.6 есть путь в ComfyUI. Comfy-Org переупаковала веса 18 ноября, пакет узлов от сообщества запускает модель уже сегодня, а поддержка в ядре от Kijai открыта для review. Сама модель вышла 13 ноября, когда пути через ноды для 1.6 ещё не существовало.
Два кадра из каждого из трёх сегментов одного клипа с говорящим аватаром

Два кадра из каждого из трёх сегментов по 93 кадра. Каждый сегмент продолжает последние 13 кадров предыдущего.

Три способа запуска

ПутьСостояниеЧто это
Веса Comfy-OrgГотовы к загрузкеОфициальный int8 DiT, обе LoRA, энкодер Whisper, а также общие VAE и текстовый энкодер Wan 2.1
ComfyUI-LongCat-Avatar (сообщество)Работает уже сегодняНативный пакет узлов от Pedro (LatentSpacer): узлы видео с дистилляцией в 8 шагов и базовые в 50 шагов
Поддержка в ядре (CORE-720, Kijai)PR 17831, открытДобавляет comfy/ldm/wan/model_longcat.py и подключение аудиоэнкодера; пока не смержен

Пакет узлов устанавливается через ComfyUI-Manager как LongCat Avatar Native или командой comfy node install longcat-avatar-native. Он протестирован на ComfyUI 0.44 и не требует пакетов помимо собственных пакетов ComfyUI.

Что вы скачиваете

В Comfy-Org/LongCat-Video-Avatar папки повторяют структуру ComfyUI/models:

ФайлПапкаРазмер
longcat-avatar-1.6_int8_convrot.safetensorsdiffusion_models14.9 GiB
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensorsloras1.2 GiB
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensorsloras1.2 GiB
umt5_xxl_int8_convrot или umt5_xxl_fp16text_encoders5.3 или 10.6 GiB
whisper_large_v3_encoder_fp16.safetensorsaudio_encoders1.2 GiB
wan_2.1_vae.safetensorsvae242 MiB

Текстовый энкодер и VAE взяты из Wan 2.1, поэтому в уже установленном ComfyUI они, скорее всего, уже есть.

Скорость на одной 4090

Автор порта замерил 5,1 с на каждый продолженный шаг при 768×512 с int8 ConvRot и вниманием ck из ComfyUI: клип на 253 кадра (10,1 с речи) в трёх сегментах занял около 162 с. Он также выпустил копии W6A8 и W4A8: 12,3 и 8,8 GiB против 14,9 GiB для int8 и 29,5 GiB для bf16, и обе LoRA применимы к любой из них.

Мужчина в красной куртке поёт в микрофон на задымлённой сцене

Один клип из пакета узлов: рот следует за речью на всех трёх сегментах.

Базовый узел на 50 шагов работает с текстовым и аудио-направлением (guidance) и без LoRA, а поскольку каждый шаг запускает модель трижды, он во много раз медленнее дистиллированного пути.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
LongCat Video Avatar 1.6 теперь работает в ComfyUI | ComfyUI Wiki