LongCat Video Avatar 1.6 теперь работает в ComfyUI
Аудио-модель аватара от Meituan теперь работает в ComfyUI: Comfy-Org переупаковала веса, появился нативный пакет узлов от сообщества, а поддержка в ядре находится на рассмотрении.
Два кадра из каждого из трёх сегментов по 93 кадра. Каждый сегмент продолжает последние 13 кадров предыдущего.
Три способа запуска
| Путь | Состояние | Что это |
|---|---|---|
| Веса Comfy-Org | Готовы к загрузке | Официальный int8 DiT, обе LoRA, энкодер Whisper, а также общие VAE и текстовый энкодер Wan 2.1 |
| ComfyUI-LongCat-Avatar (сообщество) | Работает уже сегодня | Нативный пакет узлов от Pedro (LatentSpacer): узлы видео с дистилляцией в 8 шагов и базовые в 50 шагов |
| Поддержка в ядре (CORE-720, Kijai) | PR 17831, открыт | Добавляет comfy/ldm/wan/model_longcat.py и подключение аудиоэнкодера; пока не смержен |
Пакет узлов устанавливается через ComfyUI-Manager как LongCat Avatar Native или командой comfy node install longcat-avatar-native. Он протестирован на ComfyUI 0.44 и не требует пакетов помимо собственных пакетов ComfyUI.
Что вы скачиваете
В Comfy-Org/LongCat-Video-Avatar папки повторяют структуру ComfyUI/models:
| Файл | Папка | Размер |
|---|---|---|
longcat-avatar-1.6_int8_convrot.safetensors | diffusion_models | 14.9 GiB |
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensors | loras | 1.2 GiB |
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensors | loras | 1.2 GiB |
umt5_xxl_int8_convrot или umt5_xxl_fp16 | text_encoders | 5.3 или 10.6 GiB |
whisper_large_v3_encoder_fp16.safetensors | audio_encoders | 1.2 GiB |
wan_2.1_vae.safetensors | vae | 242 MiB |
Текстовый энкодер и VAE взяты из Wan 2.1, поэтому в уже установленном ComfyUI они, скорее всего, уже есть.
Скорость на одной 4090
Автор порта замерил 5,1 с на каждый продолженный шаг при 768×512 с int8 ConvRot и вниманием ck из ComfyUI: клип на 253 кадра (10,1 с речи) в трёх сегментах занял около 162 с. Он также выпустил копии W6A8 и W4A8: 12,3 и 8,8 GiB против 14,9 GiB для int8 и 29,5 GiB для bf16, и обе LoRA применимы к любой из них.
Один клип из пакета узлов: рот следует за речью на всех трёх сегментах.
Базовый узел на 50 шагов работает с текстовым и аудио-направлением (guidance) и без LoRA, а поскольку каждый шаг запускает модель трижды, он во много раз медленнее дистиллированного пути.
Доступность
- Веса ComfyUI: Comfy-Org/LongCat-Video-Avatar
- Пакет узлов: ComfyUI-LongCat-Avatar, зеркало весов на PedroMarinhoDev/LongCat-Video-Avatar-1.6-ComfyUI
- Поддержка в ядре: Comfy-Org/ComfyUI PR 17831
- Оригинальная модель: meituan-longcat/LongCat-Video-Avatar-1.6
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.