LongCat Video Avatar 1.6: говорящий аватар длится дольше 10 минут
LongCat Video Avatar 1.6 от Meituan превращает фото и аудиодорожку в видео с синхронизацией губ длиннее десяти минут, с ускоренным 8-шаговым режимом и весами INT8.
Кадры из превью-клипов 1.6: один портрет плюс одна аудиодорожка.
Что изменилось в 1.6
| Область | 1.6 |
|---|---|
| Движение губ и рта | меньше напряжённых или чрезмерно красных форм рта, меньше мерцания в области рта |
| Длинные клипы | накопление авторегрессивной ошибки снижено, поэтому видео может длиться дольше 10 минут, сохраняя идентичность и структуру тела |
| Скорость | оптимизации сквозного пайплайна и выполнения на уровне каждого кадра, без новой модели, которую нужно осваивать |
| Развёртывание | опциональный weight-only INT8 DiT, плюс флаг FP8 для Transformer Engine |
1.6 работает на той же базовой архитектуре, что и 1.5, и сохраняет стек из двух адаптеров: DMD LoRA для первых проходов и OPSD LoRA для остальных, смешиваемых на каждом шаге. При стандартной 8-шаговой настройке первые четыре шага используют только DMD, а последние четыре только OPSD; поднимите --mix_steps или --mix_alpha, чтобы дать DMD больше влияния на ранних этапах.
Смотрите
Тест на продолжение из карточки модели, где клип продолжается вместо деградации.
Больше, чем речь: модель также управляет пением и выступлением только по аудио.
Сравнение
Meituan провела арену из 33 051 попарного голосования людей по 15 парам моделей. 1.6 финиширует второй после OmniHuman-2.0, и её отрыв от 1.5 невелик: 16 Elo.
| Место | Модель | Elo на арене |
|---|---|---|
| 1 | OmniHuman-2.0 (закрытая) | 1236.7 |
| 2 | LongCat-Video-Avatar 1.6 (открытая) | 1068.1 |
| 3 | LongCat-Video-Avatar 1.5 (открытая) | 1051.8 |
| 4 | HeyGen (закрытая) | 906.4 |
| 5 | OmniHuman-1.5 (закрытая) | 880.6 |
| 6 | Kling Avatar 2.0 (закрытая) | 854.7 |
Таблица лидеров в том виде, в каком она опубликована в карточке модели 1.6.
Один и тот же вход, три системы, по одному кадру:
| LongCat-Video-Avatar 1.6 | OmniHuman-2.0 | HeyGen |
|---|---|---|
Что нужно для запуска
- BF16 DiT занимает около 30 ГБ в шести шардах; опциональный INT8 DiT снижает это примерно до 15 ГБ.
- Две LoRA весят по 2,35 ГБ каждая, а репозиторий включает свой аудиоэнкодер Whisper-large-v3 и вокальный сепаратор.
- Официальные демо-команды используют
torchrunна двух GPU с context parallel. При большем числе GPU включается рабочее пространство All-to-All черезLONGCAT_A2A_WORKSPACE=1. - Не объединяйте
--use_int8с--use_fp8. FP8 требует Transformer Engine, а--compile_ditплатит издержки трассировки при первом запуске для каждой формы входа.
Статус в ComfyUI
Поддержка ComfyUI по-прежнему останавливается на 1.5. Пакет от сообщества ComfyUI-LongCat-Avatar (★43) не обновлялся под новый checkpoint, поэтому пути через ноды для 1.6 пока нет. Пока он не появится, 1.6 запускается через официальный Python-пайплайн.
Доступность
- Веса: meituan-longcat/LongCat-Video-Avatar-1.6
- Страница проекта с полными видео сравнений: LongCat-Video-Avatar 1.6
- Код вывода и Technical Report: meituan-longcat/LongCat-Video
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.