LongCat Video Avatar 1.6: говорящий аватар длится дольше 10 минут

ComfyUI Wikinews

LongCat Video Avatar 1.6 от Meituan превращает фото и аудиодорожку в видео с синхронизацией губ длиннее десяти минут, с ускоренным 8-шаговым режимом и весами INT8.

LongCat-Video-Avatar 1.6 вышла. Модель аватара под управлением аудио от Meituan теперь удерживает лицо и тело стабильными дольше десяти минут сгенерированного видео и работает по ускоренному 8-шаговому пути. Она вышла 13 ноября, через четыре месяца после Avatar 1.5.
Предпросмотр LongCat-Video-Avatar 1.6

Кадры из превью-клипов 1.6: один портрет плюс одна аудиодорожка.

Что изменилось в 1.6

Область1.6
Движение губ и ртаменьше напряжённых или чрезмерно красных форм рта, меньше мерцания в области рта
Длинные клипынакопление авторегрессивной ошибки снижено, поэтому видео может длиться дольше 10 минут, сохраняя идентичность и структуру тела
Скоростьоптимизации сквозного пайплайна и выполнения на уровне каждого кадра, без новой модели, которую нужно осваивать
Развёртываниеопциональный weight-only INT8 DiT, плюс флаг FP8 для Transformer Engine

1.6 работает на той же базовой архитектуре, что и 1.5, и сохраняет стек из двух адаптеров: DMD LoRA для первых проходов и OPSD LoRA для остальных, смешиваемых на каждом шаге. При стандартной 8-шаговой настройке первые четыре шага используют только DMD, а последние четыре только OPSD; поднимите --mix_steps или --mix_alpha, чтобы дать DMD больше влияния на ранних этапах.

Смотрите

Тест на продолжение из карточки модели, где клип продолжается вместо деградации.

Больше, чем речь: модель также управляет пением и выступлением только по аудио.

Сравнение

Meituan провела арену из 33 051 попарного голосования людей по 15 парам моделей. 1.6 финиширует второй после OmniHuman-2.0, и её отрыв от 1.5 невелик: 16 Elo.

МестоМодельElo на арене
1OmniHuman-2.0 (закрытая)1236.7
2LongCat-Video-Avatar 1.6 (открытая)1068.1
3LongCat-Video-Avatar 1.5 (открытая)1051.8
4HeyGen (закрытая)906.4
5OmniHuman-1.5 (закрытая)880.6
6Kling Avatar 2.0 (закрытая)854.7
Таблица лидеров арены

Таблица лидеров в том виде, в каком она опубликована в карточке модели 1.6.

Один и тот же вход, три системы, по одному кадру:

LongCat-Video-Avatar 1.6OmniHuman-2.0HeyGen
Выход LongCat 1.6Выход OmniHuman-2.0Выход HeyGen

Что нужно для запуска

  • BF16 DiT занимает около 30 ГБ в шести шардах; опциональный INT8 DiT снижает это примерно до 15 ГБ.
  • Две LoRA весят по 2,35 ГБ каждая, а репозиторий включает свой аудиоэнкодер Whisper-large-v3 и вокальный сепаратор.
  • Официальные демо-команды используют torchrun на двух GPU с context parallel. При большем числе GPU включается рабочее пространство All-to-All через LONGCAT_A2A_WORKSPACE=1.
  • Не объединяйте --use_int8 с --use_fp8. FP8 требует Transformer Engine, а --compile_dit платит издержки трассировки при первом запуске для каждой формы входа.

Статус в ComfyUI

Поддержка ComfyUI по-прежнему останавливается на 1.5. Пакет от сообщества ComfyUI-LongCat-Avatar (★43) не обновлялся под новый checkpoint, поэтому пути через ноды для 1.6 пока нет. Пока он не появится, 1.6 запускается через официальный Python-пайплайн.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
LongCat Video Avatar 1.6: говорящий аватар длится дольше 10 минут | ComfyUI Wiki