LongCat-Avatar: аудио-управляемое аватар-видео от Meituan
LongCat-Avatar: открытая модель аватара от Meituan. Одно фото и аудио дают говорящее видео с синхронизацией губ. Версия 1.6 держит идентичность дольше десяти минут.
LongCat-Avatar
АватарАудио в видеоСинхронизация губГенерация видеоАудио-управляемая модель аватара-видео от Meituan, построенная на основе LongCat-Video. Она превращает одну фотографию и аудиодорожку в говорящее видео с синхронизацией губ, поддерживает Audio-Text-to-Video и Audio-Text-Image-to-Video, а также продолжение существующего видео, и работает как с одним аудиопотоком, так и с несколькими. Версия 1.6 сохраняет стабильность лица и тела дольше десяти минут сгенерированного видео на более быстром 8-шаговом пути.
| Разработчик | Meituan |
| Дата релиза | 2026-11 (1.6), 2026-05 (1.5), 2025-12 (оригинал) |
| Базовая модель | LongCat-Video |
| Лицензия | MIT |
| Возможности | Аудио-текст-в-видео, аудио-текст-изображение-в-видео, продолжение видео |
| Вход аудио | Один или несколько аудиопотоков |
| Аудиокодировщик | Whisper-Large (1.5) |
| Вывод | 8-шаговый дистиллированный путь: ранние шаги DMD LoRA, поздние шаги OPSD LoRA |
Что такое LongCat-Avatar?
LongCat-Avatar: открытый фреймворк Meituan для аудио-управляемого видео человека, построенный на базовой модели LongCat-Video. По одной фотографии и аудиодорожке он создаёт говорящего аватара с синхронизацией губ, сохранением идентичности и временной стабильностью всего тела на длинных клипах, а также принимает несколько аудиопотоков для ввода с несколькими говорящими.
В версии 1.5 оригинальный кодировщик Wav2Vec2 был заменён на Whisper-Large, который сглаживает динамику губ, и был добавлен 8-шаговый дистиллированный путь вывода DMD2 для более дешёвого обслуживания без потери визуальной точности. Релиз также обобщается на стилизованные домены, включая аниме, животных, взаимодействия нескольких людей и работу с объектами.
Версия 1.6
Версия 1.6 нацелена на три проблемы, а не на новые возможности. Движение губ очищено (меньше напряжённых или чрезмерно красных форм рта, меньше мерцания), накопление авторегрессивной ошибки сокращено, поэтому клипы могут длиться дольше десяти минут без смещения лица, а сам pipeline стал быстрее. Архитектура не изменилась по сравнению с 1.5, поэтому для существующих pipeline это замена checkpoint, а не новое семейство моделей.
Он по-прежнему включает две LoRA для задач: DMD выполняет ранние шаги удаления шума, а OPSD выполняет поздние; они смешиваются с помощью --mix_steps и --mix_alpha. Настройка по умолчанию на 8 шагов использует по четыре шага каждой. Опциональный weight-only INT8 DiT сокращает веса diffusion примерно с 30 ГБ до 15 ГБ.
Поддержка ComfyUI пока не появилась: пакет сообщества ComfyUI-LongCat-Avatar охватывает только 1.5. Смотрите LongCat Video Avatar 1.6, чтобы узнать детали релиза и посмотреть сравнительные видео.
Guides and workflows related to this model series.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.