LongCat-Avatar: аватар-видео по аудио от Meituan

ComfyUI Wiki

LongCat-Avatar: открытая модель аудио-управляемого аватара от Meituan, превращающая одну фотографию и аудио в видео с синхронизацией губ, с 8-шаговым дистиллированным выводом DMD2.

LongCat-Avatar

АватарАудио в видеоСинхронизация губГенерация видео

Аудио-управляемая модель аватара-видео от Meituan, построенная на основе LongCat-Video. Она превращает одну фотографию и аудиодорожку в говорящее видео с синхронизацией губ, поддерживает Audio-Text-to-Video и Audio-Text-Image-to-Video, а также продолжение существующего видео, и работает как с одним аудиопотоком, так и с несколькими. Версия 1.5 заменяет аудиокодировщик на Whisper-Large и добавляет 8-шаговый дистиллированный вывод DMD2.

Hugging Face (1.5)Hugging Face Страница проекта

Разработчик	Meituan
Дата релиза	2026-05 (1.5), 2025-12 (оригинал)
Базовая модель	LongCat-Video
Лицензия	MIT
Возможности	Аудио-текст-в-видео, аудио-текст-изображение-в-видео, продолжение видео
Вход аудио	Один или несколько аудиопотоков
Аудиокодировщик	Whisper-Large (1.5)
Вывод	8-шаговый дистиллированный путь DMD2 с дистилл-LoRA ранга 128

Что такое LongCat-Avatar?

LongCat-Avatar — открытый фреймворк Meituan для аудио-управляемого видео человека, построенный на базовой модели LongCat-Video. По одной фотографии и аудиодорожке он создаёт говорящего аватара с синхронизацией губ, сохранением идентичности и временной стабильностью всего тела на длинных клипах, а также принимает несколько аудиопотоков для ввода с несколькими говорящими.

В версии 1.5 оригинальный кодировщик Wav2Vec2 заменён на Whisper-Large, который сглаживает динамику губ, и добавлен путь вывода с 8-шаговой дистилляцией DMD2 для более дешёвого обслуживания без потери визуальной точности. Релиз также обобщается на стилизованные домены, включая аниме, животных, взаимодействия нескольких людей и работу с объектами.