LongCat-Avatar：美团音频驱动数字人视频模型
ComfyUI Wiki
LongCat-Avatar 是美团开源的音频驱动数字人模型，可将单张照片与音频合成为唇形同步视频，并支持 8 步 DMD2 蒸馏推理。
L
LongCat-Avatar
AvatarAudio-to-VideoLip SyncVideo Generation美团推出的音频驱动数字人视频模型，基于 LongCat-Video 基础模型构建。它可以将一张照片与一段音频合成为唇形同步的说话视频，支持 Audio-Text-to-Video 与 Audio-Text-Image-to-Video，也支持对已有视频进行续写，并可使用单路或多路音频。版本 1.5 换用 Whisper-Large 音频编码器，并新增 8 步 DMD2 蒸馏推理。
| 开发者 | 美团 |
| 发布日期 | 2026-05（1.5）、2025-12（原始版本） |
| 基础模型 | LongCat-Video |
| 许可证 | MIT |
| 能力 | 音频-文本生视频、音频-文本-图像生视频、视频续写 |
| 音频输入 | 单路或多路音频流 |
| 音频编码器 | Whisper-Large (1.5) |
| 推理 | 8 步 DMD2 蒸馏路径，配合 rank-128 蒸馏 LoRA |
什么是 LongCat-Avatar？
LongCat-Avatar 是美团面向音频驱动人物视频的开源框架，构建于 LongCat-Video 基础模型之上。只需给定一张照片和一段音频，它就能生成唇形同步的说话数字人，在长片段中保持人物身份一致与全身时序稳定，并且支持输入多路音频以实现多人对话。
版本 1.5 将原有的 Wav2Vec2 编码器替换为 Whisper-Large，使唇部动态更加平滑，并新增 8 步 DMD2 蒸馏推理路径，在不损失视觉保真度的前提下降低部署成本。该版本还泛化到风格化领域，包括动漫、动物、多人互动和物体操作等。
Guides and workflows related to this model series.
No articles found.
评论
使用 GitHub 登录后即可参与讨论。