LongCat-Avatar:美团开源的音频驱动数字人视频模型
LongCat-Avatar 是美团开源的音频驱动数字人模型:一张照片加一段音频即可生成唇形同步的说话视频,1.6 版本可在十分钟以上保持人物身份一致。
LongCat-Avatar
AvatarAudio-to-VideoLip SyncVideo Generation美团推出的音频驱动数字人视频模型,基于 LongCat-Video 基础模型构建。它可以将一张照片与一段音频合成为唇形同步的说话视频,支持 Audio-Text-to-Video 与 Audio-Text-Image-to-Video,也支持对已有视频进行续写,并可使用单路或多路音频。版本 1.6 在更快的 8 步路径下,可在超过十分钟的已生成视频中保持面部与身体稳定。
| 开发者 | 美团 |
| 发布日期 | 2026-11(1.6)、2026-05(1.5)、2025-12(原始版本) |
| 基础模型 | LongCat-Video |
| 许可证 | MIT |
| 能力 | 音频-文本生视频、音频-文本-图像生视频、视频续写 |
| 音频输入 | 单路或多路音频流 |
| 音频编码器 | Whisper-Large (1.5) |
| 推理 | 8 步蒸馏路径:前段使用 DMD LoRA,后段使用 OPSD LoRA |
什么是 LongCat-Avatar?
LongCat-Avatar 是美团面向音频驱动人物视频的开源框架,构建于 LongCat-Video 基础模型之上。只需给定一张照片和一段音频,它就能生成唇形同步的说话数字人,在长片段中保持人物身份一致与全身时序稳定,并且支持输入多路音频以实现多人对话。
版本 1.5 将原有的 Wav2Vec2 编码器替换为 Whisper-Large,使唇部动态更加平滑,并新增 8 步 DMD2 蒸馏推理路径,在不损失视觉保真度的前提下降低部署成本。该版本还泛化到风格化领域,包括动漫、动物、多人互动和物体操作等。
版本 1.6
1.6 针对三个问题作了改进,而非增加新能力。唇部运动得到清理(紧绷或过度发红的嘴形更少,闪烁更少),自回归错误累积被削减,因此片段可以超过十分钟而面部不漂移,同时流水线本身也更快。架构与 1.5 相同,所以对现有流水线而言只是替换 checkpoint,而不是新的模型系列。
它仍然附带两个任务 LoRA:DMD 负责早期去噪步骤,OPSD 负责后期步骤,通过 --mix_steps 与 --mix_alpha 混合。默认的 8 步配置各使用四步。可选的仅权重 INT8 DiT 可将 diffusion 权重从约 30 GB 降至 15 GB。
ComfyUI 支持尚未跟进:社区 ComfyUI-LongCat-Avatar 插件包目前仅覆盖 1.5。发布详情与对比视频见 LongCat Video Avatar 1.6。
Guides and workflows related to this model series.
评论
使用 GitHub 登录后即可参与讨论。