LongCat-Avatar:美团开源的音频驱动数字人视频模型

ComfyUI Wiki

LongCat-Avatar 是美团开源的音频驱动数字人模型:一张照片加一段音频即可生成唇形同步的说话视频,1.6 版本可在十分钟以上保持人物身份一致。

L

LongCat-Avatar

AvatarAudio-to-VideoLip SyncVideo Generation

美团推出的音频驱动数字人视频模型,基于 LongCat-Video 基础模型构建。它可以将一张照片与一段音频合成为唇形同步的说话视频,支持 Audio-Text-to-Video 与 Audio-Text-Image-to-Video,也支持对已有视频进行续写,并可使用单路或多路音频。版本 1.6 在更快的 8 步路径下,可在超过十分钟的已生成视频中保持面部与身体稳定。

开发者美团
发布日期2026-11(1.6)、2026-05(1.5)、2025-12(原始版本)
基础模型LongCat-Video
许可证MIT
能力音频-文本生视频、音频-文本-图像生视频、视频续写
音频输入单路或多路音频流
音频编码器Whisper-Large (1.5)
推理8 步蒸馏路径:前段使用 DMD LoRA,后段使用 OPSD LoRA

什么是 LongCat-Avatar?

LongCat-Avatar 是美团面向音频驱动人物视频的开源框架,构建于 LongCat-Video 基础模型之上。只需给定一张照片和一段音频,它就能生成唇形同步的说话数字人,在长片段中保持人物身份一致与全身时序稳定,并且支持输入多路音频以实现多人对话。

版本 1.5 将原有的 Wav2Vec2 编码器替换为 Whisper-Large,使唇部动态更加平滑,并新增 8 步 DMD2 蒸馏推理路径,在不损失视觉保真度的前提下降低部署成本。该版本还泛化到风格化领域,包括动漫、动物、多人互动和物体操作等。

版本 1.6

1.6 针对三个问题作了改进,而非增加新能力。唇部运动得到清理(紧绷或过度发红的嘴形更少,闪烁更少),自回归错误累积被削减,因此片段可以超过十分钟而面部不漂移,同时流水线本身也更快。架构与 1.5 相同,所以对现有流水线而言只是替换 checkpoint,而不是新的模型系列。

它仍然附带两个任务 LoRA:DMD 负责早期去噪步骤,OPSD 负责后期步骤,通过 --mix_steps 与 --mix_alpha 混合。默认的 8 步配置各使用四步。可选的仅权重 INT8 DiT 可将 diffusion 权重从约 30 GB 降至 15 GB。

ComfyUI 支持尚未跟进:社区 ComfyUI-LongCat-Avatar 插件包目前仅覆盖 1.5。发布详情与对比视频见 LongCat Video Avatar 1.6。

Guides and workflows related to this model series.

No articles found.

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…