FantasyPortrait: 多角色肖像动画
FantasyPortrait 是一个基于 DiT 的框架，用于多角色肖像动画和音频驱动的讲话头像生成。它增强了表情增强扩散变换器。
F
FantasyPortrait
Wan2.1肖像动画讲话头像音频驱动用于多角色肖像动画和音频驱动讲话头像生成的扩散变换器框架。支持单角色和多角色场景，具备表情增强功能。
| 开发者 | Fantasy-AMAP |
| 发布日期 | 2025-07 |
| 架构 | 基于 Wan2.1 的扩散变换器 |
| 能力 | 多角色肖像动画、音频驱动的讲话头像、表情控制 |
| 数据集 | Multi-Expr 数据集（首个多肖像面部表情视频数据集） |
概览
FantasyPortrait 是一个基于扩散变换器（DiT）的框架，用于在单角色和多角色场景中生成高保真、富有情感的肖像动画。它基于 Wan2.1 构建，解决了肖像动画中的关键挑战，包括精确的表情对齐、多角色一致性以及视听同步。
该模型接受音频输入以驱动面部表情和嘴唇运动，适用于手语翻译、动画新闻主播和沟通辅助工具等应用。附带的 Multi-Expr 数据集提供了第一个多肖像面部表情视频数据集，用于训练和评估。
ComfyUI 集成
FantasyPortrait 可通过 Kijai WanVideoWrapper 节点在 ComfyUI 中使用。Wan2_1_FantasyPortrait_fp16.safetensors 模型文件及其 fp8 缩放变体托管在 Hugging Face 的 Kijai/WanVideo_comfy 下。
资源
| 资源 | 链接 |
|---|---|
| 论文 | arXiv:2507.12956 |
| GitHub | github.com/Fantasy-AMAP/fantasy-portrait |
| HuggingFace (Kijai) | Kijai/WanVideo_comfy |
| 项目主页 | fantasy-amap.github.io/fantasy-portrait/ |
Guides and workflows related to this model series.
No articles found.