FantasyPortrait: Анимация портретов нескольких персонажей
FantasyPortrait является фреймворком на основе DiT для анимации портретов нескольких персонажей с управлением от аудио. Улучшает диффузионные трансформеры с усилением выразительности.
FantasyPortrait
Wan2.1Анимация портретовГоворящая головаУправление аудиоФреймворк на основе диффузионного трансформера для анимации портретов нескольких персонажей с генерацией говорящей головы, управляемой аудио. Поддерживает сценарии с одним и несколькими персонажами с усилением выразительности.
| Разработчик | Fantasy-AMAP |
| Дата выпуска | 2025-07 |
| Архитектура | Диффузионный трансформер на основе Wan2.1 |
| Возможности | Анимация портретов нескольких персонажей, говорящая голова с управлением от аудио, контроль выразительности |
| Набор данных | Multi-Expr Dataset (первый набор видеоданных с выражениями лиц на нескольких портретах) |
Обзор
FantasyPortrait — это фреймворк на основе диффузионного трансформера (DiT) для создания высококачественных, эмоционально насыщенных анимаций портретов в сценариях с одним и несколькими персонажами. Построенный на Wan2.1, он решает ключевые задачи анимации портретов, включая точное согласование выражений, согласованность между персонажами и синхронизацию аудио и видео.
Модель принимает аудиовход для управления выражениями лица и движениями губ, что делает её подходящей для таких приложений, как аватары сурдопереводчиков, анимированные ведущие новостей и средства коммуникации. Сопутствующий набор данных Multi-Expr Dataset предоставляет первый набор видеоданных с выражениями лиц на нескольких портретах для обучения и оценки.
Интеграция с ComfyUI
FantasyPortrait доступен в ComfyUI через узлы Kijai WanVideoWrapper. Файл модели Wan2_1_FantasyPortrait_fp16.safetensors и его вариант с масштабированием fp8 размещены на Hugging Face в репозитории Kijai/WanVideo_comfy.
Ресурсы
| Ресурс | Ссылка |
|---|---|
| Статья | arXiv:2507.12956 |
| GitHub | github.com/Fantasy-AMAP/fantasy-portrait |
| Hugging Face (Kijai) | Kijai/WanVideo_comfy |
| Страница проекта | fantasy-amap.github.io/fantasy-portrait/ |
Guides and workflows related to this model series.