FantasyPortrait: ComfyUIマルチキャラクターポートレートアニメーション
FantasyPortrait は、音声駆動のトーキングヘッドを備えたマルチキャラクターのポートレートアニメーション向け DiT ベースのフレームワークです。表情拡張型 Diffusion Transformer を強化します。
FantasyPortrait
Wan2.1ポートレートアニメーショントーキングヘッド音声駆動音声駆動のトーキングヘッド生成に対応した、マルチキャラクターのポートレートアニメーション向け Diffusion Transformer フレームワーク。表情拡張により単一キャラクターおよびマルチキャラクターのシナリオをサポートします。
| 開発元 | Fantasy-AMAP |
| リリース日 | 2025-07 |
| アーキテクチャ | Wan2.1 ベースの Diffusion Transformer |
| 機能 | マルチキャラクターのポートレートアニメーション、音声駆動トーキングヘッド、表情制御 |
| データセット | Multi-Expr Dataset（初のマルチポートレート顔表情動画データセット） |
概要
FantasyPortrait は、単一キャラクターおよびマルチキャラクターの両方のシナリオで、高忠実度で感情豊かなポートレートアニメーションを生成するための Diffusion Transformer（DiT）ベースのフレームワークです。Wan2.1 を基盤として構築されており、正確な表情の整列、マルチキャラクターの一貫性、音声と映像の同期といったポートレートアニメーションにおける主要な課題に対応します。
このモデルは音声入力を受け取って顔の表情と唇の動きを駆動するため、手話通訳、アニメーション化されたニュースキャスター、コミュニケーション支援などの用途に適しています。付属の Multi-Expr Dataset は、トレーニングと評価のための初のマルチポートレート顔表情動画データセットを提供します。
ComfyUI 統合
FantasyPortrait は、Kijai の WanVideoWrapper ノードを通じて ComfyUI で利用できます。Wan2_1_FantasyPortrait_fp16.safetensors モデルファイルとその fp8 スケーリング版は、Hugging Face の Kijai/WanVideo_comfy で公開されています。
リソース
| リソース | リンク |
|---|---|
| 論文 | arXiv:2507.12956 |
| GitHub | github.com/Fantasy-AMAP/fantasy-portrait |
| HuggingFace (Kijai) | Kijai/WanVideo_comfy |
| プロジェクトページ | fantasy-amap.github.io/fantasy-portrait/ |
Guides and workflows related to this model series.
コメント
GitHubでサインインしてディスカッションに参加しましょう。