Wan-Animate-2: ComfyUI対応のエンドツーエンドキャラクターアニメーションモデル

ComfyUI Wikinews

Alibaba Tongyi LabがWan-Animate-2をリリース。駆動ビデオを直接入力とするエンドツーエンドのキャラクターアニメーションモデルで、テキスト駆動の視点制御とネイティブなComfyUIノードを備えています。

Alibaba Tongyi Lab は2026年8月7日、再設計されたDiffusion Transformer内で駆動ビデオを直接処理するエンドツーエンドのキャラクターアニメーションフレームワーク Wan-Animate-2 をリリースしました。BaseモデルとDistillationモデルのウェイト、推論スクリプト、arXiv論文はすべてApache-2.0ライセンスで公開されています。

Wan-Animate-2のアーキテクチャ

Wan-Animate-2のデュアルブランチDiTアーキテクチャ: 駆動ビデオを直接処理し、Time-Align RoPEとSparse-Ref Attentionで外観とモーションを融合します(出典: プロジェクトページ)

デモビデオ

単一キャラクターの高忠実度アニメーション

マルチキャラクターアニメーション: 1対多および多対多のモーション駆動

Wan-Animate-2-Liteによるリアルタイムストリーミングキャラクターアニメーション

Wan-Animateとの違い

  • 中間モーション抽出が不要。 Wan-Animate-2は駆動ビデオを再設計されたDiffusion Transformerに直接入力し、アイデンティティのドリフトやモーションエラーの原因となっていたスケルトン/表情抽出ステップを排除します。
  • テキスト駆動の視点制御。 出力カメラのパースペクティブは駆動ビデオから分離されており、同じアニメーションをアイデンティティを保ったまま複数のアングルで撮影できます。
  • マルチキャラクターアニメーション。 1対多および多対多のモーション駆動を1回のパスでサポートします。
  • Wan-Animate-2-Lite。 ストリーミングキャラクターアニメーションのリアルタイム推論のしきい値に達する効率的なバリアントで、デジタルアバターやライブ配信者を対象としています。

仕組み

Wan-Animate-2は、リファレンス画像とリファレンスビデオの両方に同時に生成をコンディショニングするデュアルブランチDiTアーキテクチャを採用しています。

  • Time-Align RoPE は、デノイジングビデオトークンとリファレンストークンの間の時間的な位置を整列させます。
  • Sparse-Ref Attention は、毎ステップで完全なリファレンスシーケンスにアテンションする代わりに、有益なリファレンス特徴を選択的にアテンションします。

蒸留バリアントはclassifier-freeガイダンスなしの10ステップ(Eulerスケジューラ)で動作し、Baseモデルはスタンダードな40ステップのサンプリングに従います。

ComfyUIサポート

Wan-Animate-2はComfyUIでネイティブにサポートされており、2つの新しい実験的ノードが追加されています。WanAnimate2ToVideoは、ポーズ/駆動ビデオを使用してリファレンス画像からキャラクターをアニメートするノードで、pose_strength、pose_start_percent、pose_end_percent、reference_image_strengthの各コントロールを備えます。WanAnimate2Cacheは、ポーズブランチのブロックごとのアクティベーションをキャッシュし、480x832/81フレームで約12.5GBのシステムRAMを消費する代わりに生成時間を約半分に短縮します。

Comfy-Org再パッケージ版ウェイトには、bf16およびint8-convrot diffusionモデル、lightx2vステップ蒸留LoRA、テキストエンコーダー、VAE、CLIPビジョンがComfyUI対応フォルダにまとめられています。公式ワークフローテンプレート:

入手方法

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Wan-Animate-2: ComfyUI対応のエンドツーエンドキャラクターアニメーションモデル | ComfyUI Wiki