Wan2.2 AnimateはAI駆動のキャラクター・アニメーションにおけるブレークスルーであり、ビデオコンテンツ内でのキャラクターの置換およびモーション転送の両方をサポートする包括的なソリューションです。
この高度なフレームワークにより、ユーザーは参照動画を使用して静止画のキャラクター画像をシームレスにアニメーション化でき、顕著な精度で複雑な表情や身体の動きを捉えることができます。さらに、元の環境と照明条件を維持しながら、ビデオ内の既存キャラクターを置き換えることもできます。
主な機能
- デュアルオペレーションモード: キャラクターアニメーションとビデオ置換機能をシームレスに切り替え
- スケルトンベースのモーション制御: 高度なポーズ推定を活用して正確な動きを複製
- 表情忠実度: 元の素材から微妙な表情や微細な動きを保持
- 環境の一貫性: 自然な統合のために元のビデオ照明と色調整を維持
- 拡張ビデオサポート: 繰り返し処理により、長編シーケンス間での滑らかなモーションの連続性を確保
Wan2.2 Animateワークフローについて
このチュートリアルでは、2つのワークフローを含めます:
- ComfyUI公式ネイティブバージョン(コアノード)
- Kijai ComfyUI-WanVideoWrapperバージョン[更新予定]
Comfy Orgライブ配信の再放送
Wan2.2 Animate ComfyUIネイティブワークフロー(コアノード)
1. ワークフローのセットアップ
ワークフローファイルをダウンロードしてComfyUIにインポートすることから始めます。
必要な入力素材:
参照画像:
入力ビデオ
2. モデルのダウンロード
拡散モデル
- Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors - Kijaiのリポジトリの最適化バージョン
- wan2.2_animate_14B_bf16.safetensors - 元のモデルウェイト
CLIPビジョンモデル
LoRAモデル
VAEモデル
テキストエンコーダー
ComfyUI/
├───📂 models/
│ ├───📂 diffusion_models/
│ │ ├─── Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors
│ │ └─── wan2.2_animate_14B_bf16.safetensors
│ ├───📂 loras/
│ │ └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│ ├───📂 text_encoders/
│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ ├───📂 clip_visions/
│ │ └─── clip_vision_h.safetensors
│ └───📂 vae/
│ └── wan_2.1_vae.safetensors
3. カスタムノードのインストール
完全なワークフロー体験のために、ComfyUI-Manager を使用するか手動で以下のカスタムノードをインストールしてください:
必要な拡張機能:
インストールガイドについては、カスタムノードのインストール方法を参照してください。
4. ワークフローの設定
Wan2.2 Animateは2つの異なるモードで動作します:
- Mixモード: 既存のビデオコンテンツ内でのキャラクター置換
- Moveモード: 静止画のキャラクター画像へのモーション転送
4.1 Mixモードの操作
セットアップガイドライン:
-
初期テスト: 最初の実行ではVRAM互換性を確認するために小さなビデオサイズを使用してください。
WanAnimateToVideo
の制限により、ビデオサイズは16の倍数である必要があります。 -
モデル確認: 必要なすべてのモデルが正しくロードされていることを確認
-
プロンプトのカスタマイズ: 特定のユースケースに応じてテキストプロンプトを変更
-
参照画像: ターゲットキャラクター画像をアップロード
-
入力ビデオの処理: 最初は提供されたサンプルビデオを使用してください。comfyui_controlnet_auxのDWPose Estimatorは自動的に入力ビデオをポーズおよび顔の制御シーケンスに処理します
-
ポイントエディターの設定: KJNodesの
Points Editor
は初期フレームのロードを必要とします。ワークフローを1回実行するか、手動で最初のフレームをアップロードしてください -
ビデオの拡張: “Video Extend”グループは出力長を拡張します
- 各拡張は77フレーム(約4.8秒)を追加します
- 5秒未満のビデオではスキップ
- 長い拡張の場合はグループを複製し、
batch_images
およびvideo_frame_offset
出力を順次接続します
-
実行:
Run
をクリックするか、Ctrl(Cmd) + Enter
を使用して生成を開始
4.2 Moveモードの設定
ワークフローはモード切替のためにサブグラフ機能を使用します:
モード切替: Moveモードを有効にするには、Video Sampling and output(Subgraph)
ノードからbackground_video
およびcharacter_mask
入力を切断します。
Wan2.2 Animate ComfyUI-WanVideoWrapper ワークフロー
[更新予定]