Wan2.2 Animate представляет собой прорыв в области анимации персонажей на основе ИИ, предлагающий комплексное решение для замены персонажей и передачи движений в видеоконтенте.

Эта передовая платформа позволяет пользователям без усилий анимировать статические изображения персонажей, используя видео в качестве эталона, с захватом сложных выражений лица и движений тела с замечательной точностью. Кроме того, она может заменять существующих персонажей в видео, сохраняя при этом оригинальный контекст окружающей среды и условия освещения.

Ключевые возможности

• Двухрежимная система работы: плавное переключение между функциями анимации персонажей и замены видео
• Контроль движений на основе скелета: использует продвинутую оценку позы для точного воспроизведения движений
• Точность выражений: сохраняет тонкие выражения лица и микродвижения из исходного материала
• Соответствие окружающей среде: сохраняет оригинальное освещение и цветокоррекцию видео для естественной интеграции
• Поддержка расширенного видео: итеративная обработка обеспечивает плавную непрерывность движений в более длинных последовательностях

О рабочем процессе Wan2.2 Animate

В этом руководстве мы включим два рабочих процесса:

1. Официальная нативная версия ComfyUI (Основные узлы)
2. Версия Kijai ComfyUI-WanVideoWrapper [Подлежит обновлению]

Повторная трансляция живого выступления Comfy Org

Нативный рабочий процесс Wan2.2 Animate ComfyUI (основные узлы)

1. Настройка рабочего процесса

Начните с загрузки файла рабочего процесса и импорта его в ComfyUI.

Требуемые входные материалы:

Эталонное изображение:

Входное видео

2. Загрузка моделей

Модели диффузии

• Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors - Оптимизированная версия из репозитория Kijai
• wan2.2_animate_14B_bf16.safetensors - Оригинальные веса модели

Модели CLIP Vision

• clip_vision_h.safetensors

Модели LoRA

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors - 4-шаговый ускоряющий LoRA

Модели VAE

• wan_2.1_vae.safetensors

Текстовые кодировщики

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors
│   │   └─── wan2.2_animate_14B_bf16.safetensors
│   ├───📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 clip_visions/ 
│   │   └─── clip_vision_h.safetensors
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. Установка пользовательских узлов

Для полного опыта работы с рабочим процессом установите следующие пользовательские узлы с помощью ComfyUI-Manager или вручную:

Необходимые расширения:

• ComfyUI-KJNodes
• ComfyUI-comfyui_controlnet_aux

Для получения руководства по установке см. Как установить пользовательские узлы

4. Настройка рабочего процесса

Wan2.2 Animate работает в двух разных режимах:

• Режим Mix: замена персонажей в существующем видеоконтенте
• Режим Move: передача движений для анимации статических изображений персонажей

4.1 Работа в режиме Mix

Руководящие принципы настройки:

0. Первоначальное тестирование: используйте меньшие размеры видео при первом запуске для проверки совместимости с VRAM. Убедитесь, что размеры видео кратны 16 из-за ограничений WanAnimateToVideo.

1. Проверка модели: подтвердите, что все необходимые модели загружены правильно

2. Настройка подсказки: измените текстовые подсказки в соответствии с вашим конкретным вариантом использования

3. Эталонное изображение: загрузите изображение целевого персонажа

4. Обработка входного видео: сначала используйте предоставленные образцы видео. Оценщик DWPose из comfyui_controlnet_aux автоматически обрабатывает входные видео в последовательности управления позами и лицом

5. Настройка редактора точек: Редактор точек из KJNodes требует начальной загрузки кадра. Запустите рабочий процесс один раз или вручную загрузите первый кадр

6. Расширение видео: группа “Расширение видео” увеличивает длину вывода

   • Каждое расширение добавляет 77 кадров (около 4,8 секунд)
   • Пропустить для видео менее 5 секунд
   • Для более длительных расширений дублируйте группу и последовательно соедините выходы batch_images и video_frame_offset

7. Выполнение: нажмите Запустить или используйте Ctrl(Cmd) + Enter, чтобы начать генерацию

4.2 Настройка режима Move

Рабочий процесс использует функцию подграфа для переключения режимов:

Переключение режимов: для активации режима Move отключите входы background_video и character_mask от узла Sampling and output(Subgraph).

Рабочий процесс Wan2.2 Animate ComfyUI-WanVideoWrapper

[Подлежит обновлению]