Полное руководство по использованию рабочих процессов Wan2.2 ComfyUI, официальные и_community версии (Kijai, GGUF)

Обзор учебника

Этот учебник всесторонне расскажет о различных методах реализации и использования модели генерации видео Wan2.2 в ComfyUI. Wan2.2 - это новое поколение мультимодальной модели генерации, выпущенное Alibaba Cloud, использующее инновационную архитектуру MoE (Mixture of Experts) с ключевыми характеристиками, такими как эстетический контроль на уровне кино, генерация крупномасштабных сложных движений и точное соблюдение семантики.

Версии и содержание, охватываемые в этом учебнике

Завершенные версии:

• ✅ Официальная нативная версия ComfyUI - Полный рабочий процесс, предоставленный официально ComfyOrg
• ✅ Гибридная версия Wan2.2 5B - Легковесная модель, поддерживающая текст-в-видео и изображение-в-видео
• ✅ Версия текст-в-видео Wan2.2 14B - Высококачественная генерация видео из текста
• ✅ Версия изображение-в-видео Wan2.2 14B - Статическое изображение в динамическое видео
• ✅ Генерация видео первого и последнего кадра Wan2.2 14B - Генерация видео на основе начального и конечного кадров

Готовящиеся версии:

• 🔄 Версия Kijai WanVideoWrapper
• 🔄 Квантованная версия GGUF - Оптимизированная версия для устройств с низкой конфигурацией
• 🔄 Lightx2v 4steps LoRA - Решение для оптимизации быстрой генерации

О модели генерации видео Wan2.2

Wan2.2 использует инновационную архитектуру MoE (Mixture of Experts), состоящую из моделей экспертов с высоким уровнем шума и моделей экспертов с низким уровнем шума, которые могут делить модели экспертов в соответствии с шагами удаления шума для генерации видео контента более высокого качества.

Основные преимущества:

• Эстетический контроль на уровне кино: Профессиональный язык объектива, поддержка многомерного визуального контроля освещения, цвета, композиции и т.д.
• Крупномасштабные сложные движения: Плавное воспроизведение различных сложных движений, усиление управляемости и естественности движения
• Точное соблюдение семантики: Понимание сложных сцен, генерация нескольких объектов, лучшее восстановление творческих намерений
• Эффективная технология сжатия: VAE с высокой степенью сжатия версии 5B, оптимизация памяти, поддержка гибридного обучения

Серия моделей Wan2.2 основана на лицензии Apache2.0 с открытым исходным кодом, поддерживающей коммерческое использование. Лицензия Apache2.0 позволяет вам свободно использовать, изменять и распространять эти модели, включая коммерческие цели, при условии сохранения оригинального уведомления об авторских правах и текста лицензии.

Обзор версий моделей с открытым исходным кодом Wan2.2

Руководство по подсказкам Wan2.2 - Подробное руководство по написанию подсказок, предоставленное Wan

Официальные ресурсы ComfyUI

Повторная трансляция официального прямого эфира ComfyOrg

YouTube ComfyOrg содержит подробные объяснения использования Wan2.2 в ComfyUI:

Руководство по использованию рабочего процесса официальной нативной версии Wan2.2 ComfyUI

Описание версии

Официальная нативная версия ComfyUI предоставлена командой ComfyOrg, используя переупакованные файлы модели 🤗 Comfy-Org/Wan_2.2_ComfyUI_Repackaged для обеспечения наилучшей совместимости с ComfyUI.

1. Рабочий процесс гибридной версии Wan2.2 TI2V 5B

Метод получения рабочего процесса

Обновите ComfyUI до последней версии и найдите “Wan2.2 5B video generation” через меню Рабочий процесс -> Просмотр шаблонов -> Видео, чтобы загрузить рабочий процесс

Скачивание файлов модели

Модель диффузии

• wan2.2_ti2v_5B_fp16.safetensors

VAE

• wan2.2_vae.safetensors

Текстовый энкодер

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   └───wan2.2_ti2v_5B_fp16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan2.2_vae.safetensors

Подробные шаги операции

1. Убедитесь, что узел Load Diffusion Model загружает модель wan2.2_ti2v_5B_fp16.safetensors
2. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
3. Убедитесь, что узел Load VAE загружает модель wan2.2_vae.safetensors
4. (Необязательно) Если вам нужно выполнить изображение-в-видео, вы можете использовать сочетание клавиш Ctrl+B, чтобы включить узел Load image для загрузки изображений
5. (Необязательно) В Wan22ImageToVideoLatent вы можете настроить параметры размера и настройку общего количества кадров видео length
6. (Необязательно) Если вам нужно изменить подсказки (позитивные и негативные), измените их в узле CLIP Text Encoder под номером 5
7. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

2. Рабочий процесс текст-в-видео Wan2.2 14B T2V

Метод получения рабочего процесса

Обновите ComfyUI до последней версии и найдите “Wan2.2 14B T2V” через меню Рабочий процесс -> Просмотр шаблонов -> Видео

Или обновите ComfyUI до последней версии, затем скачайте рабочий процесс ниже и перетащите его в ComfyUI, чтобы загрузить рабочий процесс

Скачивание файлов модели

Модель диффузии

• wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
• wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors

VAE

• wan_2.1_vae.safetensors

Текстовый энкодер

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

Подробные шаги операции

1. Убедитесь, что первый узел Load Diffusion Model загружает модель wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
2. Убедитесь, что второй узел Load Diffusion Model загружает модель wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
3. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
4. Убедитесь, что узел Load VAE загружает модель wan_2.1_vae.safetensors
5. (Необязательно) В EmptyHunyuanLatentVideo вы можете настроить параметры размера и настройку общего количества кадров видео length
6. Если вам нужно изменить подсказки (позитивные и негативные), измените их в узле CLIP Text Encoder под номером 6
7. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

3. Рабочий процесс изображение-в-видео Wan2.2 14B I2V

Метод получения рабочего процесса

Обновите ComfyUI до последней версии и найдите “Wan2.2 14B I2V” через меню Рабочий процесс -> Просмотр шаблонов -> Видео, чтобы загрузить рабочий процесс

Или обновите ComfyUI до последней версии, затем скачайте рабочий процесс ниже и перетащите его в ComfyUI, чтобы загрузить рабочий процесс

Вы можете использовать следующее изображение в качестве входных данных

Скачивание файлов модели

Модель диффузии

• wan2.2_i2v_high_noise_14B_fp16.safetensors
• wan2.2_i2v_low_noise_14B_fp16.safetensors

VAE

• wan_2.1_vae.safetensors

Текстовый энкодер

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_i2v_low_noise_14B_fp16.safetensors
│   │   └─── wan2.2_i2v_high_noise_14B_fp16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

Подробные шаги операции

1. Убедитесь, что первый узел Load Diffusion Model загружает модель wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
2. Убедитесь, что второй узел Load Diffusion Model загружает модель wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
3. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
4. Убедитесь, что узел Load VAE загружает модель wan_2.1_vae.safetensors
5. Загрузите изображение как начальный кадр в узле Load Image
6. Если вам нужно изменить подсказки (позитивные и негативные), измените их в узле CLIP Text Encoder под номером 6
7. (Необязательно) В EmptyHunyuanLatentVideo вы можете настроить параметры размера и настройку общего количества кадров видео length
8. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

4. Рабочий процесс генерации видео первого и последнего кадра Wan2.2 14B FLF2V

Рабочий процесс первого и последнего кадра использует точно такое же расположение модели, что и раздел I2V

Получение рабочего процесса и материалов

Скачайте видео или рабочий процесс в формате JSON ниже и откройте его в ComfyUI

Скачайте материалы ниже в качестве входных данных

Подробные шаги операции

1. Загрузите изображение как начальный кадр в первом узле Load Image
2. Загрузите изображение как начальный кадр во втором узле Load Image
3. Измените настройки размера на WanFirstLastFrameToVideo
   • Рабочий процесс по умолчанию устанавливает относительно небольшой размер, чтобы предотвратить чрезмерное потребление ресурсов у пользователей с низкой видеопамятью
   • Если у вас достаточно видеопамяти, вы можете попробовать размер около 720P
4. Напишите подходящие подсказки в соответствии с вашими первым и последним кадрами
5. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

Рабочий процесс ComfyUI Wan2.2 Kijai WanVideoWrapper

Эта часть учебника расскажет о удобном методе использования Kijai/ComfyUI-WanVideoWrapper.

Связанный репозиторий модели: https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled

Рабочий процесс ComfyUI квантованной версии GGUF Wan2.2

Версия GGUF подходит для пользователей с ограниченной видеопамятью, предоставляя следующие ресурсы:

• bullerwins/Wan2.2-I2V-A14B-GGUF/
• bullerwins/Wan2.2-T2V-A14B-GGUF
• QuantStack/Wan2.2 GGUFs

Связанные пользовательские узлы: City96/ComfyUI-GGUF

Инструкции по использованию Lightx2v 4steps LoRA

Lightx2v предоставляет решение для оптимизации быстрой генерации:

• Wan2.2-T2V-A14B-4steps-lora-rank64-V1