Полное руководство по использованию рабочих процессов Wan2.2 ComfyUI, официальные и_community версии (Kijai, GGUF)

Самый полный учебник по видео Wan2.2 ComfyUI: включает официальную нативную версию, Kijai WanVideoWrapper, квантованную версию GGUF, Lightx2v быструю генерацию и другие версии рабочих процессов

Wan2.2

Обзор учебника

Этот учебник всесторонне расскажет о различных методах реализации и использования модели генерации видео Wan2.2 в ComfyUI. Wan2.2 - это новое поколение мультимодальной модели генерации, выпущенное Alibaba Cloud, использующее инновационную архитектуру MoE (Mixture of Experts) с ключевыми характеристиками, такими как эстетический контроль на уровне кино, генерация крупномасштабных сложных движений и точное соблюдение семантики.

Версии и содержание, охватываемые в этом учебнике

Завершенные версии:

  • ✅ Официальная нативная версия ComfyUI - Полный рабочий процесс, предоставленный официально ComfyOrg
  • ✅ Гибридная версия Wan2.2 5B - Легковесная модель, поддерживающая текст-в-видео и изображение-в-видео
  • ✅ Версия текст-в-видео Wan2.2 14B - Высококачественная генерация видео из текста
  • ✅ Версия изображение-в-видео Wan2.2 14B - Статическое изображение в динамическое видео
  • ✅ Генерация видео первого и последнего кадра Wan2.2 14B - Генерация видео на основе начального и конечного кадров

Готовящиеся версии:

  • 🔄 Версия Kijai WanVideoWrapper
  • 🔄 Квантованная версия GGUF - Оптимизированная версия для устройств с низкой конфигурацией
  • 🔄 Lightx2v 4steps LoRA - Решение для оптимизации быстрой генерации

О модели генерации видео Wan2.2

Wan2.2 использует инновационную архитектуру MoE (Mixture of Experts), состоящую из моделей экспертов с высоким уровнем шума и моделей экспертов с низким уровнем шума, которые могут делить модели экспертов в соответствии с шагами удаления шума для генерации видео контента более высокого качества.

Основные преимущества:

  • Эстетический контроль на уровне кино: Профессиональный язык объектива, поддержка многомерного визуального контроля освещения, цвета, композиции и т.д.
  • Крупномасштабные сложные движения: Плавное воспроизведение различных сложных движений, усиление управляемости и естественности движения
  • Точное соблюдение семантики: Понимание сложных сцен, генерация нескольких объектов, лучшее восстановление творческих намерений
  • Эффективная технология сжатия: VAE с высокой степенью сжатия версии 5B, оптимизация памяти, поддержка гибридного обучения

Серия моделей Wan2.2 основана на лицензии Apache2.0 с открытым исходным кодом, поддерживающей коммерческое использование. Лицензия Apache2.0 позволяет вам свободно использовать, изменять и распространять эти модели, включая коммерческие цели, при условии сохранения оригинального уведомления об авторских правах и текста лицензии.

Обзор версий моделей с открытым исходным кодом Wan2.2

Тип моделиНазвание моделиПараметрыОсновная функцияРепозиторий модели
Гибридная модельWan2.2-TI2V-5B5BПоддерживает гибридную версию текст-в-видео и изображение-в-видео, одна модель удовлетворяет двум основным требованиям задач🤗 Wan2.2-TI2V-5B
Изображение-в-видеоWan2.2-I2V-A14B14BПреобразует статические изображения в динамические видео, сохраняя согласованность контента и плавные динамические процессы🤗 Wan2.2-I2V-A14B
Текст-в-видеоWan2.2-T2V-A14B14BГенерирует высококачественные видео из текстовых описаний, с эстетическим контролем на уровне кино и точным соблюдением семантики🤗 Wan2.2-T2V-A14B

Руководство по подсказкам Wan2.2 - Подробное руководство по написанию подсказок, предоставленное Wan

Официальные ресурсы ComfyUI

Повторная трансляция официального прямого эфира ComfyOrg

YouTube ComfyOrg содержит подробные объяснения использования Wan2.2 в ComfyUI:

Повторная трансляция прямого эфира ComfyUI Wan2.2
ComfyUI Wan2.2 углубленно
ComfyUI Wan2.2 углубленно #2

Руководство по использованию рабочего процесса официальной нативной версии Wan2.2 ComfyUI

Описание версии

Официальная нативная версия ComfyUI предоставлена командой ComfyOrg, используя переупакованные файлы модели 🤗 Comfy-Org/Wan_2.2_ComfyUI_Repackaged для обеспечения наилучшей совместимости с ComfyUI.

Шаблон Wan2.2

1. Рабочий процесс гибридной версии Wan2.2 TI2V 5B

Версия Wan2.2 5B в сочетании с нативной функцией выгрузки ComfyUI может хорошо адаптироваться к 8 ГБ видеопамяти, что является идеальным выбором для начинающих пользователей.

Метод получения рабочего процесса

Обновите ComfyUI до последней версии и найдите "Wan2.2 5B video generation" через меню Рабочий процесс -> Просмотр шаблонов -> Видео, чтобы загрузить рабочий процесс

<video controls className="w-full aspect-video" src="https://raw.githubusercontent.com/Comfy-Org/example_workflows/refs/heads/main/video/wan/2.2/wan_2_2_5B_t2v.mp4"

<a className="prose" target='_blank' href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/refs/heads/main/templates/video_wan2_2_5B_ti2v.json" style={{ display: 'inline-block', backgroundColor: '#0078D6', color: '#ffffff', padding: '10px 20px', borderRadius: '8px', borderColor: "transparent", textDecoration: 'none', fontWeight: 'bold'}}> <p className="prose" style={{ margin: 0, fontSize: "0.8rem" }}>Скачать рабочий процесс в формате JSON

Скачивание файлов модели

Модель диффузии

VAE

Текстовый энкодер

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   └───wan2.2_ti2v_5B_fp16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan2.2_vae.safetensors

Подробные шаги операции

Диаграмма шагов
  1. Убедитесь, что узел Load Diffusion Model загружает модель wan2.2_ti2v_5B_fp16.safetensors
  2. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
  3. Убедитесь, что узел Load VAE загружает модель wan2.2_vae.safetensors
  4. (Необязательно) Если вам нужно выполнить изображение-в-видео, вы можете использовать сочетание клавиш Ctrl+B, чтобы включить узел Load image для загрузки изображений
  5. (Необязательно) В Wan22ImageToVideoLatent вы можете настроить параметры размера и настройку общего количества кадров видео length
  6. (Необязательно) Если вам нужно изменить подсказки (позитивные и негативные), измените их в узле CLIP Text Encoder под номером 5
  7. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

2. Рабочий процесс текст-в-видео Wan2.2 14B T2V

Метод получения рабочего процесса

Обновите ComfyUI до последней версии и найдите "Wan2.2 14B T2V" через меню Рабочий процесс -> Просмотр шаблонов -> Видео

Или обновите ComfyUI до последней версии, затем скачайте рабочий процесс ниже и перетащите его в ComfyUI, чтобы загрузить рабочий процесс

<video controls className="w-full aspect-video" src="https://raw.githubusercontent.com/Comfy-Org/example_workflows/refs/heads/main/video/wan/2.2/wan_2_2_14B_t2v.mp4"

Скачивание файлов модели

Модель диффузии

VAE

Текстовый энкодер

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

Подробные шаги операции

Диаграмма шагов
  1. Убедитесь, что первый узел Load Diffusion Model загружает модель wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
  2. Убедитесь, что второй узел Load Diffusion Model загружает модель wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
  3. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
  4. Убедитесь, что узел Load VAE загружает модель wan_2.1_vae.safetensors
  5. (Необязательно) В EmptyHunyuanLatentVideo вы можете настроить параметры размера и настройку общего количества кадров видео length
  6. Если вам нужно изменить подсказки (позитивные и негативные), измените их в узле CLIP Text Encoder под номером 6
  7. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

3. Рабочий процесс изображение-в-видео Wan2.2 14B I2V

Метод получения рабочего процесса

Обновите ComfyUI до последней версии и найдите "Wan2.2 14B I2V" через меню Рабочий процесс -> Просмотр шаблонов -> Видео, чтобы загрузить рабочий процесс

Или обновите ComfyUI до последней версии, затем скачайте рабочий процесс ниже и перетащите его в ComfyUI, чтобы загрузить рабочий процесс

<video controls className="w-full aspect-video" src="https://raw.githubusercontent.com/Comfy-Org/example_workflows/refs/heads/main/video/wan/2.2/wan_2_2_14B_i2v.mp4"

Вы можете использовать следующее изображение в качестве входных данных Входное изображение

Скачивание файлов модели

Модель диффузии

VAE

Текстовый энкодер

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_i2v_low_noise_14B_fp16.safetensors
│   │   └─── wan2.2_i2v_high_noise_14B_fp16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

Подробные шаги операции

Диаграмма шагов
  1. Убедитесь, что первый узел Load Diffusion Model загружает модель wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
  2. Убедитесь, что второй узел Load Diffusion Model загружает модель wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
  3. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
  4. Убедитесь, что узел Load VAE загружает модель wan_2.1_vae.safetensors
  5. Загрузите изображение как начальный кадр в узле Load Image
  6. Если вам нужно изменить подсказки (позитивные и негативные), измените их в узле CLIP Text Encoder под номером 6
  7. (Необязательно) В EmptyHunyuanLatentVideo вы можете настроить параметры размера и настройку общего количества кадров видео length
  8. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

4. Рабочий процесс генерации видео первого и последнего кадра Wan2.2 14B FLF2V

Рабочий процесс первого и последнего кадра использует точно такое же расположение модели, что и раздел I2V

Получение рабочего процесса и материалов

Скачайте видео или рабочий процесс в формате JSON ниже и откройте его в ComfyUI <video controls className="w-full aspect-video" src="https://raw.githubusercontent.com/Comfy-Org/example_workflows/refs/heads/main/video/wan/2.2/wan22_14B_flf2v.mp4"

Скачайте материалы ниже в качестве входных данных

Входной материал Входной материал

Подробные шаги операции

Диаграмма шагов
  1. Загрузите изображение как начальный кадр в первом узле Load Image
  2. Загрузите изображение как начальный кадр во втором узле Load Image
  3. Измените настройки размера на WanFirstLastFrameToVideo
    • Рабочий процесс по умолчанию устанавливает относительно небольшой размер, чтобы предотвратить чрезмерное потребление ресурсов у пользователей с низкой видеопамятью
    • Если у вас достаточно видеопамяти, вы можете попробовать размер около 720P
  4. Напишите подходящие подсказки в соответствии с вашими первым и последним кадрами
  5. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы выполнить генерацию видео

Рабочий процесс ComfyUI Wan2.2 Kijai WanVideoWrapper

Этот контент готовится и будет обновлен в ближайшее время.

Эта часть учебника расскажет о удобном методе использования Kijai/ComfyUI-WanVideoWrapper.

Связанный репозиторий модели: https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled

Рабочий процесс ComfyUI квантованной версии GGUF Wan2.2

Этот контент готовится и будет обновлен в ближайшее время.

Версия GGUF подходит для пользователей с ограниченной видеопамятью, предоставляя следующие ресурсы:

Связанные пользовательские узлы: City96/ComfyUI-GGUF

Инструкции по использованию Lightx2v 4steps LoRA

Этот контент готовится и будет обновлен в ближайшее время.

Lightx2v предоставляет решение для оптимизации быстрой генерации: