Полное руководство по использованию рабочих процессов Wan2.2 Fun InP ComfyUI, официальные и_community версии (Kijai, GGUF)

Обзор учебника

Этот учебник всесторонне расскажет о различных методах реализации и использования модели генерации видео первого и последнего кадра Wan2.2 Fun InP в ComfyUI. Wan2.2 Fun InP - это профессиональная модель генерации видео с контролем первого и последнего кадра, выпущенная Alibaba Cloud, поддерживающая ввод изображений первого и последнего кадра для генерации промежуточных переходных видео, приносящая создателям более сильный творческий контроль.

Версии и содержание, охватываемые в этом учебнике

Завершенные версии:

• ✅ Официальная нативная версия ComfyUI - Полный рабочий процесс, предоставленный официально ComfyOrg
• ✅ Версия первого и последнего кадра Wan2.2 Fun InP 14B - Высококачественная генерация видео с контролем первого и последнего кадра

Готовящиеся версии:

• 🔄 Версия Kijai WanVideoWrapper - Удобная оболочка, разработанная сообществом
• 🔄 Квантованная версия GGUF - Оптимизированная версия для устройств с низкой конфигурацией

Технические особенности модели

Wan2.2 Fun InP основана на архитектуре Wan2.2 и специально оптимизирована для генерации видео с контролем первого и последнего кадра, с следующими ключевыми особенностями:

Основные преимущества:

• Контроль первого и последнего кадра: Поддерживает ввод изображений первого и последнего кадра для генерации промежуточных переходных видео, повышая согласованность видео и творческую свободу
• Генерация видео высокого качества: Основана на архитектуре Wan2.2, создавая видео кинематографического качества
• Поддержка нескольких разрешений: Поддерживает генерацию видео с разрешениями 512×512, 768×768, 1024×1024, адаптируясь к различным требованиям сценариев

Серия моделей Wan2.2 Fun InP основана на лицензии с открытым исходным кодом Apache2.0, поддерживающей коммерческое использование. Лицензия Apache2.0 позволяет вам свободно использовать, изменять и распространять эти модели, включая коммерческие цели, при условии сохранения оригинального уведомления об авторских правах и текста лицензии.

Обзор версий моделей с открытым исходным кодом Wan2.2 Fun InP

Официальные учебные ресурсы

Связанные репозитории кода

• Репозиторий GitHub VideoX-Fun - Официальный полный код реализации
• Официальная документация Wan2.2 Fun - Подробное описание модели и руководство по использованию

Руководство по использованию рабочего процесса официальной нативной версии Wan2.2 Fun InP ComfyUI

Описание версии

Официальная нативная версия ComfyUI предоставлена командой ComfyOrg, используя переупакованные файлы модели для обеспечения оптимальной совместимости с ComfyUI. Эта версия поддерживает как стандартный режим, так и режим ускорения Lightx2v LoRA в 4 шага.

Тест сравнения производительности

Ниже приведены результаты тестирования с использованием GPU RTX4090D 24GB VRAM для разрешения 640*640 и длины 81 кадр:

Поскольку использование ускоренного LoRA обеспечивает значительное улучшение скорости, хотя есть некоторая потеря в динамике, оно более дружелюбно для пользователей с низкой VRAM. Поэтому в двух предоставленных рабочих процессах версия ускоренного LoRA включена по умолчанию. Если вам нужно включить другой рабочий процесс, выберите его и используйте Ctrl+B для включения.

1. Рабочий процесс генерации видео первого и последнего кадра Wan2.2 Fun InP ComfyUI

Метод получения рабочего процесса

Используйте материалы ниже в качестве первого и последнего кадра

Скачивание файлов модели

Модель диффузии

• wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
• wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors

Lightning LoRA (Необязательно, для ускорения)

• wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
• wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors

VAE

• wan_2.1_vae.safetensors

Текстовый энкодер

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

Подробные шаги операции

1. Загрузка модели высокий уровень шума и LoRA

• Убедитесь, что узел Load Diffusion Model загружает модель wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
• Убедитесь, что узел LoraLoaderModelOnly загружает wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors

2. Загрузка модели низкий уровень шума и LoRA

• Убедитесь, что узел Load Diffusion Model загружает модель wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
• Убедитесь, что узел LoraLoaderModelOnly загружает wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors

3. Убедитесь, что узел Load CLIP загружает модель umt5_xxl_fp8_e4m3fn_scaled.safetensors
4. Убедитесь, что узел Load VAE загружает модель wan_2.1_vae.safetensors
5. Загрузка изображений первого и последнего кадра, загрузите материалы изображений первого и последнего кадра соответственно
6. Введите подсказки в группе Prompt
7. Настройка размера и длины видео узла WanFunInpaintToVideo
   • Настройте размеры width и height, значение по умолчанию 640, мы установили меньший размер, и вы можете изменить его по необходимости
   • Настройте length, это общее количество кадров видео. Текущий fps рабочего процесса составляет 16. Если вам нужно сгенерировать 5-секундное видео, вы должны установить 5*16 = 80
8. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter для выполнения генерации видео

Рабочий процесс ComfyUI Wan2.2 Fun InP Kijai WanVideoWrapper

Эта часть учебника расскажет об удобном методе использования Kijai/ComfyUI-WanVideoWrapper.

Связанный репозиторий модели: https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled

Рабочий процесс ComfyUI квантованной версии GGUF Wan2.2 Fun InP

Версия GGUF подходит для пользователей с ограниченной VRAM, предоставляя следующие ресурсы:

QuantStack/Wan2.2-Fun-A14B-InP-GGUF

Связанные пользовательские узлы: City96/ComfyUI-GGUF