Полное руководство по рабочим процессам Qwen-Image ComfyUI: нативный, GGUF, Nunchaku

Qwen-Image - это базовая модель генерации изображений, разработанная командой Tongyi Lab Alibaba, использующая архитектуру MMDiT (мультимодальный диффузионный трансформер) с 20 миллиардами параметров, опубликованная с открытым исходным кодом по лицензии Apache 2.0. Модель демонстрирует уникальные технические преимущества в области генерации изображений, особенно выделяясь в рендеринге текста и редактировании изображений.

Основные характеристики:

• Возможность рендеринга многоязычного текста: модель может точно генерировать изображения, содержащие английский, китайский, корейский, японский и другие языки, с четким и читаемым текстом, который гармонирует со стилем изображения
• Поддержка богатых художественных стилей: от реалистичных стилей до художественного творчества, от аниме-стилей до современного дизайна, модель может гибко переключаться между различными визуальными стилями в зависимости от подсказок
• Точная функция редактирования изображений: поддерживает локальные изменения, преобразования стиля и добавление контента к существующим изображениям, сохраняя общую визуальную согласованность

Связанные ресурсы:

• Адрес проекта на GitHub
• Страница модели на Hugging Face
• Репозиторий моделей ModelScope

Руководство по нативному рабочему процессу Qwen-Image ComfyUI

В рабочем процессе, приложенном к этому документу, используются три различных модели:

1. Оригинальная модель Qwen-Image fp8_e4m3fn
2. Ускоренная версия за 8 шагов: оригинальная модель Qwen-Image fp8_e4m3fn с использованием LoRA lightx2v за 8 шагов
3. Дистиллированная версия: дистиллированная модель Qwen-Image fp8_e4m3fn

Справка по использованию VRAM GPU: RTX4090D 24GB

1. Файл рабочего процесса

После обновления ComfyUI вы можете найти файл рабочего процесса в шаблонах или перетащить рабочий процесс ниже в ComfyUI для загрузки

Дистиллированная версия

2. Скачивание модели

Версии, которые вы можете найти в репозитории ComfyOrg

• Qwen-Image_bf16 (40,9 ГБ)
• Qwen-Image_fp8 (20,4 ГБ)
• Дистиллированная версия (неофициальная, только 15 шагов)

Все модели можно найти на Huggingface или ModelScope

Модель диффузии

• qwen_image_fp8_e4m3fn.safetensors

Qwen_image_distill

• qwen_image_distill_full_fp8_e4m3fn.safetensors
• qwen_image_distill_full_bf16.safetensors

LoRA

• Qwen-Image-Lightning-8steps-V1.0.safetensors

Текстовый энкодер

• qwen_2.5_vl_7b_fp8_scaled.safetensors

VAE

• qwen_image_vae.safetensors

Расположение хранения моделей

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── qwen_image_fp8_e4m3fn.safetensors
│   │   └── qwen_image_distill_full_fp8_e4m3fn.safetensors ## Дистиллированная версия
│   ├── 📂 loras/
│   │   └── Qwen-Image-Lightning-8steps-V1.0.safetensors   ## Модель LoRA ускорения за 8 шагов
│   ├── 📂 vae/
│   │   └── qwen_image_vae.safetensors
│   └── 📂 text_encoders/
│       └── qwen_2.5_vl_7b_fp8_scaled.safetensors

3. Пошаговое выполнение рабочего процесса

1. Убедитесь, что узел Load Diffusion Model загружает qwen_image_fp8_e4m3fn.safetensors
2. Убедитесь, что узел Load CLIP загружает qwen_2.5_vl_7b_fp8_scaled.safetensors
3. Убедитесь, что узел Load VAE загружает qwen_image_vae.safetensors
4. Убедитесь, что размеры изображения установлены в узле EmptySD3LatentImage
5. Установите подсказки в узле CLIP Text Encoder; на данный момент протестирована поддержка как минимум следующих языков: английский, китайский, корейский, японский, итальянский и т.д.
6. Чтобы включить LoRA ускорения lightx2v за 8 шагов, выберите его и используйте Ctrl + B для включения узла, а также измените настройки Ksampler в соответствии с параметрами в позиции 8
7. Нажмите кнопку Queue или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы запустить рабочий процесс
8. Параметры настройки KSampler, соответствующие различным версиям моделей и рабочих процессов

Рабочий процесс Qwen-Image версии GGUF ComfyUI

Версия GGUF более дружелюбна для пользователей с низким объемом VRAM, и в некоторых конфигурациях весов вам потребуется около 8 ГБ VRAM для запуска Qwen-Image

Справка по использованию VRAM:

Адрес модели: Qwen-Image-gguf

1. Обновление или установка пользовательских узлов

Для использования версии GGUF необходимо установить или обновить плагин ComfyUI-GGUF

Пожалуйста, обратитесь к Как установить пользовательские узлы ComfyUI или выполните поиск и установку через Manager

2. Скачивание рабочего процесса

3. Скачивание модели

Версия GGUF использует только модель диффузии, отличную от других

Пожалуйста, посетите https://huggingface.co/city96/Qwen-Image-gguf, чтобы скачать любой вес; как правило, больший размер файла означает лучшее качество, но также требует больше VRAM. В этом руководстве я буду использовать следующую версию:

• qwen-image-Q4_K_S.gguf

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── qwen-image-Q4_K_S.gguf # Или любую другую версию, которую вы выберете

3. Пошаговое выполнение рабочего процесса

1. Убедитесь, что узел Unet Loader(GGUF) загружает qwen-image-Q4_K_S.gguf или любую другую версию, которую вы скачали
   • Убедитесь, что ComfyUI-GGUF установлен и обновлен
2. Для LightX2V 8Steps LoRA по умолчанию не включено, вы можете выбрать его и использовать Ctrl+B для включения узла
3. Если LoRA за 8 шагов не включено, количество шагов по умолчанию равно 20; если вы включите LoRA за 8 шагов, установите его на 8
4. Здесь приведена справка по установке соответствующего количества шагов
5. Нажмите кнопку Queue или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы запустить рабочий процесс

Рабочий процесс версии Nunchaku Qwen-Image

Адрес модели: nunchaku-qwen-image Адрес пользовательского узла: https://github.com/nunchaku-tech/ComfyUI-nunchaku