Начало работы с LoRA в ComfyUI — от базового использования до нескольких моделей
Что такое LoRA? В генерации изображений с помощью искусственного интеллекта LoRA — это небольшой и гибкий модуль, который можно представить как «фильтр», придающий вашим изображениям определённый стиль, содержание и детали:
- Применение определённых художественных стилей (например, тушь)
- Добавление характеристик конкретных персонажей (например, героев игр)
- Добавление определённых деталей к изображению Всё это можно реализовать с помощью LoRA.
В этом руководстве представлен базовый способ использования нескольких моделей LoRA в ComfyUI на примере модели SD1.5. Основной узел — это LoRA Loader, который отвечает за загрузку моделей LoRA.
Подготовка
Шаг 1: Скачайте модели, используемые в этом руководстве
Если у вас уже есть подходящие модели на компьютере, этот шаг можно пропустить. Если нет — скачайте модели, которые используются в этом руководстве:
| Тип модели | Название модели | Ссылка для скачивания |
|---|---|---|
| SD1.5 Model | DreamShaper v8 | Скачать |
| LoRA Model | MoXin | Скачать |
| LoRA Model | QingYi | Скачать |
В папке ComfyUI на вашем компьютере убедитесь, что структура папок выглядит следующим образом:
📁ComfyUI
├── 📁models
│ ├── 📁checkpoints
│ │ └── 📁SD1.5 // Store DreamShaper v8
│ └── 📁loras
│ └── 📁SD1.5 // Store LoRA models- Поместите модель DreamShaper в папку
models/checkpoints/SD1.5 - Поместите файлы LoRA MoXin и QingYi в папку
models/loras/SD1.5
Причина использования подпапки SD1.5 в соответствующей директории моделей заключается в том, что сейчас существует множество различных моделей, таких как SD1.5, SD3.0, SDXL, FLUX и другие, и их ресурсы моделей могут быть несовместимы между собой. Поэтому для удобства различия используются отдельные подпапки. Вы также можете переименовать файлы моделей, добавив к названию краткое описание, чтобы в будущем было проще ориентироваться, если моделей станет много.
Шаг 2: Перезапустите ComfyUI
После установки перезапустите или обновите ComfyUI, чтобы программа распознала новые модели.
Шаг 3: Скачайте и импортируйте файл workflow (рабочего процесса) в ComfyUI
Описание файла workflow
В этом файле представлены три варианта workflow (рабочего процесса):
- Базовая модель
- Базовая модель + MoXin LoRA (вес 1.0)
- Базовая модель + MoXin LoRA (вес 0.2) + QingYi LoRA (вес 0.1)
Во всех вариантах используется одинаковое значение seed, чтобы можно было сравнить результат до и после применения LoRA. Вы можете попробовать изменить веса, чтобы увидеть разницу в эффекте.
Связанные материалы
Документация по узлу ComfyUI LoRA Loader
Как установить модели LoRA в ComfyUI