AI Toolkit добавляет обучение Krea 2 по референсным изображениям: обучайте концепции редактирования так же быстро, как и выделенные модели редактирования
Ostris добавил в AI Toolkit поддержку обучения моделей Krea 2 с референсными изображениями, что позволяет обучать LoRA для редактирования, осваивая такие концепции, как «сделать циклопом», всего за 1750 шагов.
4 июля 2026 года Ostris добавил в AI Toolkit поддержку обучения Krea 2 с референсными изображениями. Это позволяет напрямую обучать LoRA для редактирования на Krea 2 Turbo с использованием адаптера обучения, и, по тестам Ostris, такие LoRA осваивают концепции редактирования так же быстро, как и выделенные модели редактирования.
Кратко — AI Toolkit теперь поддерживает обучение по референсным изображениям для Krea 2 Turbo через адаптер обучения на HuggingFace. LoRA для редактирования обучаются всего за 1750 шагов. Сопутствующий пользовательский узел для инференса в ComfyUI отвечает за кодирование референсного изображения и патчинг модели. Та же архитектура работает и на базовой модели Krea 2 (Raw).
Как это работает
Внутри конвейер обучения использует кодировщик изображений Qwen3-VL для кодирования референсных изображений вместе с промптом. Закодированный референс затем подаётся в трансформер Krea 2 на временном шаге 0 вместе с чистыми обучающими изображениями — тот же подход с референсным кондиционированием, который используется в специализированных моделях редактирования.
| Компонент | Описание |
|---|---|
| Адаптер обучения | ostris/krea2_turbo_training_adapter на HuggingFace |
| Движок обучения | AI Toolkit — укажите arch: krea2 с model_kwargs.edit: true в конфигурации |
| Кодирование референса | Кодировщик изображений Qwen3-VL, масштабированный до 384×384 пикселей суммарно |
| Шагов до освоения | ~1750 шагов (протестировано на концепции «сделать циклопом») |
Инференс в ComfyUI: требуется пользовательский узел
Для инференса в ComfyUI вам понадобится пакет пользовательских узлов ComfyUI-Krea2-Ostris-Edit. Он предоставляет два узла:
Text Encode Krea 2 Ostris Edit — Кодирует промпт вместе с до 3 референсными изображениями через текстовый энкодер Qwen3-VL от Krea 2, используя тот же шаблон-заполнитель для визуальных данных Picture N:, что и при обучении. Если подключён VAE, он также VAE-кодирует референсные изображения и присоединяет их как референсные латентные представления.
Krea 2 Ostris Edit Model Patch — Патчит модель Krea 2 так, чтобы она использовала референсные латентные представления из кондиционирования. Каждый референс добавляется к последовательности токенов изображения и кондиционируется на временном шаге 0 (метод index_timestep_zero). Если референсные латентные представления отсутствуют, модель ведёт себя идентично обычной Krea 2.
Установка
cd ComfyUI/custom_nodes
git clone https://github.com/ostris/ComfyUI-Krea2-Ostris-Edit.gitДополнительные зависимости не требуются. Узлы появляются в категории ostris/krea2.
Пример рабочего процесса
Load Diffusion Model (krea2) → Load LoRA → Krea 2 Ostris Edit Model Patch → KSampler
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (промпт + изображения + VAE) → положительное
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (негативный промпт) → отрицательноеНастройка обучения
Чтобы обучить LoRA Krea 2 для редактирования с помощью AI Toolkit:
- Укажите
arch: krea2иmodel_kwargs.edit: trueв конфигурации обучения. - Используйте парные обучающие данные: входные изображения + отредактированные целевые изображения + текстовые описания.
- Адаптер автоматически загружается с HuggingFace.
- Обучение выполняется на потребительских GPU со стандартными требованиями к VRAM.
Ostris продемонстрировал это на тестовой LoRA «сделать этого человека циклопом», обученной на Krea 2 Turbo — модель освоила концепцию редактирования за 1750 шагов.
Совместимость с базовой моделью
Те же веса референсных изображений работают и на базовой модели Krea 2 (Raw). Как пояснил Ostris в ответ на вопросы сообщества:
«Да, веса те же. Я просто пропускаю референсные изображения через кодировщик изображений Qwen-VL, кодирую их вместе с промптом, а затем подаю чистые изображения на временном шаге 0 в трансформер».