LoRA дистилляции Krea 2 Turbo: сокращение с 8 до 4 шагов
LoRA дистилляции сокращает Krea 2 Turbo с 8 до 4 шагов с текстурой на уровне учителя. Обычные веса LoRA, без пользовательских нод.
Почему LoRA и почему это было сложно
Дистилляция по шагам обычно требует изменений, сосредоточенных в пути временных шагов: анализ собственного дельта-изменения Krea Raw-to-Turbo показывает, что time_embed.linear_2 меняется примерно в 5.5 раз больше, чем любые линейные блоки. LoRA, которая заморозила бы путь временных шагов, удержала бы именно те веса, которые наиболее нужны задаче, поэтому эта LoRA обучает также путь временных шагов, оставаясь при этом обычной LoRA ранга 64.
Текущий checkpoint (chk00042000) добавляет два улучшения по сравнению с более ранними:
- Текстура на уровне учителя: энергия мелких деталей составляет 1.00x от учителя на 8 шагов при 1280x1280 и 1.02x при 1440x1440, сопоставлено по полосам по всему частотному спектру (предыдущий checkpoint показывал 0.88x и 0.82x).
- Критик, учитывающий промпт: обучение оценивает изображения по их промптам, так что соблюдение требований обеспечивается напрямую, а не наследуется.
| Turbo 8 шагов | Turbo 4 шага: детали страдают | 4 шага с LoRA: текстура восстановлена |
Использование в ComfyUI
Репозиторий поставляется с файлами, суффиксом которых является _comfyui, рядом с весами diffusers:
krea2_turbo_4step_rank_64_lora_latest_comfyui.safetensorsдля обычного использования (скользящий указатель на новейший принятый checkpoint)krea2_turbo_4step_rank_64_lora_chk00042000_comfyui.safetensorsдля закрепления этого конкретного checkpoint
Загрузите его поверх Krea 2 Turbo, запустите 4 шага вместо 8 и держите направление на 0.0. Это готовая простая LoRA: нет пользовательских нод, нет исправленного СЭМПЛЕРА, нет кода. Двенадцать обученных разрешений от 512x512 до 1440x1440 опубликованы с проверками для каждого разрешения в репозитории.
Прирост даже достигает режима ПРЕДПРОСМОТРА на 2 шага за пределами спецификации, где пустые средние частоты старого checkpoint заметно заполняются.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.