LoRA дистилляции Krea 2 Turbo: сокращение с 8 до 4 шагов

ComfyUI Wikinews

LoRA дистилляции сокращает Krea 2 Turbo с 8 до 4 шагов с текстурой на уровне учителя. Обычные веса LoRA, без пользовательских нод.

Krea2-Turbo-Distill-4step-LoRA (Hugging Face) от lvladikov: это LoRA для дистилляции по шагам, которое снижает минимальное количество шагов Krea 2 Turbo с 8 до 4, примерно в 1.6 раза быстрее в целом (54.5s против 88.7s при 1024x1024) при качестве текстуры, соответствующем учителю на 8 шагов.

Почему LoRA и почему это было сложно

Дистилляция по шагам обычно требует изменений, сосредоточенных в пути временных шагов: анализ собственного дельта-изменения Krea Raw-to-Turbo показывает, что time_embed.linear_2 меняется примерно в 5.5 раз больше, чем любые линейные блоки. LoRA, которая заморозила бы путь временных шагов, удержала бы именно те веса, которые наиболее нужны задаче, поэтому эта LoRA обучает также путь временных шагов, оставаясь при этом обычной LoRA ранга 64.

Текущий checkpoint (chk00042000) добавляет два улучшения по сравнению с более ранними:

  • Текстура на уровне учителя: энергия мелких деталей составляет 1.00x от учителя на 8 шагов при 1280x1280 и 1.02x при 1440x1440, сопоставлено по полосам по всему частотному спектру (предыдущий checkpoint показывал 0.88x и 0.82x).
  • Критик, учитывающий промпт: обучение оценивает изображения по их промптам, так что соблюдение требований обеспечивается напрямую, а не наследуется.
8 steps4 steps plain4 steps + LoRA
Turbo 8 шаговTurbo 4 шага: детали страдают4 шага с LoRA: текстура восстановлена

Использование в ComfyUI

Репозиторий поставляется с файлами, суффиксом которых является _comfyui, рядом с весами diffusers:

  • krea2_turbo_4step_rank_64_lora_latest_comfyui.safetensors для обычного использования (скользящий указатель на новейший принятый checkpoint)
  • krea2_turbo_4step_rank_64_lora_chk00042000_comfyui.safetensors для закрепления этого конкретного checkpoint

Загрузите его поверх Krea 2 Turbo, запустите 4 шага вместо 8 и держите направление на 0.0. Это готовая простая LoRA: нет пользовательских нод, нет исправленного СЭМПЛЕРА, нет кода. Двенадцать обученных разрешений от 512x512 до 1440x1440 опубликованы с проверками для каждого разрешения в репозитории.

Прирост даже достигает режима ПРЕДПРОСМОТРА на 2 шага за пределами спецификации, где пустые средние частоты старого checkpoint заметно заполняются.

Ссылки

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
LoRA дистилляции Krea 2 Turbo: сокращение с 8 до 4 шагов | ComfyUI Wiki