LoRA Krea 2 Turbo SDA возвращает разнообразие выборки

Самая наглядная иллюстрация: 16 сидов промпта "кошка сидит на подоконнике". Базовая Turbo каждый раз рисует одну и ту же полосатую белую кошку. С активной LoRA сиды варьируют рисунок шерсти, освещение, время года и даже обстановку окна:

Базовая Turbo: одна и та же кошка 16 раз	С LoRA SDA: разный мех, свет и обстановка

Та же закономерность сохраняется для натюрмортов (один шаблон ананаса против разнообразных композиций) и портретов (одинаковый студийный кадр против разных возрастов, причесок и сцен).

Как работает SDA

Semantic Directional Alignment рассматривает свертывание разнообразия как проблему направления. Для одного обучающего изображения берутся два случайных шума и зашумляются до сигмы 0.9567, самого высокого обучаемого шага 8-шагового расписания Turbo, где определяется композиция. Замороженный учитель (Krea 2 RAW, недистиллированный родитель) и студент (Turbo плюс LoRA) каждый предсказывают, каким было бы изображение для обоих шумов, а замороженный стек CLIP встраивает предсказания. Изменение перцептивного направления учителя фиксирует, как замена шума должна сдвинуть изображение; функция потерь учит направление студента соответствовать этому вместо свертывания всех шумов в один шаблон. Разведка кандидатов best-of-5 добавляет примерно 3x к скорости обучения.

Обучение использовало всего 109 изображений размером 1024x1024, что объясняет, как небольшой адаптер может сдвинуть композицию, не отклоняя стиль.

Важен гейт: 2 шага, затем выключить

LoRA обучалась на одном узле с высоким шумом, поэтому она должна быть активна только для первых 2 из 8 шагов денойзинга. Замеры автора:

Стандартный ComfyUI применяет LoRA на каждом шаге, поэтому для отключения адаптера ПОСЛЕ шага 2 требуется нода планирования LoRA по шагам (хуки или пользовательские ноды планирования). В репозитории также есть готовый рабочий процесс, Krea2_turbo_sda_workflow.json, построенный вокруг ClownsharKSampler Beta с встроенным гейтом.

Файлы

Фрагмент конвейера diffusers в карточке модели реализует гейт как однострочный колбэк шага. В репозиторий включена китайская карточка модели.