Lightning v2 RL: 4-шаговый Qwen-Image 2.1, дообученный через RL

Рендер 1024 x 1024 с четырёхшагового RL checkpoint, "Dolphin at a Burning Shoreline".

Что изменилось по сравнению с LoRA

Октябрьский релиз подключал адаптер на 67 МБ к стандартному checkpoint Qwen-Image 2.1 и полагался на фиксированный список сигм на этапе выборки. В v2 изменены обе части этой схемы:

• Полные веса трансформера вместо адаптера: один файл diffusion_pytorch_model.safetensors, сохранённый в FP32 (28,5 ГБ), с собственным config.json; в карточке модели указано, что для вывода его можно загрузить в BF16. Стековать LoRA не требуется.
• Этап обучения с подкреплением после дистилляции. В карточке checkpoint описан как RL-версия Lightning v2, обученная с помощью LightX2V RL. Публикуется только дообученный checkpoint, поэтому веса v2 до RL недоступны для сравнения.
• Три задачи из одного checkpoint: генерация по тексту, редактирование по одному референсу и генерация по нескольким референсам, на которые также был нацелен v1.

Расписание из четырёх шагов

Конфигурация выборки поставляется в виде inference_config.json, и это не равномерное расписание, которое использовала LoRA v1. В v2 используются четыре сигмы: 1.0, 0.95418, 0.89508 и 0.704534, при true_cfg_scale равном 1.0 и включённом KV-кэше:

pipe.scheduler = FlowMatchEulerDiscreteScheduler(
    **inference_config["scheduler"],
)
image = pipe(
    prompt=prompt,
    width=1024,
    height=1024,
    sigmas=SIGMAS,                    # 1.0, 0.95418, 0.89508, 0.704534
    num_inference_steps=len(SIGMAS),
    true_cfg_scale=1.0,
    use_kv_cache=True,
)

Три шага находятся выше 0.89, а четвёртый падает с 0.895 до 0.705 до того, как планировщик добавит завершающий ноль, поэтому основная часть удаления шума приходится на начало. В README прямо указано, что установка только num_inference_steps=4 не воспроизводит это расписание, а сохранённые сигмы уже сдвинуты, поэтому динамический сдвиг должен оставаться выключенным.

Четыре шага против сорока

В репозитории каждый пример сопровождается прогоном оригинальных весов Qwen-Image 2.1 на 40 шагов: тот же промпт, тот же seed, та же CFG 1.0 и выход 1024 x 1024.

Базовая модель, 40 шагов	Lightning v2 RL, 4 шага
Дельфин у выгоревшего берега	Дельфин у выгоревшего берега
Потрёпанный велосипед под дождём	Потрёпанный велосипед под дождём

Оба промпта представляют собой длинные структурированные описания сцены: в промпте про дельфина последовательно задаются цвет облаков, дымовые шлейфы, обугленные балки, расположение углей и освещение спинного плавника, а в промпте про велосипед: ржавчина на каждой трубе рамы, количество спиц и следы дождя. В карточке эти примеры представлены как выбранные примеры для валидации, а не как бенчмарк, и есть предупреждение, что мелкий текст, анатомия, количество объектов и точное сохранение референса всё ещё могут требовать проверки.

Редактирование по одному референсу

При редактировании референсное изображение передаётся как аргумент image пайплайна, в том же вызове, который несёт инструкцию:

Референс	Базовая модель, 40 шагов	Lightning v2 RL, 4 шага

"Replace the bird flying in the upper-center sky with a flying dragon soaring at the same position and distance. … Keep everything else completely unchanged: the terraced stone architecture … the cascading waterfalls …"

Промпт привязывает дракона к направлению полёта птицы, а затем перечисляет то, что не должно сдвинуться: каменные галереи, сады на крышах, водопады, пальмы, туман и дымчатое небо. Второй пример редактирования в репозитории вместо этого заменяет сцену с гитаристом.

Генерация по нескольким референсам

Путь с несколькими референсами принимает сразу несколько изображений и адресует их по индексу внутри промпта (<image1>, <image2>), именно так в карточке различаются два референса:

Референсы	Базовая модель, 40 шагов	Lightning v2 RL, 4 шага

"On <image1> (canvas), place the food bowl extracted from <image2> onto the wooden table … Render the added bowl and food in the same soft 3D illustration style as <image1> instead of the photorealistic style of <image2>. …"

Инструкция задаёт масштаб, перспективу, направление света и направление тени, а также явный список того, что нужно сохранить с холста: лицо девушки, её кардиган, дымящуюся чашку, вазу с фруктами, полку за её спиной. Второй пример с несколькими референсами переносит цветочный фарфоровый узор на чайник в портретной сцене.

Доступность

Веса: lightx2v/Qwen-Image-2.1-Lightning-v2-RL на Hugging Face. Базовая модель: Qwen/Qwen-Image-2.1. Фреймворк обучения и вывода: ModelTC/LightX2V.

Опубликованные файлы имеют раскладку Diffusers (QwenImage21Transformer2DModel, 32 слоя, 32 головы), и быстрый старт из карточки загружает их через QwenImage21Pipeline, заменяя трансформер пайплайна. В репозитории нет весов в формате ComfyUI, и на момент релиза для них не существует конвертированного checkpoint, сборки GGUF или загрузчика, поэтому маршрут для Lightning в ComfyUI остаётся прежним: LoRA v1.