LightX2V Lightning: LoRA de 4 pasos para Qwen-Image 2.1

Escaparate de cafetería generado por el LoRA Lightning en 4 pasos, con los embeddings de texto fijos del modelo base y la misma semilla.

Qué cambia el LoRA

Qwen-Image 2.1 genera en 40 pasos por defecto. El adaptador Lightning reduce eso a cuatro, con el schedule escrito directamente en la llamada al sampler:

pipe.scheduler = FlowMatchEulerDiscreteScheduler.from_config(
    pipe.scheduler.config, shift_terminal=None
)

image = pipe(
    prompt=prompt,
    width=1024,
    height=1024,
    num_inference_steps=4,
    sigmas=[1.0, 0.75, 0.5, 0.25],
    true_cfg_scale=1.0,
    use_kv_cache=False,
).images[0]

El CFG está desactivado (true_cfg_scale=1.0) y los cuatro valores sigma son fijos, así que lo único que cambia respecto a un flujo de trabajo normal de Qwen-Image 2.1 es cargar el LoRA y pasar el sampler a una configuración de 4 pasos sin CFG.

Cuatro pasos frente a cuarenta

La tarjeta del modelo incluye cinco comparativas de texto a imagen usando los mismos prompts, semillas y tamaños de salida, con el CFG desactivado en ambos lados. Las imágenes del modelo base provienen de una ejecución anterior de 40 pasos.

Modelo base, 40 pasos	LoRA Lightning, 4 pasos
Rótulo de cafetería	Rótulo de cafetería

Los ejemplos restantes del repositorio cubren una bestia zorro de nueve cabezas, un juguete de diseño de oveja, una selfie de vaca de oficina y un anuncio de vino floral.

Edición con múltiples referencias

El mismo adaptador está entrenado para el pipeline de edición, incluidas las entradas con múltiples referencias. En el primer ejemplo el objetivo es la chaqueta de la persona:

Referencia	Modelo base, 40 pasos	LoRA Lightning, 4 pasos

"Cambia la chaqueta roja a azul oscuro y añade un pequeño broche con forma de estrella plateada en el pecho izquierdo. Mantén la identidad, la expresión, el peinado, la pose, el material y los pliegues de la chaqueta de la persona; mantén el fondo y la iluminación sin cambios. …"

En la tarjeta del modelo hay otros siete ejemplos de edición, que cubren conjunto y escena nocturna, persona y gato, anuncio de producto, sofá y lámpara colgante, transferencia de material del suelo, reflejo en espejo y prueba de mochila. Cada uno enumera sus imágenes de referencia junto a los resultados de 40 pasos y de 4 pasos.

Cómo usarlo

Los pesos son un único pytorch_lora_weights.safetensors (67 MB) que se carga sobre el checkpoint de Qwen-Image 2.1, así que ComfyUI lo toma a través del cargador de LoRA habitual para el gráfico de Qwen-Image 2.1, configurado a 4 pasos con CFG 1. Los scripts propios de la plataforma LightX2V cubren hardware que no es NVIDIA, incluidas las NPU Ascend sobre las que se entrenó el adaptador.

Disponibilidad

Pesos del LoRA: lightx2v/Qwen-Image-2.1-Lightning en Hugging Face. Modelo base: Qwen/Qwen-Image-2.1. Framework de inferencia: ModelTC/LightX2V.