LightX2V Lightning : LoRA en 4 étapes pour Qwen-Image 2.1

Devanture de café générée par le LoRA Lightning en 4 étapes, avec les embeddings texte figés du modèle de base et la même graine.

Ce que le LoRA modifie

Qwen-Image 2.1 génère en 40 étapes par défaut. L'adaptateur Lightning réduit cela à quatre étapes, avec le schedule écrit directement dans l'appel de l'échantillonneur :

pipe.scheduler = FlowMatchEulerDiscreteScheduler.from_config(
    pipe.scheduler.config, shift_terminal=None
)

image = pipe(
    prompt=prompt,
    width=1024,
    height=1024,
    num_inference_steps=4,
    sigmas=[1.0, 0.75, 0.5, 0.25],
    true_cfg_scale=1.0,
    use_kv_cache=False,
).images[0]

Le CFG est désactivé (true_cfg_scale=1.0) et les quatre valeurs sigma sont fixes, donc la seule différence avec un flux de travail Qwen-Image 2.1 classique est le chargement du LoRA et le passage de l'échantillonneur à une configuration en 4 étapes sans CFG.

Quatre étapes contre quarante

La carte du modèle fournit cinq comparaisons texte-image utilisant les mêmes prompts, graines et tailles de sortie, avec le CFG désactivé des deux côtés. Les images du modèle de base proviennent d'une exécution antérieure en 40 étapes.

Modèle de base, 40 étapes	LoRA Lightning, 4 étapes
Enseigne de café	Enseigne de café

Les exemples restants du référentiel couvrent une bête renard à neuf têtes, un jouet de designer en forme de mouton, un selfie de vache au bureau et une publicité pour un vin floral.

Éditer avec plusieurs références

Le même adaptateur est entraîné pour le pipeline d'édition, y compris les entrées multi-références. Dans le premier exemple, la cible est la veste de la personne :

Référence	Modèle de base, 40 étapes	LoRA Lightning, 4 étapes

« Remplacez la veste rouge par du bleu sombre et ajoutez une petite broche en forme d'étoile argentée sur la poitrine gauche. Conservez l'identité, l'expression, la coiffure, la pose, le matériau et les plis de la veste de la personne ; gardez l'arrière-plan et l'éclairage inchangés. … »

Sept autres exemples d'édition figurent dans la carte du modèle : tenue et scène nocturne, personne et chat, publicité produit, canapé et lampe suspendue, transfert de matériau de sol, reflet dans un miroir et essayage de sac à dos. Chacun liste ses images de référence à côté des résultats en 40 étapes et en 4 étapes.

Utilisation

Les poids sont un unique fichier pytorch_lora_weights.safetensors (67 Mo) qui se charge par-dessus le checkpoint Qwen-Image 2.1, donc ComfyUI le récupère via le chargeur LoRA habituel du graphique Qwen-Image 2.1, réglé sur 4 étapes à CFG 1. Les scripts de plateforme de LightX2V couvrent le matériel non NVIDIA, y compris les NPU Ascend sur lesquels l'adaptateur a été entraîné.

Disponibilité

Poids LoRA : lightx2v/Qwen-Image-2.1-Lightning sur Hugging Face. Modèle de base : Qwen/Qwen-Image-2.1. Framework d'inférence : ModelTC/LightX2V.