LightX2V Lightning: Qwen-Image 2.1용 4단계 LoRA

베이스 모델의 고정된 텍스트 임베딩과 동일한 시드로 Lightning LoRA가 4단계 만에 생성한 커피숍 매장 전경입니다.

LoRA가 바꾸는 것

Qwen-Image 2.1은 기본적으로 40단계에서 생성합니다. Lightning 어댑터는 이를 4단계로 줄이며, 스케줄은 샘플러 호출에 직접 작성됩니다:

pipe.scheduler = FlowMatchEulerDiscreteScheduler.from_config(
    pipe.scheduler.config, shift_terminal=None
)

image = pipe(
    prompt=prompt,
    width=1024,
    height=1024,
    num_inference_steps=4,
    sigmas=[1.0, 0.75, 0.5, 0.25],
    true_cfg_scale=1.0,
    use_kv_cache=False,
).images[0]

CFG는 비활성화되고(true_cfg_scale=1.0) 네 개의 시그마 값이 고정되므로, 일반적인 Qwen-Image 2.1 워크플로에서 달라지는 것은 LoRA를 로드하고 샘플러를 4단계, CFG 없는 구성으로 전환하는 것뿐입니다.

4단계 대 40단계

모델 카드에는 동일한 프롬프트, 시드, 출력 크기를 사용한 텍스트 기반 이미지 생성 비교 5건이 포함되어 있으며, 양쪽 모두 CFG를 비활성화했습니다. 베이스 모델 이미지는 이전 40단계 실행 결과입니다.

베이스 모델, 40단계	Lightning LoRA, 4단계
커피숍 간판	커피숍 간판

저장소에 있는 나머지 예시들은 아홉 개의 머리를 가진 여우 짐승, 양 디자이너 토이, 사무실 소 셀카, 꽃 와인 광고를 다룹니다.

여러 참조 이미지를 사용한 편집

동일한 어댑터가 다중 참조 입력을 포함한 편집 파이프라인용으로도 학습되었습니다. 첫 번째 예시에서 대상은 인물의 재킷입니다:

참조	베이스 모델, 40단계	Lightning LoRA, 4단계

"빨간색 재킷을 다크 파란색으로 바꾸고 왼쪽 가슴에 작은 은색 별 모양 브로치를 추가해 주세요. 인물의 정체성, 표정, 헤어스타일, 포즈, 재킷 재질과 주름은 유지하고, 배경과 조명은 변경하지 마세요. …"

모델 카드에는 편집 예시가 7개 더 있으며, 의상과 야경 장면, 인물과 고양이, 제품 광고, 소파와 펜던트 램프, 바닥 재질 전환, 거울 반사, 백팩 착용 미리보기를 다룹니다. 각 예시는 40단계와 4단계 결과 옆에 참조 이미지를 함께 나열합니다.

사용 방법

가중치는 Qwen-Image 2.1 checkpoint 위에 로드되는 단일 pytorch_lora_weights.safetensors(67 MB) 파일이므로, ComfyUI에서는 Qwen-Image 2.1 그래프용 일반 LoRA 로더를 통해 불러오고 4단계, CFG 1로 설정하면 됩니다. LightX2V의 자체 플랫폼 스크립트는 이 어댑터가 학습된 Ascend NPU를 포함한 비 NVIDIA 하드웨어를 지원합니다.

다운로드

LoRA 가중치: Hugging Face의 lightx2v/Qwen-Image-2.1-Lightning. 베이스 모델: Qwen/Qwen-Image-2.1. 추론 프레임워크: ModelTC/LightX2V.