Lightning v2 RL: RL로 다듬은 4단계 Qwen-Image 2.1 모델

4단계 RL 체크포인트로 생성한 1024 x 1024 이미지, "불타는 해안가의 돌고래".

LoRA에서 무엇이 바뀌었나

10월 릴리스는 기본 Qwen-Image 2.1 체크포인트에 67MB 어댑터를 붙이고 샘플링 시점에 고정된 시그마 목록에 의존했습니다. v2는 이 구성의 두 축을 모두 바꿉니다.

• 어댑터 대신 풀 트랜스포머 가중치: 자체 config.json을 갖춘 단일 diffusion_pytorch_model.safetensors 파일을 FP32(28.5GB)로 저장하며, 모델 카드에는 추론 시 BF16으로 로드할 수 있다고 설명되어 있습니다. 스택할 LoRA가 없습니다.
• 증류 이후의 강화학습 단계. 모델 카드는 이 체크포인트를 LightX2V RL로 학습시킨 Lightning v2의 RL 개선 버전이라고 설명합니다. RL 개선 체크포인트만 공개되었으므로, RL 이전의 v2 가중치는 비교용으로 사용할 수 없습니다.
• 하나의 체크포인트로 세 가지 작업: 텍스트 기반 이미지 생성, 단일 참조 편집, 다중 참조 생성이며, v1도 같은 작업을 대상으로 했습니다.

4단계 스케줄

샘플링 설정은 inference_config.json으로 제공되며, v1 LoRA가 사용한 균등 스케줄과는 다릅니다. v2는 1.0, 0.95418, 0.89508, 0.704534 네 개의 시그마를 사용하고, true_cfg_scale은 1.0, KV 캐시는 활성화 상태입니다.

pipe.scheduler = FlowMatchEulerDiscreteScheduler(
    **inference_config["scheduler"],
)
image = pipe(
    prompt=prompt,
    width=1024,
    height=1024,
    sigmas=SIGMAS,                    # 1.0, 0.95418, 0.89508, 0.704534
    num_inference_steps=len(SIGMAS),
    true_cfg_scale=1.0,
    use_kv_cache=True,
)

세 단계는 0.89 위에 머물고 네 번째 단계가 0.895에서 0.705로 떨어진 뒤 스케줄러가 마지막 0을 덧붙이므로, 디노이징의 대부분은 초반에 일어납니다. README는 num_inference_steps=4만 설정해서는 이 스케줄이 재현되지 않으며, 저장된 시그마가 이미 시프트된 값이므로 동적 시프팅은 반드시 꺼야 한다고 명시합니다.

4단계 대 40단계

저장소는 모든 예시를 원본 Qwen-Image 2.1 가중치로 40단계 실행한 결과와 함께 제공합니다. 프롬프트, 시드, CFG 1.0, 1024 x 1024 출력이 모두 동일합니다.

베이스 모델, 40단계	Lightning v2 RL, 4단계
불탄 해안가의 돌고래	불탄 해안가의 돌고래
비에 젖은 낡은 자전거	비에 젖은 낡은 자전거

두 프롬프트 모두 길고 구조화된 장면 설명입니다. 돌고래 쪽은 구름 색, 연기 기둥, 그을린 들보, 불씨 위치, 등지느러미 조명까지 서술한 뒤 끝나고, 자전거 쪽은 프레임 튜브마다의 녹, 스포크 개수, 빗줄기까지 다룹니다. 모델 카드는 이를 벤치마크가 아니라 선별된 검증 예시로 제시하며, 미세한 텍스트, 해부학적 구조, 오브젝트 개수, 정밀한 참조 보존은 여전히 확인이 필요할 수 있다고 경고합니다.

단일 참조 편집

편집의 경우 참조 이미지는 지시문을 담은 같은 호출에서 파이프라인의 image 인수로 전달됩니다.

참조	베이스 모델, 40단계	Lightning v2 RL, 4단계

"Replace the bird flying in the upper-center sky with a flying dragon soaring at the same position and distance. … Keep everything else completely unchanged: the terraced stone architecture … the cascading waterfalls …"

프롬프트는 용을 새의 비행 방향에 고정한 다음, 움직이면 안 되는 요소들을 나열합니다. 석조 갤러리, 옥상 정원, 폭포, 야자수, 안개, 흐린 하늘입니다. 저장소의 두 번째 편집 예시는 기타 연주자의 장면을 바꿉니다.

다중 참조 생성

다중 참조 경로는 여러 이미지를 한 번에 받고 프롬프트 안에서 인덱스(<image1>, <image2>)로 지칭하며, 모델 카드는 이 방식으로 두 참조를 구분합니다.

참조	베이스 모델, 40단계	Lightning v2 RL, 4단계

"On <image1> (canvas), place the food bowl extracted from <image2> onto the wooden table … Render the added bowl and food in the same soft 3D illustration style as <image1> instead of the photorealistic style of <image2>. …"

지시문에는 크기, 원근법, 빛의 방향, 그림자 방향이 담기고, 캔버스에서 보존해야 할 요소들도 명시적으로 나열됩니다. 소녀의 얼굴, 카디건, 김이 나는 컵, 과일 그릇, 뒤쪽 선반입니다. 두 번째 다중 참조 예시는 인물 장면의 찻주전자에 꽃무늬 도자기 패턴을 옮깁니다.

사용 가능 여부

가중치: Hugging Face의 lightx2v/Qwen-Image-2.1-Lightning-v2-RL. 베이스 모델: Qwen/Qwen-Image-2.1. 학습 및 추론 프레임워크: ModelTC/LightX2V.

공개된 파일은 Diffusers 레이아웃(QwenImage21Transformer2DModel, 32개 레이어, 32개 헤드)이며, 모델 카드의 빠른 시작은 파이프라인의 transformer를 교체하는 방식으로 QwenImage21Pipeline을 통해 로드합니다. 저장소에는 ComfyUI 형식 가중치가 포함되어 있지 않으며, 릴리스 시점에 변환된 체크포인트나 GGUF 빌드, 이를 위한 로더가 없습니다. 따라서 Lightning을 ComfyUI에서 사용하는 경로는 여전히 v1 LoRA입니다.