Qwen-Image-Flash: Qwen-Image를 4단계로 증류한 NVIDIA DMD2 모델

Qwen-Image-Flash란 무엇인가요?

Qwen-Image-Flash는 NVIDIA가 Qwen/Qwen-Image를 4단계, DMD2 증류 방식으로 다시 빌드한 모델입니다. Improved Distribution Matching Distillation은 NVIDIA FastGen, NVIDIA Model Optimizer, NVIDIA AutoModel을 통해 수행되었습니다. 트랜스포머 가중치만 바뀌기 때문에 나머지 Qwen-Image 파이프라인(Qwen2.5-VL 텍스트 인코더, Qwen tokenizer, Qwen-Image VAE, 60레이어 트랜스포머 형태)은 변경 없이 그대로 계승됩니다.

• 디노이징 트랜스포머에 20.43B 파라미터, 학습된 전체 파이프라인 기준 28.85B
• 베이스 모델의 전체 스케줄 대신 함수 평가 4회
• 정적 shift-3 궤적을 사용하는 패키징된 FlowMatch Euler 스케줄러로, 시그마 [1.0, 0.9, 0.75, 0.5, 0.0]를 생성합니다
• 영어 캡션으로 증류되었으며, 상속된 중국어 능력은 모델 카드에서 평가되지 않았습니다

증류된 체크포인트 실행하기

공식 릴리스는 Diffusers 체크포인트이며, 증류 과정에서 교사 모델의 가이드가 내재화되었습니다. 따라서 샘플링 시 num_inference_steps=4와 함께 true_cfg_scale=1.0이 필요합니다. 여전히 CFG 4.0을 적용하는 Qwen-Image 워크플로에 이 가중치를 넣으면 가이드가 두 배로 적용됩니다.

from diffusers import QwenImagePipeline
import torch

pipe = QwenImagePipeline.from_pretrained(
    "nvidia/Qwen-Image-Flash", torch_dtype=torch.bfloat16
).to("cuda")

image = pipe(
    prompt="A red fox in a snowy pine forest at golden hour, photorealistic, sharp focus",
    width=1024, height=1024,
    num_inference_steps=4,
    true_cfg_scale=1.0,
).images[0]

모델 카드에는 지원 런타임으로 Diffusers 0.38.0과 Transformers 5.12.1, SGLang Diffusion, vLLM-Omni, TensorRT-LLM VisualGen이 나열되어 있으며, 검증된 하드웨어는 H100과 B200입니다. ComfyUI는 공식 엔진 목록에 포함되어 있지 않습니다. 따라서 단일 파일 트랜스포머 가중치는 Qwen-Image 계열과 아키텍처 호환되는 것으로 취급하고, 공식적으로 지원되는 런타임으로 간주하지 않는 것이 좋습니다.