Qwen-Image 2.1 两步出图:CFG 1 下的 DMD2 LoRA

ComfyUI Wikinews

一款 DMD2 蒸馏 LoRA 让 Qwen-Image 2.1 的文生图与多引用编辑在 CFG 1 下仅需 2 步即可完成,并附在线 Space 演示与 Banodoco 测试报告。

Qwen-Image-2.1-DMD2-2steps 是 Qwen-Image 2.1 的 2 步蒸馏 LoRA,由 Linoy Tsaban 于 2026 年 10 月 23 日发布。它把基础模型 20 步的教师采样压缩到两次前向传播,并将教师的引导内置其中,因此无需再执行 CFG 前向;同时在这个步数下仍能保持指令编辑和多引用输入的能力。
2 步 LoRA 与基础模型的对比,四个编辑案例

草图转照片、发型、表情与照片修复,输入、提示词和种子完全相同。每一行依次是输入图像、2 步的 LoRA,然后是 20 步的基础模型。

为什么 2 步属于另一个层级

Qwen-Image 2.1 默认以 40 步发布,而目前已发布的加速方案分别落在 8 步(阿里自家的 Turbo checkpoint)和 4 步(LightX2V 的 Lightning LoRA)。这个适配器瞄准的是该区间的下限,并且其调度是固定的,而非建议值:

设置值
步数2
Sigma 调度[1.0, 0.5],固定
CFG1(true_cfg_scale=1.0)
LoRA rank / alpha32 / 32
适配模块仅注意力:to_q、to_k、to_v、to_out.0
文件大小64 MB(256 个 tensor)

模型卡片明确指出,该 LoRA 正是在这对确切的 sigma 上训练的,因此调度器必须通过 use_dynamic_shifting=False 和 shift=1.0 固定下来。若保留动态位移,sigma 会按分辨率重新缩放,适配器就不再沿着它被蒸馏时所走的路径采样了。

只适配注意力是另一项有意的选择。模型卡片认为,相比同时适配前馈模块,这样做在编辑时能更忠实地保留输入图像;而此前针对该模型的少步适配器,大部分预算都花在了前馈模块上。

训练方式

采用 DMD2(Distribution Matching Distillation,分布匹配蒸馏),带 on-policy 分布匹配与教师 CFG 引导,目标函数中没有回归损失,也没有 GAN 损失。训练在单张 H100 上进行了 2,000 步,使用约 1 MP 的多纵横比裁剪,这与演示所用的分辨率范围一致。模型卡片对比的参照是 20 步的教师,而不是该模型默认的 40 步。

2 步下仍然保留的能力

编辑与多引用组合都仍然可用。Qwen-Image 2.1 接收一组条件图像,提示词以位置方式引用它们,因此两步推理依然能解析诸如“把图 1 中的猫放到图 2 的海滩上”这样的提示词,而不会坍缩成单一引用:

image = pipe(
    prompt="Place the cat from Picture 1 on the beach from Picture 2.",
    image=[cat, beach],
    num_inference_steps=2,
    sigmas=[1.0, 0.5],
    true_cfg_scale=1.0,
).images[0]

文生图就是同样的调用去掉 image 参数。RGBA 输出保持不变,因为 alpha 通道来自基础模型而非适配器。

作者的演示 Space Qwen Image 2.1 Realtime 把同一套调度放到了实时界面上:实时模式会流式输出一张 512px 的结果,并随提示词变化而更新;完整质量模式则跳到 1024 和 1536。

社区实测

在 Banodoco 的 #qwen-image 通道中,测试者们在 ComfyUI 里基于原生 Qwen-Image 2.1 节点运行该适配器,并发布了步数对比。RuneX 报告称 2 步的换头可行,而多加一步效果略好,测试覆盖了 Euler、ER-SDE 和 LCM 采样器。patientx 连续测量了 2、3、4 步,发现 3 步“非常接近真实效果”,4 步可用,8 步则出现退化;由于模型加载占据主要时间,2 步到 4 步之间的总运行时间几乎不变。

对 ComfyUI 而言唯一的麻烦在于命名。该 safetensors 以 diffusers/PEFT 形式保存,键名为 transformer.transformer_blocks.N.attn.to_q.lora.down.weight 及对应的 .lora.up tensor,而 ComfyUI 的加载器以模型自身的参数名为键,从 transformer_blocks.N 开始。必须先剥掉开头的 transformer.,加载器才能完成映射,否则它会把键报告为未映射,LoRA 也就毫无效果。

获取方式

LoRA 权重:linoyts/Qwen-Image-2.1-DMD2-2steps(Hugging Face)。基础模型:Qwen/Qwen-Image-2.1。演示:Qwen Image 2.1 Realtime。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Qwen-Image 2.1 两步出图:CFG 1 下的 DMD2 LoRA | ComfyUI Wiki