MOSS-Image 4 步 LoRA:eDMD 蒸馏保留精细细节

ComfyUI Wikinews

一个 rank-64 的 ComfyUI LoRA 以 CFG 1 在 4 步内运行 MOSS-Image-SFT,取代 CFG 3 下的 50 步,实测精细纹理优于 50 步教师模型。

<strong>MOSS-SFT-Distill-4step-LoRA</strong> 以 CFG 1、4 步运行 MOSS-Image-SFT,取代 CFG 3 下的 50 步,也就是 4 次模型调用而非 100 次。它提供了可直接用于 ComfyUI 的文件,以及八个核心节点工作流,涵盖文生图、布局框和图像编辑。
MOSS-Image 4 步效果

LoRA 在 4 步下渲染的 22 个测试提示词。来源:lvladikov

4 步的代价与保留之处

根据作者自己的测量,22 张 1024² 图像耗时 26.6 秒而非 387.3 秒(Comfy Cloud 计费的 GPU 时间),且精细纹理平均达到50 步教师模型的 1.22 倍,因为训练时把教师模型的图像与约 8,000 张带标注的照片裁切混合在一起。文字渲染是第二项亮点:15 个文字提示词中有 14 个能正确呈现所有要求的字符串,而 akhaliq 的 4 步 LoRA 为 12 个。

这些是作者的数据。还有一项独立验证:一位用户就古典绘画纹理(龟裂纹、画布经纬、纸张纹理)将九个 MOSS turbo LoRA 与 50 步基线进行对比,认为这一款最接近基线,优于那些 12 步的竞争者。

肖像对比
同一提示词、同一起始噪波:50 步教师模型 · akhaliq 4 步 · 本 LoRA。来源:lvladikov

较弱的地方

该 LoRA 采用带端点评判器的分布匹配(eDMD)加 Latent 对抗蒸馏(LADD)训练,而不是复制教师模型的输出。柔和的绘画风格和密集的照片细节会低于教师模型:水彩测试的精细纹理为 0.66 倍,肖像和市集人群为 0.80 到 0.85 倍。

早期反馈与此相符:4 步编辑工作流可用,布局提示也站得住脚,但照片级真实人脸较弱,一位用户偶尔会看到缺失的肢体。另一位用户称其"与 lodestones 最新的 LoRA 相当",而非完胜。

文字渲染对比
一张印有五行文字和价格的菜单:教师模型 · akhaliq 4 步 · 本 LoRA。来源:lvladikov

在 ComfyUI 中运行

请使用 _comfyui 文件,而不是普通文件:ComfyUI 会把 LoRA 加到 bf16 权重上再对结果取整,因此随附的 ComfyUI 文件在其 alpha 值中带有实测的 1.18 系数。以强度 1.0、4 步、CFG 1 加载,并且不要加上 50 步教师模型的跳层或负面提示词设置。

文件文件夹
moss_sft_4step_rank_64_lora_comfyui.safetensorsComfyUI/models/loras/
moss_image_sft_bf16.safetensorsComfyUI/models/diffusion_models/
qwen3.5_9b_w4a8_gptq.safetensorsComfyUI/models/text_encoders/
flux2-vae_small.safetensorsComfyUI/models/vae/

这三个基础文件来自 Comfy-Org/MOSS-Image。该 LoRA 在 12 种分辨率上训练,从 768×512 和 512×768 一直到 1824×1024 和 1024×1824,因此其他宽高比不在其训练集范围内。

获取方式

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
MOSS-Image 4 步 LoRA:eDMD 蒸馏保留精细细节 | ComfyUI Wiki