Krea 2 Turbo 4 步蒸馏 LoRA:从 8 步降至 4 步
ComfyUI Wikinews
社区蒸馏 LoRA 将 Krea 2 Turbo 从 8 步削减至 4 步,在教师模型同等纹理质量下配合提示词感知判别器。纯 LoRA 权重,无需自定义节点。
Krea2-Turbo-Distill-4step-LoRA (Hugging Face) 由 lvladikov 制作,是一款步骤蒸馏 LoRA,将 Krea 2 Turbo 的最小可用步数从 8 步减少到 4 步,整体速度提升约 1.6 倍(1024x1024 下 54.5 秒对比 88.7 秒),纹理质量与 8 步教师模型保持一致。
为什么是 LoRA,以及为何困难
步骤蒸馏通常需要在时间步路径上集中进行修改:分析 Krea 自身的 Raw-to-Turbo 差异显示,time_embed.linear_2 的变化量比其他任何块线性层大约多 5.5 倍。如果 LoRA 冻结了时间步路径,它将无法更新任务最急需的权重,因此这款 LoRA 同时也训练时间步路径,同时保持为普通的 rank-64 LoRA。
当前 checkpoint (chk00042000) 相比更早的版本增加了两项升级:
- 教师模型同等纹理质量:在 1280x1280 和 1440x1440 分辨率下,细节能量分别为 8 步教师模型的 1.00 倍和 1.02 倍,在整个频带上逐带匹配(前一个 checkpoint 测得为 0.88 倍和 0.82 倍)。
- 提示词感知判别器:训练时根据提示词对图像进行评分,因此遵循度是直接施加压力而非继承而来。
| Turbo 8 步 | Turbo 4 步:细节受损 | 4 步配合 LoRA:纹理恢复 |
ComfyUI 使用方法
仓库中随 diffusers 权重一同提供了带有 _comfyui 后缀的文件:
krea2_turbo_4step_rank_64_lora_latest_comfyui.safetensors用于正常使用(指向最新接受 checkpoint 的滚动指针)krea2_turbo_4step_rank_64_lora_chk00042000_comfyui.safetensors用于固定此特定 checkpoint
将其加载在 Krea 2 Turbo 之上,运行 4 步而不是 8 步,并将 guidance 保持在 0.0。它是一个即插即用型普通 LoRA:无需自定义节点,无需打补丁的 sampler,无需代码。仓库中发布了从 512x512 到 1440x1440 的十二种训练分辨率,并包含每种分辨率的扫描数据。
收益甚至延伸到非标准的 2 步预览模式,旧 checkpoint 的空心中频在此处可见地被填充。
评论
使用 GitHub 登录后即可参与讨论。