TailSteer 让 Qwen-Image 2.1 连续 20 轮编辑保持稳定

ComfyUI Wikinews

TailSteer 是 Qwen-Image 2.1 的最终训练阶段,可防止长编辑链漂移,以 BF16 transformer 形式发布,并提供四个原生 ComfyUI 工作流。

TailSteer 是 Qwen-Image 2.1 的最终训练阶段,于 11 月 4 日发布,可防止编辑链发生漂移。它以完整的 BF16 transformer 形式发布,适用于 ComfyUI/models/diffusion_models/,可在原生 Qwen-Image 2.1 节点上运行,并附带四个可直接使用的工作流。

连续编辑一张图像十次,最后一帧就不再是同一张图:皮肤变得像塑料,文字扭曲,背景细节变软,而所有指令都没有要求这些变化。TailSteer 训练模型承受这种循环,同时不丢失其初始的单次编辑质量。

二十次编辑后的基础模型
连续二十次编辑的第 20 轮,基础模型对比 TailSteer,来自项目示例集

它改变了什么

在项目的 Add & Preserve 基准测试中,每轮添加一个小对象,持续十轮,并评估哪些内容保持不变;TailSteer 在保持基础模型对象完成率的同时,提升了编辑框之外的所有内容:

指标,第 10 轮基础模型TailSteer
COA,对象完成率 (%) ↑67.3666.94
编辑区域外 PSNR ↑16.9318.15
编辑区域外 SSIM ↑0.4380.513
编辑区域外 LPIPS ↓0.2700.239

代价很小:Qwen-IB EN 53.39 → 53.06,GEdit EN 8.11 → 8.04,ImgEdit 4.40 → 4.42。文生图仍可使用同一 checkpoint,推理时无需保留遮罩或切换模型。

文生图配对,相同提示词和种子

相同提示词和种子:基础模型对比 TailSteer。

在 ComfyUI 中运行

  1. 将 ComfyUI 更新到包含 TextEncodeQwenImage21 和 QwenImage21Cache 的版本,然后将 qwen_image_2.1_tailsteer_bf16.safetensors(14.23 GB)放入 models/diffusion_models/。
  2. 添加未更改的基础组件:qwen3vl_8b_bf16.safetensors 放入 models/text_encoders/(17.53 GB),qwen_image_2.1_vae_bf16.safetensors 放入 models/vae/,两者均来自 Comfy-Org/Qwen-Image-2.1。
  3. 拖入工作流并运行:40 Euler 步,CFG 1.0,无损 KV 缓存,参考分辨率 1024。

在三轮工作流中,每个 VAE Decode 都会作为输入传给下一个 Text Encode Qwen Image 2.1,因此复制一个编辑阶段即可延长编辑链。

有一项设置必须注意:采样器使用基于已发布动态偏移构建的 ManualSigmas,而 ComfyUI 通用的 simple 调度并不是同一条曲线。如果更改输出大小或步数,请使用项目的 comfyui_sigmas.py 重新生成,并将结果粘贴回去。

经过验证的配置是配备 BF16 组件的 H100 80 GB;量化配置和消费级 GPU 配置尚未验证。示例工作流在 1280×832、960×1120 和 1024×1024 下运行。

获取方式

模型卡片称,一个保留能力大约翻倍的更强版本正在训练中。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
TailSteer 让 Qwen-Image 2.1 连续 20 轮编辑保持稳定 | ComfyUI Wiki