LanPaint 2.2.0:Qwen-Image 2.1 图像修复与 Alpha 编辑

ComfyUI Wikinews

LanPaint 2.2.0 将 Qwen-Image 2.1 纳入其掩码采样器:既能对文生图模型进行图像修复,也能对编辑模型进行修复,并让透明度随像素一起改变形状。

LanPaint 2.2.0(GitHub | 发布版本)将 Qwen-Image 2.1 加入其采样器可进行图像修复的模型列表:既包括文生图模型,也包括图像编辑模型。由于 Qwen-Image 2.1 可以输出透明 PNG,LanPaint 现在也会对 alpha 通道进行图像修复,因此重建后的区域可以带回新的轮廓,而不只是新的颜色。该版本于 9 月 28 日发布,还包含一项 MiniMax H3 修复。

如果你还不了解 LanPaint,它是一款基于采样的图像修复与扩图工具,适用于没有专用图像修复模型的各种模型,从 SD、Flux 到 Wan 和 Krea 2。它用掩码采样器取代了模型加掩码的做法:涂抹一个区域,描述该处应该出现什么,LanPaint 会在对该区域去噪的同时,结合周围图像进行推理。MiniMax H3 视频与音频管线见我们更早的文章。

使用 Qwen-Image 2.1 Edit 进行掩码编辑

新的一组示例分为两项任务。第一项把 LanPaint 应用于 Qwen-Image 2.1 的图像编辑模型:写下你想修改的内容,涂抹编辑应该触及的部分,那么只有该部分会改变,其余一切,包括透明度,都会原样返回。在随附示例中,第二张图片为一对耳机耳罩提供材质,而头梁及其缝线保持不变。

Qwen-Image 2.1 图像编辑:画布、涂抹的掩码、第二张引用图以及结果

Example_32:画布、掩码、提供材质的引用图,以及掩码处理后的结果。第二张图的条件会穿过掩码传递。

该工作流及其图像位于 examples/Example_32,将 InPainted_Drag_Me_to_ComfyUI.png 拖入 ComfyUI 即可打开,模型已接好。它与官方 Qwen Image 2.1 Image Edit 模板并行运行,因此你可以保留 ComfyUI 自带的模型下载与节点布局。

对透明度进行图像修复

第二个示例更为特别。Qwen-Image 2.1 生成的图像带有 alpha 通道,而 LanPaint 会把该通道视为图像的一部分:当你对某个区域进行图像修复时,重建区域可以呈现新的轮廓,而不必局限在旧轮廓之内。在 README 的示例中,靴子的鞋底被替换,轮廓也随之变大,这是对 RGB 图像做受掩码限制的图像修复做不到的。

Qwen-Image 2.1 透明度图像修复:原始、掩码与轮廓发生变化的结果

Example_31:原始、掩码与结果。重建区域带回的是新的轮廓,而不只是新的颜色。

从机制上说,这之所以可行,是因为 Qwen-Image 2.1 的 VAE 是四通道输入、四通道输出,所以 alpha 会经过 Latent 空间,与 RGB 像素一起被编辑,而不是在采样之前被丢弃。更新日志中特别指出了一个实际后果:请把图像修复掩码保存在单独的灰度文件中,因为在 Qwen-Image 2.1 中,图像的 alpha 通道表示透明度,而不是掩码。同一次更新还让 LanPaint_ImageDecode 将解码出的通道数与源图像匹配,因此 RGBA 输入仍返回 RGBA,RGB 输入仍返回 RGB。

采样器如何融入流程

LanPaint 以采样器节点的形式安装,用来替代图像修复图中常用的 KSampler,沿用大多数 ComfyUI 图像修复工作流已经采用的 SetLatentNoiseMask 布局。

ComfyUI 中的 LanPaint 采样器节点

LanPaint K采样器及其高级版本,暴露了思考步数的控制项。

上述示例每个去噪步使用五个思考步。高级采样器暴露了完整的参数集:LanPaint_NumSteps 控制每步的推理深度,LanPaint_Lambda 控制内容对齐强度,LanPaint_StepSize,LanPaint_Beta 控制掩码区域与非掩码区域之间的平衡,LanPaint_Friction 控制 Langevin 更新的稳定程度,LanPaint_EarlyStop 用于提前结束迭代,以及一个提示词与图像优先级的切换开关。简单任务大约需要 2 到 5 步;较难的任务则要 5 到 10 步。

获取方式

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
LanPaint 2.2.0:Qwen-Image 2.1 图像修复与 Alpha 编辑 | ComfyUI Wiki