LanPaint 2.2.0:Qwen-Image 2.1 图像修复与 Alpha 编辑
LanPaint 2.2.0 将 Qwen-Image 2.1 纳入其掩码采样器:既能对文生图模型进行图像修复,也能对编辑模型进行修复,并让透明度随像素一起改变形状。
如果你还不了解 LanPaint,它是一款基于采样的图像修复与扩图工具,适用于没有专用图像修复模型的各种模型,从 SD、Flux 到 Wan 和 Krea 2。它用掩码采样器取代了模型加掩码的做法:涂抹一个区域,描述该处应该出现什么,LanPaint 会在对该区域去噪的同时,结合周围图像进行推理。MiniMax H3 视频与音频管线见我们更早的文章。
使用 Qwen-Image 2.1 Edit 进行掩码编辑
新的一组示例分为两项任务。第一项把 LanPaint 应用于 Qwen-Image 2.1 的图像编辑模型:写下你想修改的内容,涂抹编辑应该触及的部分,那么只有该部分会改变,其余一切,包括透明度,都会原样返回。在随附示例中,第二张图片为一对耳机耳罩提供材质,而头梁及其缝线保持不变。
Example_32:画布、掩码、提供材质的引用图,以及掩码处理后的结果。第二张图的条件会穿过掩码传递。
该工作流及其图像位于 examples/Example_32,将 InPainted_Drag_Me_to_ComfyUI.png 拖入 ComfyUI 即可打开,模型已接好。它与官方 Qwen Image 2.1 Image Edit 模板并行运行,因此你可以保留 ComfyUI 自带的模型下载与节点布局。
对透明度进行图像修复
第二个示例更为特别。Qwen-Image 2.1 生成的图像带有 alpha 通道,而 LanPaint 会把该通道视为图像的一部分:当你对某个区域进行图像修复时,重建区域可以呈现新的轮廓,而不必局限在旧轮廓之内。在 README 的示例中,靴子的鞋底被替换,轮廓也随之变大,这是对 RGB 图像做受掩码限制的图像修复做不到的。
Example_31:原始、掩码与结果。重建区域带回的是新的轮廓,而不只是新的颜色。
从机制上说,这之所以可行,是因为 Qwen-Image 2.1 的 VAE 是四通道输入、四通道输出,所以 alpha 会经过 Latent 空间,与 RGB 像素一起被编辑,而不是在采样之前被丢弃。更新日志中特别指出了一个实际后果:请把图像修复掩码保存在单独的灰度文件中,因为在 Qwen-Image 2.1 中,图像的 alpha 通道表示透明度,而不是掩码。同一次更新还让 LanPaint_ImageDecode 将解码出的通道数与源图像匹配,因此 RGBA 输入仍返回 RGBA,RGB 输入仍返回 RGB。
采样器如何融入流程
LanPaint 以采样器节点的形式安装,用来替代图像修复图中常用的 KSampler,沿用大多数 ComfyUI 图像修复工作流已经采用的 SetLatentNoiseMask 布局。
LanPaint K采样器及其高级版本,暴露了思考步数的控制项。
上述示例每个去噪步使用五个思考步。高级采样器暴露了完整的参数集:LanPaint_NumSteps 控制每步的推理深度,LanPaint_Lambda 控制内容对齐强度,LanPaint_StepSize,LanPaint_Beta 控制掩码区域与非掩码区域之间的平衡,LanPaint_Friction 控制 Langevin 更新的稳定程度,LanPaint_EarlyStop 用于提前结束迭代,以及一个提示词与图像优先级的切换开关。简单任务大约需要 2 到 5 步;较难的任务则要 5 到 10 步。
获取方式
- 来源与所有示例:github.com/scraed/LanPaint
- 发布版本:LanPaint 2.2.0
- 安装:在 ComfyUI-Manager 中搜索 LanPaint,或者将仓库克隆到
ComfyUI/custom_nodes/并重新启动。节点会出现在采样类别下。 - Qwen-Image 2.1 模型来自官方 ComfyUI Qwen Image 2.1 与 Qwen Image 2.1 Image Edit 模板。
评论
使用 GitHub 登录后即可参与讨论。