ComfyUI中如何进行图片局部重绘?

图像局部重绘是指对图像中你需要修改的部分进行重新生成 / 绘制。

ComfyUI Github仓库局部重绘工作流示例 我们可以找到局部重绘的示例,但是在我使用之下,使用VAE内补编码器 的效果并不是很好,本文对VAE内补编码器Laton噪波遮罩这里进行了对比,并演示了对应的示例效果

原始教程地址 (opens in a new tab)

准备阶段:局部重绘的前提

首先,我们需要在图片上标记出需要修改的区域,这通过绘制遮罩蒙版实现。遮罩蒙版的作用是告诉模型我们希望修改的具体位置。

绘制遮罩蒙版

在图像编辑的起始阶段,需明确指出需修改的区域。通过绘制遮罩蒙版,向模型指明修改的具体范围。

更新工作流节点

鉴于原始VAE编码器不支持遮罩,必须选择能够整合遮罩的节点。本文推荐使用VAE内补编码器Laton噪波遮罩,这两种技术在实现方式上各有千秋。

实施流程:局部重绘的详细步骤

步骤一:图像载入与遮罩绘制

  • load image (加载图像)工作节点导入图像。
  • 在利节点用遮罩工具,对特定区域进行绘制,然后用于输入后续节点进行重绘

步骤二:构建ComfyUI 局部重绘工作流

具体工作流,请下载本文附带的工作流文件运行

  • 在 latent节点中选定图像与遮罩,链接至K采样器
  • 调整描述词,例如将"cat"更改为"dog",并设定新的随机种子。
  • 执行图像生成,观察结果变化。

步骤三:对比两个ComfyUI 节点的局部重绘效果

  • 应用VAE内补编码器Latent噪波遮罩进行局部重绘。
  • 比较两种技术在不同降噪值下的表现。
    • VAE内补编码器在低降噪值时可能导致遮罩区域内容失真。
    • Latent噪波遮罩在低降噪值时能保持与原图的高相似度。
  • 探讨两种技术的应用场景与优势。
    • VAE内补编码器 适合创造全新内容,与原图无关联。
    • Latent噪波遮罩适合在保留原图特征的基础上进行局部调整,如动物种类的替换。