ComfyUI中如何进行图片局部重绘?
图像局部重绘是指对图像中你需要修改的部分进行重新生成 / 绘制。
在ComfyUI Github仓库局部重绘工作流示例 我们可以找到局部重绘的示例,但是在我使用之下,使用VAE内补编码器 的效果并不是很好,本文对VAE内补编码器与Laton噪波遮罩这里进行了对比,并演示了对应的示例效果
准备阶段:局部重绘的前提
首先,我们需要在图片上标记出需要修改的区域,这通过绘制遮罩蒙版实现。遮罩蒙版的作用是告诉模型我们希望修改的具体位置。
绘制遮罩蒙版
在图像编辑的起始阶段,需明确指出需修改的区域。通过绘制遮罩蒙版,向模型指明修改的具体范围。
更新工作流节点
鉴于原始VAE编码器不支持遮罩,必须选择能够整合遮罩的节点。本文推荐使用VAE内补编码器与Laton噪波遮罩,这两种技术在实现方式上各有千秋。
实施流程:局部重绘的详细步骤
步骤一:图像载入与遮罩绘制
- 在
load image (加载图像)
工作节点导入图像。 - 在利节点用遮罩工具,对特定区域进行绘制,然后用于输入后续节点进行重绘
步骤二:构建ComfyUI 局部重绘工作流
具体工作流,请下载本文附带的工作流文件运行
- 在 latent节点中选定图像与遮罩,链接至K采样器。
- 调整描述词,例如将”cat”更改为”dog”,并设定新的随机种子。
- 执行图像生成,观察结果变化。
步骤三:对比两个ComfyUI 节点的局部重绘效果
- 应用VAE内补编码器与Latent噪波遮罩进行局部重绘。
- 比较两种技术在不同降噪值下的表现。
- VAE内补编码器在低降噪值时可能导致遮罩区域内容失真。
- Latent噪波遮罩在低降噪值时能保持与原图的高相似度。
- 探讨两种技术的应用场景与优势。
- VAE内补编码器 适合创造全新内容,与原图无关联。
- Latent噪波遮罩适合在保留原图特征的基础上进行局部调整,如动物种类的替换。