OpenFill 将 ComfyUI 生成式填充带入 PhotoCraft 与 GIMP
OpenFill 0.2.4 在 GIMP 3 插件之外新增 PhotoCraft 面板:填充、移除、展开与文本生成图像,全部由隐藏的本地 ComfyUI 后端渲染。
Photoshop 的生成式填充,是人们退订之后唯一怀念的功能。OpenFill 将它重建为两个插件:GIMP 3.2 插件先行推出,就在本月早些时候;如今又有了面向 PhotoCraft 的面板,后者是一款可读写分层 PSD 文件的开源 Rust 图像编辑器。
在两个编辑器里,交互方式完全一致。你做出选区,选区即成为蒙版,结果会在单个历史步骤中落到新图层上,因此下方的任何内容都不会被覆盖。无需连线节点图,也无需守着浏览器标签页。在 GIMP 中,这些工具位于 Filters > OpenFill 下;在 PhotoCraft 中,它们是画布旁的一个面板,外加 Filter > Plug-ins > OpenFill。
四项操作
- 根据提示词填充。 选择一块区域,输入类似 "a red door with brass handles" 的内容,按回车。最多可保留或丢弃五个变体。
- 移除对象。 完全不需要提示词:选区被抹除,背景以图像自身的分辨率延续。
- 生成式展开。 把画布边缘向外拖动,或选择一种比例,新的边框就会被绘制出来。提示词为可选。
- 创建。 从提示词生成新图像或新图层,存在选区时按选区尺寸生成。
后端是 ComfyUI,藏在幕后
ComfyUI 随编辑器一同启动,在你工作期间保持热态,并在编辑器关闭时退出。它只监听 127.0.0.1,唯一的网络流量是模型搜索和显式下载,而这些都会按大小和 SHA-256 进行校验。在 Windows 上,安装程序可以自行获取 ComfyUI,包括 AMD 构建;在其他平台上,你需要把它指向已有的安装。
模型管理器并不附带任何模型。它会推荐适合你的显卡和磁盘的权重文件,还会在 ComfyUI 的文件夹中查找你自己的 SD 1.5 图像修复、SDXL 和 FLUX.1 Fill 文件(.safetensors 和 .gguf)。
| 任务 | 默认模型 | 内存 | RTX 4070 Laptop 上的耗时 |
|---|---|---|---|
| 移除对象 | LaMa(RORem,以及用于对比的 FLUX 橡皮擦) | 2 GB | 约 5 秒 |
| 快速填充 | DreamShaper 8 Inpainting | 4 GB | 约 9 秒 |
| 高质量填充 | RealVisXL V5 配合 Fooocus inpaint 补丁 | 8 GB | 20 至 45 秒 |
仍有不足的地方
项目自己的状态清单对粗糙之处毫不讳言,而这些大多出在模型绘制的内容上,而非插件本身:
- FLUX 和 Qwen 的填充、展开与创建都在约 1024 px 下工作,之后再放大,因此在大型图像上结果会偏软。移除不受影响。
- SD 1.5 在平坦区域和小选区上经常忽略提示词。
- FLUX 在 8 GB 显存上速度较慢。
r/comfyui 帖子下的首批回复也指出了同样的偏软问题:汽车被移除的位置留下了一块模糊的补丁。作者将其归因于演示所用的 RealVisXL,它只能以约 1024 px 工作,因此大照片的补丁会被缩小后再放大回去;作者表示,保留更多原始分辨率的改进正在进行中。
可用性
OpenFill 需要 NVIDIA 显卡或 Radeon RX 7000 及更新型号,使用高质量模型时需要 8 GB 显存,可在 Windows 10/11 和 Linux 上运行。GIMP 插件还可在 macOS 上运行。PhotoCraft 支持 Apple Silicon:在项目自己于 16 GB 的 M3 MacBook Air 上进行的测试中,四项操作全部完成,其中移除耗时 4.0 秒,展开在 14.1 秒内把 512 x 384 的图像变为 576 x 448。这些数字只是功能验证,并非速度基准。AMD 支持是新增的,目前只有一位 RX 7800 XT 用户的反馈。
两个构建均为 beta。下载与更新日志位于发布页面;项目声明其与 PhotoCraft 并无关联,并且最初是 Torben Giesselmann 的 gimp-stable-boy 的 GIMP 3 移植版,其中的图像修复工作流图基于 Acly 的 comfyui-inpaint-nodes 构建。
评论
使用 GitHub 登录后即可参与讨论。