IC-Light:适用于 ComfyUI 的图像重光照模型

ComfyUI Wiki

IC-Light 是 lllyasviel 的图像重光照系列:开放 V1 模型权重,以及目前仅在官方在线演示中运行的基于 FLUX 的 V2。

l

lllyasviel 的 IC-Light

图像编辑重光照开源

由 lllyasviel(ControlNet 作者)开发的图像重光照模型系列。V1 以三个开放的 SD 1.5 模型形式发布,可根据提示词重新渲染光照;V2 转向 FLUX,引入前景条件,可通过官方在线演示访问。

开发者lllyasviel
发布日期2024-05(V1)、2024-10(V2 预览)
架构基于 SD 1.5(V1)、基于 FLUX(V2)
许可证OpenRAIL-M(V1 权重)、非商业(V2)
功能重光照、前景条件、背景替换

概述

IC-Light 能在不改变照片内容的前提下为照片重新打光。你给出一段描述目标光照的文本提示词(可选配环境贴图),模型就会重新渲染场景,让主体以这种方式被照亮。前景条件变体保持主体的像素不变,只移动光照,这正是其输出可用于合成的原因。

V1 模型

V1 基于 SD 1.5 构建,发布了三个权重,全部托管在 Hugging Face:

模型条件说明
iclight_sd15_fc.safetensors文本 + 前景默认模型;也可以用初始 Latent 引导重光照
iclight_sd15_fcon.safetensors文本 + 前景与 fc 相同,但使用偏移噪波训练;在作者的用户研究中略弱
iclight_sd15_fbc.safetensors文本 + 前景 + 背景背景也会作为条件,因此整个场景都遵循提示词

IC-Light V2

V2 在 FLUX 上重建了模型,并新增 16 通道 VAE 与原生高分辨率处理,因此能在油画、动漫等风格化输入上保留细节。目前只有前景条件模型可用,且它通过官方 Hugging Face Space 提供服务:V2 的权重本身并未开放,因此没有可下载或在本地运行的模型文件。V2 的输出仅授权用于非商业用途。

ComfyUI 集成

对于 V1,请安装 kijai/ComfyUI-IC-Light,它提供 IC-Light 节点和示例工作流,然后将模型放入 models/checkpoints。对于 V2,工作流就是 IC-Light V2 教程 中所述的在线演示。

许可证

V1 的权重以 CreativeML OpenRAIL-M 发布。原始的 V1 示例使用 BRIA RMBG 1.4 进行背景移除,该模型为非商业许可:如果你要将 IC-Light 用于商业用途,请将其替换为 BiRefNet 之类的模型。IC-Light V2 仅限非商业使用。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…