ComfyUI unCLIP模型示例

unCLIP模型示例

unCLIP模型是SD模型的版本,特别调整以接收图像概念作为输入,以及您的文本提示。图像是使用这些模型附带的CLIPVision进行编码的,然后由它提取的概念在采样时传递给主模型。

它基本上允许您在提示中使用图像。

以下是如何在ComfyUI中使用它(您可以将其拖放到ComfyUI (opens in a new tab)中以获取工作流程):

Example

noise_augmentation控制模型将尝试遵循图像概念的紧密程度。值越低,它将越遵循概念。

strength是它将如何强烈地影响图像。

可以像这样使用多个图像:

Example

您会注意到它不会以传统意义上的方式混合图像,而是实际上从两个图像中挑选一些概念,并制作出一张连贯的图像。

输入图像:

Example          Example

您可以在这里 (opens in a new tab)找到官方unCLIP检查点

您可以在这里(基于WD1.5 beta 2) (opens in a new tab)这里(基于Illuminati Diffusion) (opens in a new tab)找到我制作的一些基于现有768-v检查点的unCLIP检查点

更高级的工作流程

使用unCLIP检查点的一个好方法是将其用于两阶段工作流程的第一阶段,然后切换到1.x模型进行第二阶段。以下图像的生成方式如下。(您可以将其加载到ComfyUI (opens in a new tab)中以获取工作流程)

Example