ControlNet和T2I-Adapter - ComfyUI工作流示例
请注意,在这些示例中,原始图像直接传递给 ControlNet/T2I 适配器。
每个 ControlNet/T2I 适配器需要传递给它的图像具有特定格式,例如深度图、Canny 图等,这取决于特定模型,如果您想要好的结果。
ControlNetApply 节点不会为您将常规图像转换为深度图、Canny 图等。您必须单独进行此操作,或使用节点预处理您的图像,您可以在这里 (opens in a new tab)找到这些节点。
您可以在此处找到最新的 ControlNet 模型文件:原始版本 (opens in a new tab) 或 较小的fp16 safetensors版本 (opens in a new tab)
对于SDXL, stability.ai 发布了 Control Loras ,您可以在这里(等级256) (opens in a new tab) 或 这里(等级128) (opens in a new tab)找到。它们的使用方式与常规ControlNet模型文件完全相同(将它们放在同一个目录中)。
ControlNet 模型文件应放在 ComfyUI/models/controlnet 目录中。
scribble(涂鸦) ControlNet
这是一个如何使用 controlnets 的简单示例,此示例使用 scribble controlnet 和 AnythingV3 (opens in a new tab) 模型。您可以在ComfyUI (opens in a new tab)中加载此图像以获取完整的工作流程。
这是我在此工作流程中使用的输入图像:
T2I-Adapter与ControlNets
T2I-Adapters比ControlNets高效得多,因此我强烈推荐它们。ControlNets会显著降低生成速度,而T2I-Adapters对生成速度几乎没有负面影响。
在ControlNets中,ControlNet模型每次迭代运行一次。对于T2I-Adapter,模型总共只运行一次。
T2I-Adapters在ComfyUI中的使用方式与ControlNets相同:使用ControlNetLoader节点。
这是此示例中将使用的输入图像 来源 (opens in a new tab):
以下是如何使用深度 T2I-Adapter:
以下是如何使用深度Controlnet。请注意,此示例使用DiffControlNetLoader节点,因为使用的controlnet是diff control net。Diff controlnets需要加载模型的权重才能正确加载。DiffControlNetLoader节点也可以用来加载常规controlnet模型。当加载常规controlnet模型时,它的行为将与ControlNetLoader节点相同。
您可以在ComfyUI (opens in a new tab)中加载这些图像以获取完整的工作流程。
姿势 Pose ControlNet
这是此示例中将使用的输入图像:
以下是使用AnythingV3进行第一次通过,使用controlnet,然后使用AOM3A3(abyss orange mix 3)进行第二次通过,而不使用controlnet,并使用它们的VAE的示例。
您可以在ComfyUI (opens in a new tab)中加载此图像以获取完整的工作流程。
混合ControlNets
可以像这样应用多个ControlNets和T2I-Adapters,结果很有趣:
您可以在ComfyUI (opens in a new tab)中加载此图像以获取完整的工作流程。
输入图像: