Flux.1 ComfyUI 对应模型安装及教程指南
这份指南将向介绍如何在 Windows 电脑上使用 ComfyUI 来运行 Flux.1 模型它,包括以下几个主题:
- Flux.1简介
- Flux.1不同版本的概览,包括官方原始版本和开源社区版本
- 在 ComfyUI 中不同 Flux 版本的对应安装和工作流示例
- 与Flux.1相关的资源,例如LoRA等。
在本文中,我将会介绍不同版本的 FLux model 以及对应的工作流,由于加载对应的工作流需要你升级到最新版本的 ComfyUI,所以开始前,请将 ComfyUI 升级到最新版本 另外本教程将会涉及插件的安装,如果你不了解插件安装,请先阅读 ComfyUI 插件安装教程
Flux.1 简介
Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件(多个版本),Flux.1具有出色的文字生成能力和语言理解能力。 FLUX.1 在视觉质量、图像细节方面有显著优势,比如文字生成、复杂构图、人手描绘等方面表现良好。其手部细节得到了优化与增强,相比 Stable Diffusion 模型的畸形手指,FLUX.1 模型要正常得多。图像质量也有所增强,拉近了和最强文生图软件 Midjourney 的距离。 Black Forest Labs,一家由Stability AI的前核心成员Robin Rombach 创立的新团队。
Black Forest Labs 官网: https://blackforestlabs.ai/ (opens in a new tab)
Flux.1 官方原始版本介绍
这里我列举了目前 Flux.1 官方推出的 3 个版本,但是官方版本对硬件要求较高,目前已经有诸多开源版本,对硬件要求较低,你可以按需选择
更多其它信息你可以前往 Flux.1 仓库查看 https://github.com/black-forest-labs/flux (opens in a new tab)
Flux.1 的硬件需求
官方原始版本对硬件要求较高,最低显存要求:8-12GB或更高(渲染速度较慢) 推荐显存:16-24GB
目前已经出现多个开源社区版本,对硬件要求较低,比如 GGUF 版本最低显存要求 6GB 即可
Flux.1 官方及开源社区版本可下载版本
Flux.1 目前除了官方推出的 3 个模型,但其中只有 Dev 和 Schnell 版本是开源的,但由于 Flux 对硬件的要求,目前开源社区基于原始版本也已经迭代了多个版本,主要有:
- Black Forest Labs 官方版本 dev (opens in a new tab) 、 schnell (opens in a new tab)
- ComfyUI FP8 版本 dev (opens in a new tab) 、schnell (opens in a new tab)
- Kijia FP8 版本 dev (opens in a new tab) 、schnell (opens in a new tab)
- lllyasviel BNB NF4 V2 版本 dev (opens in a new tab)
- City96 GGUF 版本 dev (opens in a new tab) 、 schnell (opens in a new tab)
后续有新的版本我也会在此文更新,所以别忘了收藏这篇文章,不同版本对应信息如下,虽然表格中提供了下载链接,但我建议你根据不同的工作流来单独下载模型,而不是在下面的表格中直接下载对应的模型文件
作者 | 模型名称 | 可商用 | ControlNet 以及 LoRA支持 | 特性 | 显存要求 | 文件大小 | 下载地址 |
---|---|---|---|---|---|---|---|
Black Forest Labs | Flux.1 Dev | 否 | 支持 | 需要下载 CLIP、VAE、UNET等几个模型 | 16GB+ | 23.8GB | 下载 (opens in a new tab) |
Black Forest Labs | Flux.1 Schnell | 是 | 支持 | 需要下载 CLIP、VAE、UNET等几个模型 | 16GB+ | 23.8GB | 下载 (opens in a new tab) |
ComfyUI | Flux.1 Dev FP8 | 否 | 支持 | 融合 Clip 及 VAE,仅需要下载一个模型 | 8GB+ | 17.2GB | 下载 (opens in a new tab) |
ComfyUI | Flux.1 Schnell FP8 | 是 | 支持 | 融合 Clip 及 VAE,仅需要下载一个模型 | 8GB+ | 17.2GB | 下载 (opens in a new tab) |
Kijia | Flux.1 Dev FP8 | 否 | 支持 | 融合 Clip 及 VAE,仅需要下载一个模型 | 8GB+ | 下载 (opens in a new tab) | |
Kijia | Flux.1 Schnell FP8 | 是 | 支持 | 融合 Clip 及 VAE,仅需要下载一个模型 | 8GB+ | 下载 (opens in a new tab) | |
lllyasviel | Flux.1 Dev BNB NF4 V1 | 否 | 支持 | 融合 Clip 及 VAE,仅需要下载一个模型,需要安装ComfyUI_bitsandbytes_NF4插件 (opens in a new tab) | 6GB+ | 11.5GB | 下载 (opens in a new tab) |
lllyasviel | Flux.1 Dev BNB NF4 V2 | 否 | 支持 | 融合 Clip 及 VAE,仅需要下载一个模型,需要安装ComfyUI_bitsandbytes_NF4插件 (opens in a new tab) | 6GB+ | 12GB | 下载 (opens in a new tab) |
City96 | Flux.1 Dev GGUF | 否 | 支持 | 需要下载 CLIP、VAE、UNET等几个模型 ,需要安装ComfyUI-GGUF插件 (opens in a new tab) | 6GB+ | 12GB | 下载 (opens in a new tab) |
City96 | Flux.1 Schnell GGUF | 是 | 支持 | 需要下载 CLIP、VAE、UNET等几个模型 ,需要安装ComfyUI-GGUF插件 (opens in a new tab) | 6GB+ | 12GB | 下载 (opens in a new tab) |
要在ComfyUI中使用Flux.1,你需要升级到最新的ComfyUI版本。如果你还没有更新ComfyUI,可以按照下面的文章进行升级或安装指导。
下面提供了 4 种不同版本的 Flux.1 工作流,如果你的电脑显存较大,可以考虑使用 Flux.1 原始版本的工作流,如果你的电脑显存较小或者性能不足建议直接使用 GGUF 版本的工作流
原始版本 Flux.1 ComfyUI 工作流指南
原始版本工作流较为复杂,需要安装多个文件,此部分教程包括两个部分
- CLIP、VAE、UNET 模型的下载安装
- Flux.1 原始版本复杂工作流,包括 Dev 和 Schnell 版本以及低显存版本的工作流示例
第一部分: CLIP、VAE、UNET 模型的下载安装
下载 ComfyUI flux_text_encoders、clip 模型
ComfyUI flux_text_encoders on hugging face (opens in a new tab)
模型名称 | 大小 | 说明 | Link |
---|---|---|---|
clip_l.safetensors | 246 MB | CLIP文件 | 下载 (opens in a new tab) |
t5xxl_fp8_e4m3fn.safetensors (推荐) | 4.89 GB | 低显存 (8-12GB) | 下载 (opens in a new tab) |
t5xxl_fp16.safetensors | 9.79 GB | 高显存,超过 32GB . | 下载 (opens in a new tab) |
- 下载 clip_l.safetensors
- 下载 t5xxl_fp8_e4m3fn.safetensors 或 t5xxl_fp16.safetensors 取决你你的显存
- 下载后的模型存放到
ComfyUI/models/text_encoders/
文件夹.
下载 FLux.1 VAE 模型
FLUX.1-schnell on hugging face (opens in a new tab)
文件名称 | 文件尺寸 | 下载链接 | 备注 |
---|---|---|---|
ae.safetensors | 335 MB | 下载 (opens in a new tab) |
- 下载
ae.safetensors
模型 - 将对应模型放置到
ComfyUI/models/vae
文件夹 - 为了方便以后的使用,建议将模型名称修改为
flux_ae.safetensors
;
下载 FLux.1 UNET 模型
FLUX.1-schnell on hugging face (opens in a new tab)
文件名称 | 文件尺寸 | 下载链接 | 备注 |
---|---|---|---|
flux1-schnell.safetensors | 23.8GB | Download (opens in a new tab) | 低显存用户 |
flux1-dev.safetensors | 23.8GB | Download (opens in a new tab) | 高显存用户 |
- 下载
flux1-schnell.safetensors
- 将对应的文件存放至
ComfyUI/models/unet/
folder
第二部分: Flux.1 ComfyUI 原版工作流示例文件
ComfyUI 官方 Flux.1 工作流示例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ (opens in a new tab) 下载下面的工作流文件,并在 ComfyUI中导入对应的工作流
Flux.1 Dev ComfyUI 工作流示例
Flux.1 Schnell ComfyUI 工作流示例
Flux.1 under 12GB VRAM 工作流示例
https://civitai.com/posts/5006398 (opens in a new tab)
Comfy ORG 的 FP8 版本 Flux.1 工作流
下面的模型是由 ComfyUI.org 提供的,你只需要下载一个文件就可以运行并使用 Flux 模型了
模型名称 | 文件尺寸 | 下载链接 |
---|---|---|
flux1-dev-fp8 | 17.2GB | 下载 (opens in a new tab) |
flux1-schnell-fp8 | 17.2GB | 下载 (opens in a new tab) |
- 选择你需要的模型版本
- 将对应的模型存放至
ComfyUI/models/checkpoints/
目录下,建议新建一个文件夹存放,如ComfyUI/models/checkpoints/flux
你也可以使用文章开头提到的 Kijia 的 FP8 版本 Flux.1 模型,不过由于文件命名相似,建议下载之后重命名文件或者新建单独文件夹来区分
Flux dev FP8 Checkpoint 版本工作流示例
Flux Schnell FP8 Checkpoint 版本工作流示例
NF4 版本 Flux.1 工作流
作者:lllyasviel (opens in a new tab) 首先你需要安装对应的插件: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 (opens in a new tab) 插件安装教程请参考ComfyUI 插件安装教程
NF4 版本模型及插件安装
模型名称 | 地址 |
---|---|
flux1-dev-bnb-nf4 | 下载 (opens in a new tab) |
lllyasviel 制作了两个版本的 NF4 版本的 Flux 模型,请直接下载 V2 版本,这个版本的细节和效果更好
- 安装ComfyUI_bitsandbytes_NF4插件 (opens in a new tab), 如果你不知道如何安装插件,可以参考ComfyUI 插件安装教程
- 下载 flux1-dev-bnb-nf4-v2 (opens in a new tab) 文件,将下载的文件放置在
comfyui/models/checkpoints
目录下
NF4 版本 Flux.1 工作流示例
GGUF 版本 Flux.1 工作流
作者: City96 (opens in a new tab) 项目地址: https://github.com/city96/ComfyUI-GGUF (opens in a new tab)
City96 (opens in a new tab) 提供了多个不同质量的 GGUF 版本 Flux 模型,如果你在对应仓库不知道该下载哪个版本的模型,下面是一个简单的引导规则
- Q 后面的数字越大,需要的显存越大,同时生成图片的质量越高,比如 Q2 需要的显存较小但生成的图片质量较低,Q8 需要的显存较大但生成的图片质量较高
- 你也可以根据模型的文件大小来判断对应的质量,文件越大通常意味着质量越高需要的显存越大
安装插件和下载模型
- 下载 Flux GGUF dev 模型 (opens in a new tab) 或 Flux GGUF schnell 模型 (opens in a new tab) 并将模型文件放置在
comfyui/models/unet
目录下 - 下载 t5-v1_1-xxl-encoder-gguf (opens in a new tab),并将模型文件放置在
comfyui/models/clip
目录下 - 下载 clip_l.safetensors (opens in a new tab) 并将模型文件放置在
comfyui/models/clip
目录下 - 下载 ae.safetensors (opens in a new tab) 并将模型文件放置在
comfyui/models/vae
目录下,建议重命名为flux_ae.safetensors
- 安装 ComfyUI-GGUF (opens in a new tab) 插件,如果你不知道如何安装插件,可以参考ComfyUI 插件安装教程
GGUF 版本 Flux.1 工作流示例
在线运行 Flux.1 的方式
下面是由官方提供的可以在线运行 Flux.1 的API或者在线版本
huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev (opens in a new tab)
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell (opens in a new tab)
replicate: https://replicate.com/black-forest-labs (opens in a new tab)
mystic.ai: https://www.mystic.ai/black-forest-labs (opens in a new tab)
fal.ai: https://fal.ai/models/fal-ai/flux/schnell (opens in a new tab)
优化 ComfyUI 和 Windows 的设置来获得更好的运行体验
这些步骤旨在优化 Windows 系统设置,使其能够最大限度地利用系统资源。此外,在运行Flux.1模型与ComfyUI时,请避免运行其他软件以减少内存占用。
Windows 虚拟内存设置
如上图,由于原始教程为英文版本,对应截图设置菜单中文名称为
- 在系统中找到 高级系统设置
- 高级选项卡 性能 点击 设置
- 在性能选项中,虚拟内存部分,点击更改
- 勾选第一个选项卡,并点击保存按钮
问题解决
爆显存了怎么办?
可以尝试使用 FP8 单文件版本的模型 或者 GGUF 版本的模型
Flux.1 资源
Flux workflow example
OpenArt 上有许多 Flux.1 的workflow 参考: https://openart.ai/workflows/all?keyword=flux (opens in a new tab)
Flux ControlNet
Flux ControlNet collections: https://huggingface.co/XLabs-AI/flux-controlnet-collections (opens in a new tab)
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha (opens in a new tab)
FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting (opens in a new tab)
Flux IP-Adapter
IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter (opens in a new tab)
Flux LoRA
https://huggingface.co/XLabs-AI/flux-RealismLora (opens in a new tab) 照片级LoRA for FLUX.1-dev model by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux (opens in a new tab) alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime (opens in a new tab) 漫画风格 https://huggingface.co/davisbro/half_illustration (opens in a new tab) 写实插画混合 https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur (opens in a new tab) AntiBlur
Flux.1 LoRA 和其它资源可以前往 civitai (opens in a new tab)
提示:最新版的 ComfyUI 在使用多个 FLUX Lora 模型时,很容易显存占用过多,而且这个问题与 LoRA 大小没有关系,就算是 4090 显卡也同样容易出现类似问题 你可以尝试使用 GGUF 版本的模型,或者采用 Xlab 的 Lora 加载 ComfyUI 的工作流以尝试解决这个问题
本地训练 Flux LoRA
Flux Gym - 最低仅需要 12GB 显存即可训练Flux LoRA https://github.com/cocktailpeanut/fluxgym (opens in a new tab)
在线训练 Flux LoRA
Replicate 上有作者提供了一个 LoRA 训练工具: "ostris/flux-dev-lora-trainer (opens in a new tab)," which allows you to train your own Lora-style model with a minimum of just 10 images. You can give it a try.
- 价格:这个模型的训练是在Nvidia H100 GPU硬件上进行的,每秒钟的费用是0.001528美元。
- 如何训练:要了解如何训练这个模型,请阅读这个文档 (opens in a new tab)
- 许可证:所有Flux-Dev LoRAs都拥有与FLUX.1-dev原始基础模型相同的许可证。
FLUX.1 Training by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 (opens in a new tab) Train Flux LoRA by FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 (opens in a new tab) DreamBooth training example for FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md (opens in a new tab)