Flux.1 ComfyUI 对应模型安装及教程指南
这份指南将向介绍如何在 Windows 电脑上使用 ComfyUI 来运行 Flux.1 模型它,包括以下几个主题:
- Flux.1简介
- Flux.1不同版本的概览
- 硬件需求
- 如何安装并使用ComfyUI运行Flux.1
- 与Flux.1相关的资源,例如LoRA等。
在本文中,我将会介绍不同版本的 FLux model, 主要是官方版本和第三方蒸馏的版本,另外 ComfyUI 还提供了单文件版本的 FP8
- 第一部分的教程将会主要讲解官方版本和第三方蒸馏版本,这一版本需要安装的相关模型会较多
- 第二部分将使用 ComfyUI 的FP8版本,只需要安装一个 Checkpoint 模型就可以直接使用了
Flux.1 简介
Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件(多个版本),Flux.1具有出色的文字生成能力和语言理解能力。 FLUX.1 在视觉质量、图像细节方面有显著优势,比如文字生成、复杂构图、人手描绘等方面表现良好。其手部细节得到了优化与增强,相比 Stable Diffusion 模型的畸形手指,FLUX.1 模型要正常得多。图像质量也有所增强,拉近了和最强文生图软件 Midjourney 的距离。 Black Forest Labs,一家由Stability AI的前核心成员Robin Rombach 创立的新团队。
Black Forest Labs 官网: https://blackforestlabs.ai/ (opens in a new tab)
Flux ComfyUI 硬件需求
最低显存要求:8-12GB或更高(渲染速度较慢) 推荐显存:16-24GB
Flux.1 不同版本模型
Flux.1 官方版本
更多其它信息你可以前往 Flux.1 仓库查看 https://github.com/black-forest-labs/flux (opens in a new tab)
Flux.1 ComfyUI 安装设置指南
安装或升级 ComfyUI
要在ComfyUI中使用Flux.1,你需要升级到最新的ComfyUI版本。如果你还没有更新ComfyUI,可以按照下面的文章进行升级或安装指导。
下载 ComfyUI flux_text_encoders clip 模型
ComfyUI flux_text_encoders on hugging face (opens in a new tab)
模型名称 | 大小 | 说明 | Link |
---|---|---|---|
clip_l.safetensors | 246 MB | Download (opens in a new tab) | |
t5xxl_fp8_e4m3fn.safetensors (推荐) | 4.89 GB | 低显存 (8-12GB) | 下载 (opens in a new tab) |
t5xxl_fp16.safetensors | 9.79 GB | 高显存,超过 32GB . | 下载 (opens in a new tab) |
- 下载 clip_l.safetensors
- 下载 t5xxl_fp8_e4m3fn.safetensors 或 t5xxl_fp16.safetensors 取决你你的显存
- 下载后的模型存放到
ComfyUI/models/text_encoders/
文件夹.
下载 FLux.1 VAE 模型
FLUX.1-schnell on hugging face (opens in a new tab)
文件名称 | 大小 | 链接 |
---|---|---|
ae.safetensors | 335 MB | 下载 (opens in a new tab) |
- 下载
ae.safetensors
模型 - 将对应模型放置到
ComfyUI/models/vae
文件夹 - 为了方便以后的使用,建议将模型名称修改为
flux_ae.safetensors
;
下载 FLux.1 UNET 模型
FLUX.1-schnell on hugging face (opens in a new tab)
文件名称 | 文件尺寸 | 下载链接 | 备注 |
---|---|---|---|
flux1-schnell.safetensors | 23.8GB | Download (opens in a new tab) | 低显存用户 |
flux1-dev.safetensors | 23.8GB | Download (opens in a new tab) | 高显存用户 |
- 下载
flux1-schnell.safetensors
- 将对应的文件存放至
ComfyUI/models/unet/
folder
Flux.1 ComfyUI 工作流示例文件
ComfyUI 官方 Flux.1 工作流示例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ (opens in a new tab)
Flux.1 Dev ComfyUI 工作流示例
Flux.1 Schnell ComfyUI 工作流示例
Flux.1 under 12GB VRAM 工作流示例
https://civitai.com/posts/5006398 (opens in a new tab)
FP8 Checkpoint 版本的 Flux 模型
下面的模型是由ComfyUI org 提供的,你只需要下载一个文件就可以运行并使用 Flux 模型了
模型名称 | 文件尺寸 | 下载链接 |
---|---|---|
flux1-dev-fp8 | 17.2GB | 下载 (opens in a new tab) |
flux1-schnell-fp8 | 17.2GB | 下载 (opens in a new tab) |
- 选择你需要的模型版本
- 将对应的模型存放至
ComfyUI/models/checkpoints/
Flux dev FP8 Checkpoint 版本工作流示例
Flux Schnell FP8 Checkpoint 版本工作流示例
优化 ComfyUI 和 Windows 的设置来获得更好的运行体验
这些步骤旨在优化 Windows 系统设置,使其能够最大限度地利用系统资源。此外,在运行Flux.1模型与ComfyUI时,请避免运行其他软件以减少内存占用。
Windows 虚拟内存设置
如上图,由于原始教程为英文版本,对应截图设置菜单中文名称为
- 在系统中找到 高级系统设置
- 高级选项卡 性能 点击 设置
- 在性能选项中,虚拟内存部分,点击更改
- 勾选第一个选项卡,并点击保存按钮
问题解决
爆显存了怎么办?
可以尝试使用 FP8 单文件版本的模型 或者 GGUF 版本的模型
在线运行 Flux.1 的方式
下面是由官方提供的可以在线运行 Flux.1 的API或者在线版本
huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev (opens in a new tab)
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell (opens in a new tab)
replicate: https://replicate.com/black-forest-labs (opens in a new tab)
mystic.ai: https://www.mystic.ai/black-forest-labs (opens in a new tab)
fal.ai: https://fal.ai/models/fal-ai/flux/schnell (opens in a new tab)
Flux.1 资源
Flux GGUF quants
The GGUF quants are there: https://huggingface.co/city96/FLUX.1-dev-gguf (opens in a new tab) Here's the node to load them: https://github.com/city96/ComfyUI-GGUF (opens in a new tab) via: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/ (opens in a new tab)
Flux LoRA
https://huggingface.co/XLabs-AI/flux-RealismLora (opens in a new tab) 照片级LoRA for FLUX.1-dev model by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux (opens in a new tab) alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime (opens in a new tab) 漫画风格 https://huggingface.co/davisbro/half_illustration (opens in a new tab) 写实插画混合
Flux.1 LoRA 和其它资源可以前往 civitai (opens in a new tab)
提示:最新版的 ComfyUI 在使用多个 FLUX Lora 模型时,很容易显存占用过多,而且这个问题与 LoRA 大小没有关系,就算是 4090 显卡也同样容易出现类似问题 你可以尝试使用 GGUF 版本的模型,或者采用 Xlab 的 Lora 加载 ComfyUI 的工作流以尝试解决这个问题
Flux workflow example
OpenArt 上有许多 Flux.1 的workflow 参考: https://openart.ai/workflows/all?keyword=flux (opens in a new tab)
Flux ControlNet
Flux ControlNet collections: https://huggingface.co/XLabs-AI/flux-controlnet-collections (opens in a new tab)
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha (opens in a new tab)
Flux IP-Adapter
IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter (opens in a new tab)
本地训练 Flux LoRA
Flux Gym - 最低仅需要 12GB 显存即可训练Flux LoRA https://github.com/cocktailpeanut/fluxgym (opens in a new tab)
在线训练 Flux LoRA
Replicate 上有作者提供了一个 LoRA 训练工具: "ostris/flux-dev-lora-trainer (opens in a new tab)," which allows you to train your own Lora-style model with a minimum of just 10 images. You can give it a try.
- 价格:这个模型的训练是在Nvidia H100 GPU硬件上进行的,每秒钟的费用是0.001528美元。
- 如何训练:要了解如何训练这个模型,请阅读这个文档 (opens in a new tab)
- 许可证:所有Flux-Dev LoRAs都拥有与FLUX.1-dev原始基础模型相同的许可证。
FLUX.1 Training by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 (opens in a new tab) Train Flux LoRA by FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 (opens in a new tab) DreamBooth training example for FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md (opens in a new tab)