Skip to content
ComfyUI 教程ComfyUI 进阶教程2. FLUX.1 文生图教程

Flux.1 ComfyUI 对应模型安装及教程指南

这份指南将向介绍如何在 Windows 电脑上使用 ComfyUI 来运行 Flux.1 模型它,包括以下几个主题:

  • Flux.1简介
  • Flux.1不同版本的概览,包括官方原始版本和开源社区版本
  • 在 ComfyUI 中不同 Flux 版本的对应安装和工作流示例
  • 与Flux.1相关的资源,例如LoRA等。

在本文中,我将会介绍不同版本的 FLux model 以及对应的工作流,由于加载对应的工作流需要你升级到最新版本的 ComfyUI,所以开始前,请将 ComfyUI 升级到最新版本 另外本教程将会涉及插件的安装,如果你不了解插件安装,请先阅读 ComfyUI 插件安装教程

Flux.1 简介

Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件(多个版本),Flux.1具有出色的文字生成能力和语言理解能力。 FLUX.1 在视觉质量、图像细节方面有显著优势,比如文字生成、复杂构图、人手描绘等方面表现良好。其手部细节得到了优化与增强,相比 Stable Diffusion 模型的畸形手指,FLUX.1 模型要正常得多。图像质量也有所增强,拉近了和最强文生图软件 Midjourney 的距离。 Black Forest Labs,一家由Stability AI的前核心成员Robin Rombach 创立的新团队。

Black Forest Labs 官网: https://blackforestlabs.ai/

Flux.1 官方原始版本介绍

这里我列举了目前 Flux.1 官方推出的 3 个版本,但是官方版本对硬件要求较高,目前已经有诸多开源版本,对硬件要求较低,你可以按需选择

特性/版本Flux.1 Pro 版本Flux.1 Dev 版本Flux.1 Schnell 版本
概述最先进的性能图像生成,在提示跟随、视觉质量、图像细节和输出多样性方面出色开源模型,质量和提示遵循能力与 [pro] 相似但更高效适合有显卡的用户开源模型,最快的模型,适用于本地开发和个人使用,响应速度快,配置要求低
视觉质量顶级类似 Pro 版本良好
图像细节顶级类似 Pro 版本良好
输出多样性中等中等
提示词遵循中等中等
手部细节优化
价格(每张图片)$0.055API: $0.03,下载免费API: $0.003,下载免费
许可类型企业解决方案,仅支持API开源,FLUX.1-dev Non-Commercial LicenseApache2.0 可商用
模型下载不可下载,仅可API调用支持下载 Flux.1 Dev GitHub repositoryFlux.1 Dev Hugging Face支持下载 Flux.1 Schnell GitHub repositoryFlux.1 Schnell on Hugging Face
API 调用FLUX.1 [pro] APIFlux.1 Pro Replicate APIFlux.1 Pro FAL AI APIFlux.1 Pro Mystic AI APIFlux.1 Dev Replicate APIFlux.1 Dev FAL AI APIMystic AIFlux.1 Schnell Replicate APITry Flux.1 Schnell on FAL AIFlux.1 Schnell Mystic AI API
适用场景专业用途,企业定制开发和个人使用个人及商业使用

更多其它信息你可以前往 Flux.1 仓库查看 https://github.com/black-forest-labs/flux

Flux.1 的硬件需求

官方原始版本对硬件要求较高,最低显存要求:8-12GB或更高(渲染速度较慢) 推荐显存:16-24GB

目前已经出现多个开源社区版本,对硬件要求较低,比如 GGUF 版本最低显存要求 6GB 即可

Flux.1 官方及开源社区版本可下载版本

Flux.1 目前除了官方推出的 3 个模型,但其中只有 Dev 和 Schnell 版本是开源的,但由于 Flux 对硬件的要求,目前开源社区基于原始版本也已经迭代了多个版本,主要有:

后续有新的版本我也会在此文更新,所以别忘了收藏这篇文章,不同版本对应信息如下,虽然表格中提供了下载链接,但我建议你根据不同的工作流来单独下载模型,而不是在下面的表格中直接下载对应的模型文件

作者模型名称可商用ControlNet 以及 LoRA支持特性显存要求文件大小下载地址
Black Forest LabsFlux.1 Dev支持需要下载 CLIP、VAE、UNET等几个模型16GB+23.8GB下载
Black Forest LabsFlux.1 Schnell支持需要下载 CLIP、VAE、UNET等几个模型16GB+23.8GB下载
ComfyUIFlux.1 Dev FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+17.2GB下载
ComfyUIFlux.1 Schnell FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+17.2GB下载
KijiaFlux.1 Dev FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+下载
KijiaFlux.1 Schnell FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+下载
lllyasvielFlux.1 Dev BNB NF4 V1支持融合 Clip 及 VAE,仅需要下载一个模型,需要安装ComfyUI_bitsandbytes_NF4插件6GB+11.5GB下载
lllyasvielFlux.1 Dev BNB NF4 V2支持融合 Clip 及 VAE,仅需要下载一个模型,需要安装ComfyUI_bitsandbytes_NF4插件6GB+12GB下载
City96Flux.1 Dev GGUF支持需要下载 CLIP、VAE、UNET等几个模型 ,需要安装ComfyUI-GGUF插件6GB+12GB下载
City96Flux.1 Schnell GGUF支持需要下载 CLIP、VAE、UNET等几个模型 ,需要安装ComfyUI-GGUF插件6GB+12GB下载

要在ComfyUI中使用Flux.1,你需要升级到最新的ComfyUI版本。如果你还没有更新ComfyUI,可以按照下面的文章进行升级或安装指导。

💡

下面提供了 4 种不同版本的 Flux.1 工作流,如果你的电脑显存较大,可以考虑使用 Flux.1 原始版本的工作流,如果你的电脑显存较小或者性能不足建议直接使用 GGUF 版本的工作流

原始版本 Flux.1 ComfyUI 工作流指南

原始版本工作流较为复杂,需要安装多个文件,此部分教程包括两个部分

  • CLIP、VAE、UNET 模型的下载安装
  • Flux.1 原始版本复杂工作流,包括 Dev 和 Schnell 版本以及低显存版本的工作流示例

第一部分: CLIP、VAE、UNET 模型的下载安装

下载 ComfyUI flux_text_encoders、clip 模型

ComfyUI flux_text_encoders on hugging face

模型名称大小说明Link
clip_l.safetensors246 MBCLIP文件下载
t5xxl_fp8_e4m3fn.safetensors (推荐)4.89 GB低显存 (8-12GB)下载
t5xxl_fp16.safetensors9.79 GB高显存,超过 32GB .下载
  1. 下载 clip_l.safetensors
  2. 下载 t5xxl_fp8_e4m3fn.safetensorst5xxl_fp16.safetensors 取决你你的显存
  3. 下载后的模型存放到 ComfyUI/models/text_encoders/ 文件夹.

下载 FLux.1 VAE 模型

FLUX.1-schnell on hugging face

文件名称文件尺寸下载链接备注
ae.safetensors335 MB下载
  1. 下载 ae.safetensors 模型
  2. 将对应模型放置到 ComfyUI/models/vae 文件夹
  3. 为了方便以后的使用,建议将模型名称修改为 flux_ae.safetensors;

下载 FLux.1 UNET 模型

FLUX.1-schnell on hugging face

文件名称文件尺寸下载链接备注
flux1-schnell.safetensors23.8GBDownload低显存用户
flux1-dev.safetensors23.8GBDownload高显存用户
  1. 下载 flux1-schnell.safetensors
  2. 将对应的文件存放至 ComfyUI/models/unet/ folder

第二部分: Flux.1 ComfyUI 原版工作流示例文件

ComfyUI 官方 Flux.1 工作流示例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ 下载下面的工作流文件,并在 ComfyUI中导入对应的工作流

Flux.1 Dev ComfyUI 工作流示例

Flux.1 Schnell ComfyUI 工作流示例

Flux.1 under 12GB VRAM 工作流示例

https://civitai.com/posts/5006398

GGUF 版本 Flux.1 工作流(推荐)

作者: City96 项目地址: https://github.com/city96/ComfyUI-GGUF

💡

City96 提供了多个不同质量的 GGUF 版本 Flux 模型,如果你在对应仓库不知道该下载哪个版本的模型,下面是一个简单的引导规则

  • Q 后面的数字越大,需要的显存越大,同时生成图片的质量越高,比如 Q2 需要的显存较小但生成的图片质量较低,Q8 需要的显存较大但生成的图片质量较高
  • 你也可以根据模型的文件大小来判断对应的质量,文件越大通常意味着质量越高需要的显存越大

安装插件和下载模型

  1. 下载 Flux GGUF dev 模型Flux GGUF schnell 模型 并将模型文件放置在 comfyui/models/unet 目录下
  2. 下载 t5-v1_1-xxl-encoder-gguf,并将模型文件放置在 comfyui/models/clip 目录下
  3. 下载 clip_l.safetensors 并将模型文件放置在 comfyui/models/clip 目录下
  4. 下载 ae.safetensors 并将模型文件放置在 comfyui/models/vae 目录下,建议重命名为 flux_ae.safetensors
  5. 安装 ComfyUI-GGUF 插件,如果你不知道如何安装插件,可以参考ComfyUI 插件安装教程

GGUF 版本 Flux.1 工作流示例

Comfy ORG 的 FP8 版本 Flux.1 工作流

下面的模型是由 ComfyUI.org 提供的,你只需要下载一个文件就可以运行并使用 Flux 模型了

模型名称文件尺寸下载链接
flux1-dev-fp817.2GB下载
flux1-schnell-fp817.2GB下载
  1. 选择你需要的模型版本
  2. 将对应的模型存放至 ComfyUI/models/checkpoints/ 目录下,建议新建一个文件夹存放,如 ComfyUI/models/checkpoints/flux

你也可以使用文章开头提到的 Kijia 的 FP8 版本 Flux.1 模型,不过由于文件命名相似,建议下载之后重命名文件或者新建单独文件夹来区分

Flux dev FP8 Checkpoint 版本工作流示例

Flux Schnell FP8 Checkpoint 版本工作流示例

NF4 版本 Flux.1 工作流

作者:lllyasviel 首先你需要安装对应的插件: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 插件安装教程请参考ComfyUI 插件安装教程

NF4 版本模型及插件安装

模型名称地址
flux1-dev-bnb-nf4下载

lllyasviel 制作了两个版本的 NF4 版本的 Flux 模型,请直接下载 V2 版本,这个版本的细节和效果更好

  1. 安装ComfyUI_bitsandbytes_NF4插件, 如果你不知道如何安装插件,可以参考ComfyUI 插件安装教程
  2. 下载 flux1-dev-bnb-nf4-v2 文件,将下载的文件放置在 comfyui/models/checkpoints 目录下

NF4 版本 Flux.1 工作流示例

在线运行 Flux.1 的方式

下面是由官方提供的可以在线运行 Flux.1 的API或者在线版本 huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell

优化 ComfyUI 和 Windows 的设置来获得更好的运行体验

这些步骤旨在优化 Windows 系统设置,使其能够最大限度地利用系统资源。此外,在运行Flux.1模型与ComfyUI时,请避免运行其他软件以减少内存占用。

Windows 虚拟内存设置

windows virtual memory setting

如上图,由于原始教程为英文版本,对应截图设置菜单中文名称为

  1. 在系统中找到 高级系统设置
  2. 高级选项卡 性能 点击 设置
  3. 在性能选项中,虚拟内存部分,点击更改
  4. 勾选第一个选项卡,并点击保存按钮

问题解决

爆显存了怎么办?

可以尝试使用 FP8 单文件版本的模型 或者 GGUF 版本的模型

Flux.1 资源

Flux workflow example

OpenArt 上有许多 Flux.1 的workflow 参考: https://openart.ai/workflows/all?keyword=flux

Flux ControlNet

Flux ControlNet collections: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora 照片级LoRA for FLUX.1-dev model by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime 漫画风格 https://huggingface.co/davisbro/half_illustration 写实插画混合 https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur

Flux.1 LoRA 和其它资源可以前往 civitai

提示:最新版的 ComfyUI 在使用多个 FLUX Lora 模型时,很容易显存占用过多,而且这个问题与 LoRA 大小没有关系,就算是 4090 显卡也同样容易出现类似问题 你可以尝试使用 GGUF 版本的模型,或者采用 Xlab 的 Lora 加载 ComfyUI 的工作流以尝试解决这个问题

本地训练 Flux LoRA

Flux Gym - 最低仅需要 12GB 显存即可训练Flux LoRA https://github.com/cocktailpeanut/fluxgym

在线训练 Flux LoRA

Replicate 上有作者提供了一个 LoRA 训练工具: “ostris/flux-dev-lora-trainer,” which allows you to train your own Lora-style model with a minimum of just 10 images. You can give it a try.

  • 价格:这个模型的训练是在Nvidia H100 GPU硬件上进行的,每秒钟的费用是0.001528美元。
  • 如何训练:要了解如何训练这个模型,请阅读这个文档
  • 许可证:所有Flux-Dev LoRAs都拥有与FLUX.1-dev原始基础模型相同的许可证。

FLUX.1 Training by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 Train Flux LoRA by FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 DreamBooth training example for FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md