2. FLUX.1 文生图教程

Flux.1 ComfyUI 对应模型安装及教程指南

这份指南将向介绍如何在 Windows 电脑上使用 ComfyUI 来运行 Flux.1 模型它,包括以下几个主题:

  • Flux.1简介
  • Flux.1不同版本的概览,包括官方原始版本和开源社区版本
  • 在 ComfyUI 中不同 Flux 版本的对应安装和工作流示例
  • 与Flux.1相关的资源,例如LoRA等。

在本文中,我将会介绍不同版本的 FLux model 以及对应的工作流,由于加载对应的工作流需要你升级到最新版本的 ComfyUI,所以开始前,请将 ComfyUI 升级到最新版本 另外本教程将会涉及插件的安装,如果你不了解插件安装,请先阅读 ComfyUI 插件安装教程

Flux.1 简介

Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件(多个版本),Flux.1具有出色的文字生成能力和语言理解能力。 FLUX.1 在视觉质量、图像细节方面有显著优势,比如文字生成、复杂构图、人手描绘等方面表现良好。其手部细节得到了优化与增强,相比 Stable Diffusion 模型的畸形手指,FLUX.1 模型要正常得多。图像质量也有所增强,拉近了和最强文生图软件 Midjourney 的距离。 Black Forest Labs,一家由Stability AI的前核心成员Robin Rombach 创立的新团队。

Black Forest Labs 官网: https://blackforestlabs.ai/ (opens in a new tab)

Flux.1 官方原始版本介绍

这里我列举了目前 Flux.1 官方推出的 3 个版本,但是官方版本对硬件要求较高,目前已经有诸多开源版本,对硬件要求较低,你可以按需选择

特性/版本Flux.1 Pro 版本Flux.1 Dev 版本Flux.1 Schnell 版本
概述最先进的性能图像生成,在提示跟随、视觉质量、图像细节和输出多样性方面出色开源模型,质量和提示遵循能力与 [pro] 相似但更高效适合有显卡的用户开源模型,最快的模型,适用于本地开发和个人使用,响应速度快,配置要求低
视觉质量顶级类似 Pro 版本良好
图像细节顶级类似 Pro 版本良好
输出多样性中等中等
提示词遵循中等中等
手部细节优化
价格(每张图片)$0.055API: $0.03,下载免费API: $0.003,下载免费
许可类型企业解决方案,仅支持API开源,FLUX.1-dev Non-Commercial License (opens in a new tab)Apache2.0 (opens in a new tab) 可商用
模型下载不可下载,仅可API调用支持下载 Flux.1 Dev GitHub repository (opens in a new tab)Flux.1 Dev Hugging Face (opens in a new tab)支持下载 Flux.1 Schnell GitHub repository (opens in a new tab)Flux.1 Schnell on Hugging Face (opens in a new tab)
API 调用FLUX.1 [pro] API (opens in a new tab)Flux.1 Pro Replicate API (opens in a new tab)Flux.1 Pro FAL AI API (opens in a new tab)Flux.1 Pro Mystic AI API (opens in a new tab)Flux.1 Dev Replicate API (opens in a new tab)Flux.1 Dev FAL AI API (opens in a new tab)Mystic AI (opens in a new tab)Flux.1 Schnell Replicate API (opens in a new tab)Try Flux.1 Schnell on FAL AI (opens in a new tab)Flux.1 Schnell Mystic AI API (opens in a new tab)
适用场景专业用途,企业定制开发和个人使用个人及商业使用

更多其它信息你可以前往 Flux.1 仓库查看 https://github.com/black-forest-labs/flux (opens in a new tab)

Flux.1 的硬件需求

官方原始版本对硬件要求较高,最低显存要求:8-12GB或更高(渲染速度较慢) 推荐显存:16-24GB

目前已经出现多个开源社区版本,对硬件要求较低,比如 GGUF 版本最低显存要求 6GB 即可

Flux.1 官方及开源社区版本可下载版本

Flux.1 目前除了官方推出的 3 个模型,但其中只有 Dev 和 Schnell 版本是开源的,但由于 Flux 对硬件的要求,目前开源社区基于原始版本也已经迭代了多个版本,主要有:

后续有新的版本我也会在此文更新,所以别忘了收藏这篇文章,不同版本对应信息如下,虽然表格中提供了下载链接,但我建议你根据不同的工作流来单独下载模型,而不是在下面的表格中直接下载对应的模型文件

作者模型名称可商用ControlNet 以及 LoRA支持特性显存要求文件大小下载地址
Black Forest LabsFlux.1 Dev支持需要下载 CLIP、VAE、UNET等几个模型16GB+23.8GB下载 (opens in a new tab)
Black Forest LabsFlux.1 Schnell支持需要下载 CLIP、VAE、UNET等几个模型16GB+23.8GB下载 (opens in a new tab)
ComfyUIFlux.1 Dev FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+17.2GB下载 (opens in a new tab)
ComfyUIFlux.1 Schnell FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+17.2GB下载 (opens in a new tab)
KijiaFlux.1 Dev FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+下载 (opens in a new tab)
KijiaFlux.1 Schnell FP8支持融合 Clip 及 VAE,仅需要下载一个模型8GB+下载 (opens in a new tab)
lllyasvielFlux.1 Dev BNB NF4 V1支持融合 Clip 及 VAE,仅需要下载一个模型,需要安装ComfyUI_bitsandbytes_NF4插件 (opens in a new tab)6GB+11.5GB下载 (opens in a new tab)
lllyasvielFlux.1 Dev BNB NF4 V2支持融合 Clip 及 VAE,仅需要下载一个模型,需要安装ComfyUI_bitsandbytes_NF4插件 (opens in a new tab)6GB+12GB下载 (opens in a new tab)
City96Flux.1 Dev GGUF支持需要下载 CLIP、VAE、UNET等几个模型 ,需要安装ComfyUI-GGUF插件 (opens in a new tab)6GB+12GB下载 (opens in a new tab)
City96Flux.1 Schnell GGUF支持需要下载 CLIP、VAE、UNET等几个模型 ,需要安装ComfyUI-GGUF插件 (opens in a new tab)6GB+12GB下载 (opens in a new tab)

要在ComfyUI中使用Flux.1,你需要升级到最新的ComfyUI版本。如果你还没有更新ComfyUI,可以按照下面的文章进行升级或安装指导。

💡

下面提供了 4 种不同版本的 Flux.1 工作流,如果你的电脑显存较大,可以考虑使用 Flux.1 原始版本的工作流,如果你的电脑显存较小或者性能不足建议直接使用 GGUF 版本的工作流

原始版本 Flux.1 ComfyUI 工作流指南

原始版本工作流较为复杂,需要安装多个文件,此部分教程包括两个部分

  • CLIP、VAE、UNET 模型的下载安装
  • Flux.1 原始版本复杂工作流,包括 Dev 和 Schnell 版本以及低显存版本的工作流示例

第一部分: CLIP、VAE、UNET 模型的下载安装

下载 ComfyUI flux_text_encoders、clip 模型

ComfyUI flux_text_encoders on hugging face (opens in a new tab)

模型名称大小说明Link
clip_l.safetensors246 MBCLIP文件下载 (opens in a new tab)
t5xxl_fp8_e4m3fn.safetensors (推荐)4.89 GB低显存 (8-12GB)下载 (opens in a new tab)
t5xxl_fp16.safetensors9.79 GB高显存,超过 32GB .下载 (opens in a new tab)
  1. 下载 clip_l.safetensors
  2. 下载 t5xxl_fp8_e4m3fn.safetensorst5xxl_fp16.safetensors 取决你你的显存
  3. 下载后的模型存放到 ComfyUI/models/text_encoders/ 文件夹.

下载 FLux.1 VAE 模型

FLUX.1-schnell on hugging face (opens in a new tab)

文件名称文件尺寸下载链接备注
ae.safetensors335 MB下载 (opens in a new tab)
  1. 下载 ae.safetensors 模型
  2. 将对应模型放置到 ComfyUI/models/vae 文件夹
  3. 为了方便以后的使用,建议将模型名称修改为 flux_ae.safetensors;

下载 FLux.1 UNET 模型

FLUX.1-schnell on hugging face (opens in a new tab)

文件名称文件尺寸下载链接备注
flux1-schnell.safetensors23.8GBDownload (opens in a new tab)低显存用户
flux1-dev.safetensors23.8GBDownload (opens in a new tab)高显存用户
  1. 下载 flux1-schnell.safetensors
  2. 将对应的文件存放至 ComfyUI/models/unet/ folder

第二部分: Flux.1 ComfyUI 原版工作流示例文件

ComfyUI 官方 Flux.1 工作流示例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ (opens in a new tab) 下载下面的工作流文件,并在 ComfyUI中导入对应的工作流

Flux.1 Dev ComfyUI 工作流示例

Flux.1 Schnell ComfyUI 工作流示例

Flux.1 under 12GB VRAM 工作流示例

https://civitai.com/posts/5006398 (opens in a new tab)

Comfy ORG 的 FP8 版本 Flux.1 工作流

下面的模型是由 ComfyUI.org 提供的,你只需要下载一个文件就可以运行并使用 Flux 模型了

模型名称文件尺寸下载链接
flux1-dev-fp817.2GB下载 (opens in a new tab)
flux1-schnell-fp817.2GB下载 (opens in a new tab)
  1. 选择你需要的模型版本
  2. 将对应的模型存放至 ComfyUI/models/checkpoints/ 目录下,建议新建一个文件夹存放,如 ComfyUI/models/checkpoints/flux

你也可以使用文章开头提到的 Kijia 的 FP8 版本 Flux.1 模型,不过由于文件命名相似,建议下载之后重命名文件或者新建单独文件夹来区分

Flux dev FP8 Checkpoint 版本工作流示例

Flux Schnell FP8 Checkpoint 版本工作流示例

NF4 版本 Flux.1 工作流

作者:lllyasviel (opens in a new tab) 首先你需要安装对应的插件: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 (opens in a new tab) 插件安装教程请参考ComfyUI 插件安装教程

NF4 版本模型及插件安装

模型名称地址
flux1-dev-bnb-nf4下载 (opens in a new tab)

lllyasviel 制作了两个版本的 NF4 版本的 Flux 模型,请直接下载 V2 版本,这个版本的细节和效果更好

  1. 安装ComfyUI_bitsandbytes_NF4插件 (opens in a new tab), 如果你不知道如何安装插件,可以参考ComfyUI 插件安装教程
  2. 下载 flux1-dev-bnb-nf4-v2 (opens in a new tab) 文件,将下载的文件放置在 comfyui/models/checkpoints 目录下

NF4 版本 Flux.1 工作流示例

GGUF 版本 Flux.1 工作流

作者: City96 (opens in a new tab) 项目地址: https://github.com/city96/ComfyUI-GGUF (opens in a new tab)

💡

City96 (opens in a new tab) 提供了多个不同质量的 GGUF 版本 Flux 模型,如果你在对应仓库不知道该下载哪个版本的模型,下面是一个简单的引导规则

  • Q 后面的数字越大,需要的显存越大,同时生成图片的质量越高,比如 Q2 需要的显存较小但生成的图片质量较低,Q8 需要的显存较大但生成的图片质量较高
  • 你也可以根据模型的文件大小来判断对应的质量,文件越大通常意味着质量越高需要的显存越大

安装插件和下载模型

  1. 下载 Flux GGUF dev 模型 (opens in a new tab)Flux GGUF schnell 模型 (opens in a new tab) 并将模型文件放置在 comfyui/models/unet 目录下
  2. 下载 t5-v1_1-xxl-encoder-gguf (opens in a new tab),并将模型文件放置在 comfyui/models/clip 目录下
  3. 下载 clip_l.safetensors (opens in a new tab) 并将模型文件放置在 comfyui/models/clip 目录下
  4. 下载 ae.safetensors (opens in a new tab) 并将模型文件放置在 comfyui/models/vae 目录下,建议重命名为 flux_ae.safetensors
  5. 安装 ComfyUI-GGUF (opens in a new tab) 插件,如果你不知道如何安装插件,可以参考ComfyUI 插件安装教程

GGUF 版本 Flux.1 工作流示例

在线运行 Flux.1 的方式

下面是由官方提供的可以在线运行 Flux.1 的API或者在线版本 huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev (opens in a new tab)
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell (opens in a new tab)
replicate: https://replicate.com/black-forest-labs (opens in a new tab)
mystic.ai: https://www.mystic.ai/black-forest-labs (opens in a new tab)
fal.ai: https://fal.ai/models/fal-ai/flux/schnell (opens in a new tab)

优化 ComfyUI 和 Windows 的设置来获得更好的运行体验

这些步骤旨在优化 Windows 系统设置,使其能够最大限度地利用系统资源。此外,在运行Flux.1模型与ComfyUI时,请避免运行其他软件以减少内存占用。

Windows 虚拟内存设置

windows virtual memory setting

如上图,由于原始教程为英文版本,对应截图设置菜单中文名称为

  1. 在系统中找到 高级系统设置
  2. 高级选项卡 性能 点击 设置
  3. 在性能选项中,虚拟内存部分,点击更改
  4. 勾选第一个选项卡,并点击保存按钮

问题解决

爆显存了怎么办?

可以尝试使用 FP8 单文件版本的模型 或者 GGUF 版本的模型

Flux.1 资源

Flux workflow example

OpenArt 上有许多 Flux.1 的workflow 参考: https://openart.ai/workflows/all?keyword=flux (opens in a new tab)

Flux ControlNet

Flux ControlNet collections: https://huggingface.co/XLabs-AI/flux-controlnet-collections (opens in a new tab)
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha (opens in a new tab) FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting (opens in a new tab)

Flux IP-Adapter

IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter (opens in a new tab)

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora (opens in a new tab) 照片级LoRA for FLUX.1-dev model by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux (opens in a new tab) alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime (opens in a new tab) 漫画风格 https://huggingface.co/davisbro/half_illustration (opens in a new tab) 写实插画混合 https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur (opens in a new tab) AntiBlur

Flux.1 LoRA 和其它资源可以前往 civitai (opens in a new tab)

提示:最新版的 ComfyUI 在使用多个 FLUX Lora 模型时,很容易显存占用过多,而且这个问题与 LoRA 大小没有关系,就算是 4090 显卡也同样容易出现类似问题 你可以尝试使用 GGUF 版本的模型,或者采用 Xlab 的 Lora 加载 ComfyUI 的工作流以尝试解决这个问题

本地训练 Flux LoRA

Flux Gym - 最低仅需要 12GB 显存即可训练Flux LoRA https://github.com/cocktailpeanut/fluxgym (opens in a new tab)

在线训练 Flux LoRA

Replicate 上有作者提供了一个 LoRA 训练工具: "ostris/flux-dev-lora-trainer (opens in a new tab)," which allows you to train your own Lora-style model with a minimum of just 10 images. You can give it a try.

  • 价格:这个模型的训练是在Nvidia H100 GPU硬件上进行的,每秒钟的费用是0.001528美元。
  • 如何训练:要了解如何训练这个模型,请阅读这个文档 (opens in a new tab)
  • 许可证:所有Flux-Dev LoRAs都拥有与FLUX.1-dev原始基础模型相同的许可证。

FLUX.1 Training by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 (opens in a new tab) Train Flux LoRA by FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 (opens in a new tab) DreamBooth training example for FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md (opens in a new tab)