Flux.1 ComfyUI 对应模型安装及教程指南

这份指南将向介绍如何在 Windows 电脑上使用 ComfyUI 来运行 Flux.1 模型它，包括以下几个主题：

• Flux.1简介
• Flux.1不同版本的概览
• 硬件需求
• 如何安装并使用ComfyUI运行Flux.1
• 与Flux.1相关的资源，例如LoRA等。

在本文中，我将会介绍不同版本的 FLux model, 主要是官方版本和第三方蒸馏的版本，另外 ComfyUI 还提供了单文件版本的 FP8

• 第一部分的教程将会主要讲解官方版本和第三方蒸馏版本，这一版本需要安装的相关模型会较多
• 第二部分将使用 ComfyUI 的FP8版本，只需要安装一个 Checkpoint 模型就可以直接使用了

Flux.1 简介

Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件(多个版本)，Flux.1具有出色的文字生成能力和语言理解能力。 FLUX.1 在视觉质量、图像细节方面有显著优势，比如文字生成、复杂构图、人手描绘等方面表现良好。其手部细节得到了优化与增强，相比 Stable Diffusion 模型的畸形手指，FLUX.1 模型要正常得多。图像质量也有所增强，拉近了和最强文生图软件 Midjourney 的距离。 Black Forest Labs，一家由Stability AI的前核心成员Robin Rombach 创立的新团队。

Black Forest Labs 官网： https://blackforestlabs.ai/ (opens in a new tab)

Flux ComfyUI 硬件需求

最低显存要求：8-12GB或更高（渲染速度较慢） 推荐显存：16-24GB

Flux.1 不同版本模型

Flux.1 官方版本

更多其它信息你可以前往 Flux.1 仓库查看 https://github.com/black-forest-labs/flux (opens in a new tab)

Flux.1 ComfyUI 安装设置指南

安装或升级 ComfyUI

要在ComfyUI中使用Flux.1，你需要升级到最新的ComfyUI版本。如果你还没有更新ComfyUI，可以按照下面的文章进行升级或安装指导。

下载 ComfyUI flux_text_encoders clip 模型

ComfyUI flux_text_encoders on hugging face (opens in a new tab)

1. 下载 clip_l.safetensors
2. 下载 t5xxl_fp8_e4m3fn.safetensors 或 t5xxl_fp16.safetensors 取决你你的显存
3. 下载后的模型存放到 ComfyUI/models/text_encoders/ 文件夹.

下载 FLux.1 VAE 模型

FLUX.1-schnell on hugging face (opens in a new tab)

1. 下载 ae.safetensors 模型
2. 将对应模型放置到 ComfyUI/models/vae 文件夹
3. 为了方便以后的使用，建议将模型名称修改为 flux_ae.safetensors;

下载 FLux.1 UNET 模型

FLUX.1-schnell on hugging face (opens in a new tab)

1. 下载 flux1-schnell.safetensors
2. 将对应的文件存放至 ComfyUI/models/unet/ folder

Flux.1 ComfyUI 工作流示例文件

ComfyUI 官方 Flux.1 工作流示例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ (opens in a new tab)

Flux.1 Dev ComfyUI 工作流示例

Flux.1 Schnell ComfyUI 工作流示例

Flux.1 under 12GB VRAM 工作流示例

https://civitai.com/posts/5006398 (opens in a new tab)

FP8 Checkpoint 版本的 Flux 模型

下面的模型是由ComfyUI org 提供的，你只需要下载一个文件就可以运行并使用 Flux 模型了

1. 选择你需要的模型版本
2. 将对应的模型存放至 ComfyUI/models/checkpoints/

Flux dev FP8 Checkpoint 版本工作流示例

Flux Schnell FP8 Checkpoint 版本工作流示例

优化 ComfyUI 和 Windows 的设置来获得更好的运行体验

这些步骤旨在优化 Windows 系统设置，使其能够最大限度地利用系统资源。此外，在运行Flux.1模型与ComfyUI时，请避免运行其他软件以减少内存占用。

Windows 虚拟内存设置

如上图，由于原始教程为英文版本，对应截图设置菜单中文名称为

1. 在系统中找到 高级系统设置
2. 高级选项卡 性能 点击 设置
3. 在性能选项中，虚拟内存部分，点击更改
4. 勾选第一个选项卡，并点击保存按钮

问题解决

爆显存了怎么办？

可以尝试使用 FP8 单文件版本的模型 或者 GGUF 版本的模型

在线运行 Flux.1 的方式

下面是由官方提供的可以在线运行 Flux.1 的API或者在线版本 huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev (opens in a new tab)
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell (opens in a new tab)
replicate: https://replicate.com/black-forest-labs (opens in a new tab)
mystic.ai: https://www.mystic.ai/black-forest-labs (opens in a new tab)
fal.ai: https://fal.ai/models/fal-ai/flux/schnell (opens in a new tab)

Flux.1 资源

Flux GGUF quants

The GGUF quants are there: https://huggingface.co/city96/FLUX.1-dev-gguf (opens in a new tab) Here's the node to load them: https://github.com/city96/ComfyUI-GGUF (opens in a new tab) via: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/ (opens in a new tab)

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora (opens in a new tab) 照片级LoRA for FLUX.1-dev model by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux (opens in a new tab) alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime (opens in a new tab) 漫画风格 https://huggingface.co/davisbro/half_illustration (opens in a new tab) 写实插画混合

Flux.1 LoRA 和其它资源可以前往 civitai (opens in a new tab)

提示：最新版的 ComfyUI 在使用多个 FLUX Lora 模型时，很容易显存占用过多，而且这个问题与 LoRA 大小没有关系，就算是 4090 显卡也同样容易出现类似问题 你可以尝试使用 GGUF 版本的模型，或者采用 Xlab 的 Lora 加载 ComfyUI 的工作流以尝试解决这个问题

Flux workflow example

OpenArt 上有许多 Flux.1 的workflow 参考: https://openart.ai/workflows/all?keyword=flux (opens in a new tab)

Flux ControlNet

Flux ControlNet collections: https://huggingface.co/XLabs-AI/flux-controlnet-collections (opens in a new tab)
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha (opens in a new tab)

Flux IP-Adapter

IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter (opens in a new tab)

本地训练 Flux LoRA

Flux Gym - 最低仅需要 12GB 显存即可训练Flux LoRA https://github.com/cocktailpeanut/fluxgym (opens in a new tab)

在线训练 Flux LoRA

Replicate 上有作者提供了一个 LoRA 训练工具： "ostris/flux-dev-lora-trainer (opens in a new tab)," which allows you to train your own Lora-style model with a minimum of just 10 images. You can give it a try.

• 价格：这个模型的训练是在Nvidia H100 GPU硬件上进行的，每秒钟的费用是0.001528美元。
• 如何训练：要了解如何训练这个模型，请阅读这个文档 (opens in a new tab)
• 许可证：所有Flux-Dev LoRAs都拥有与FLUX.1-dev原始基础模型相同的许可证。

FLUX.1 Training by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 (opens in a new tab) Train Flux LoRA by FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 (opens in a new tab) DreamBooth training example for FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md (opens in a new tab)