Flux.1 ComfyUI 对应模型安装及教程指南

这份指南将向介绍如何在 Windows 电脑上使用 ComfyUI 来运行 Flux.1 模型它,包括以下几个主题:

  • Flux.1简介
  • Flux.1不同版本的概览
  • 硬件需求
  • 如何安装并使用ComfyUI运行Flux.1
  • 与Flux.1相关的资源,例如LoRA等。

在本文中,我将会介绍不同版本的 FLux model, 主要是官方版本和第三方蒸馏的版本,另外 ComfyUI 还提供了单文件版本的 FP8

  • 第一部分的教程将会主要讲解官方版本和第三方蒸馏版本,这一版本需要安装的相关模型会较多
  • 第二部分将使用 ComfyUI 的FP8版本,只需要安装一个 Checkpoint 模型就可以直接使用了

Flux.1 简介

Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件(多个版本),Flux.1具有出色的文字生成能力和语言理解能力。 FLUX.1 在视觉质量、图像细节方面有显著优势,比如文字生成、复杂构图、人手描绘等方面表现良好。其手部细节得到了优化与增强,相比 Stable Diffusion 模型的畸形手指,FLUX.1 模型要正常得多。图像质量也有所增强,拉近了和最强文生图软件 Midjourney 的距离。 Black Forest Labs,一家由Stability AI的前核心成员Robin Rombach 创立的新团队。

Black Forest Labs 官网: https://blackforestlabs.ai/ (opens in a new tab)

Flux ComfyUI 硬件需求

最低显存要求:8-12GB或更高(渲染速度较慢) 推荐显存:16-24GB

Flux.1 不同版本模型

Flux.1 官方版本

特性/版本Flux.1 Pro 版本Flux.1 Dev 版本Flux.1 Schnell 版本
概述最先进的性能图像生成,在提示跟随、视觉质量、图像细节和输出多样性方面出色开源模型,质量和提示遵循能力与 [pro] 相似但更高效适合有显卡的用户开源模型,最快的模型,适用于本地开发和个人使用,响应速度快,配置要求低
视觉质量顶级类似 Pro 版本良好
图像细节顶级类似 Pro 版本良好
输出多样性中等中等
提示词遵循中等中等
手部细节优化
价格(每张图片)$0.055API: $0.03,下载免费API: $0.003,下载免费
许可类型企业解决方案,仅支持API开源,FLUX.1-dev Non-Commercial License (opens in a new tab)Apache2.0 (opens in a new tab) 可商用
模型下载不可下载,仅可API调用FLUX.1 [pro] API (opens in a new tab)Flux.1 Pro Replicate API (opens in a new tab)Flux.1 Pro FAL AI API (opens in a new tab)Flux.1 Pro Mystic AI API (opens in a new tab)支持下载 Flux.1 Dev GitHub repository (opens in a new tab)Flux.1 Dev Hugging Face (opens in a new tab)Flux.1 Dev Replicate API (opens in a new tab)Flux.1 Dev FAL AI API (opens in a new tab)Mystic AI (opens in a new tab)支持下载 Flux.1 Schnell GitHub repository (opens in a new tab)Flux.1 Schnell on Hugging Face (opens in a new tab)Flux.1 Schnell Replicate API (opens in a new tab)Try Flux.1 Schnell on FAL AI (opens in a new tab)Flux.1 Schnell Mystic AI API (opens in a new tab)
适用场景专业用途,企业定制开发和个人使用个人及商业使用

更多其它信息你可以前往 Flux.1 仓库查看 https://github.com/black-forest-labs/flux (opens in a new tab)

Flux.1 ComfyUI 安装设置指南

安装或升级 ComfyUI

要在ComfyUI中使用Flux.1,你需要升级到最新的ComfyUI版本。如果你还没有更新ComfyUI,可以按照下面的文章进行升级或安装指导。

下载 ComfyUI flux_text_encoders clip 模型

ComfyUI flux_text_encoders on hugging face (opens in a new tab)

模型名称大小说明Link
clip_l.safetensors246 MBDownload (opens in a new tab)
t5xxl_fp8_e4m3fn.safetensors (推荐)4.89 GB低显存 (8-12GB)下载 (opens in a new tab)
t5xxl_fp16.safetensors9.79 GB高显存,超过 32GB .下载 (opens in a new tab)
  1. 下载 clip_l.safetensors
  2. 下载 t5xxl_fp8_e4m3fn.safetensorst5xxl_fp16.safetensors 取决你你的显存
  3. 下载后的模型存放到 ComfyUI/models/text_encoders/ 文件夹.

下载 FLux.1 VAE 模型

FLUX.1-schnell on hugging face (opens in a new tab)

文件名称大小链接
ae.safetensors335 MB下载 (opens in a new tab)
  1. 下载 ae.safetensors 模型
  2. 将对应模型放置到 ComfyUI/models/vae 文件夹
  3. 为了方便以后的使用,建议将模型名称修改为 flux_ae.safetensors;

下载 FLux.1 UNET 模型

FLUX.1-schnell on hugging face (opens in a new tab)

文件名称文件尺寸下载链接备注
flux1-schnell.safetensors23.8GBDownload (opens in a new tab)低显存用户
flux1-dev.safetensors23.8GBDownload (opens in a new tab)高显存用户
  1. 下载 flux1-schnell.safetensors
  2. 将对应的文件存放至 ComfyUI/models/unet/ folder

Flux.1 ComfyUI 工作流示例文件

ComfyUI 官方 Flux.1 工作流示例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ (opens in a new tab)

Flux.1 Dev ComfyUI 工作流示例

Flux.1 Schnell ComfyUI 工作流示例

Flux.1 under 12GB VRAM 工作流示例

https://civitai.com/posts/5006398 (opens in a new tab)

FP8 Checkpoint 版本的 Flux 模型

下面的模型是由ComfyUI org 提供的,你只需要下载一个文件就可以运行并使用 Flux 模型了

模型名称文件尺寸下载链接
flux1-dev-fp817.2GB下载 (opens in a new tab)
flux1-schnell-fp817.2GB下载 (opens in a new tab)
  1. 选择你需要的模型版本
  2. 将对应的模型存放至 ComfyUI/models/checkpoints/

Flux dev FP8 Checkpoint 版本工作流示例

Flux Schnell FP8 Checkpoint 版本工作流示例

优化 ComfyUI 和 Windows 的设置来获得更好的运行体验

这些步骤旨在优化 Windows 系统设置,使其能够最大限度地利用系统资源。此外,在运行Flux.1模型与ComfyUI时,请避免运行其他软件以减少内存占用。

Windows 虚拟内存设置

windows virtual memory setting

如上图,由于原始教程为英文版本,对应截图设置菜单中文名称为

  1. 在系统中找到 高级系统设置
  2. 高级选项卡 性能 点击 设置
  3. 在性能选项中,虚拟内存部分,点击更改
  4. 勾选第一个选项卡,并点击保存按钮

问题解决

爆显存了怎么办?

可以尝试使用 FP8 单文件版本的模型 或者 GGUF 版本的模型

在线运行 Flux.1 的方式

下面是由官方提供的可以在线运行 Flux.1 的API或者在线版本 huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev (opens in a new tab)
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell (opens in a new tab)
replicate: https://replicate.com/black-forest-labs (opens in a new tab)
mystic.ai: https://www.mystic.ai/black-forest-labs (opens in a new tab)
fal.ai: https://fal.ai/models/fal-ai/flux/schnell (opens in a new tab)

Flux.1 资源

Flux GGUF quants

The GGUF quants are there: https://huggingface.co/city96/FLUX.1-dev-gguf (opens in a new tab) Here's the node to load them: https://github.com/city96/ComfyUI-GGUF (opens in a new tab) via: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/ (opens in a new tab)

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora (opens in a new tab) 照片级LoRA for FLUX.1-dev model by Black Forest Labs https://huggingface.co/alvdansen/frosting_lane_flux (opens in a new tab) alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime (opens in a new tab) 漫画风格 https://huggingface.co/davisbro/half_illustration (opens in a new tab) 写实插画混合

Flux.1 LoRA 和其它资源可以前往 civitai (opens in a new tab)

提示:最新版的 ComfyUI 在使用多个 FLUX Lora 模型时,很容易显存占用过多,而且这个问题与 LoRA 大小没有关系,就算是 4090 显卡也同样容易出现类似问题 你可以尝试使用 GGUF 版本的模型,或者采用 Xlab 的 Lora 加载 ComfyUI 的工作流以尝试解决这个问题

Flux workflow example

OpenArt 上有许多 Flux.1 的workflow 参考: https://openart.ai/workflows/all?keyword=flux (opens in a new tab)

Flux ControlNet

Flux ControlNet collections: https://huggingface.co/XLabs-AI/flux-controlnet-collections (opens in a new tab)
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha (opens in a new tab)

Flux IP-Adapter

IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs https://huggingface.co/XLabs-AI/flux-ip-adapter (opens in a new tab)

本地训练 Flux LoRA

Flux Gym - 最低仅需要 12GB 显存即可训练Flux LoRA https://github.com/cocktailpeanut/fluxgym (opens in a new tab)

在线训练 Flux LoRA

Replicate 上有作者提供了一个 LoRA 训练工具: "ostris/flux-dev-lora-trainer (opens in a new tab)," which allows you to train your own Lora-style model with a minimum of just 10 images. You can give it a try.

  • 价格:这个模型的训练是在Nvidia H100 GPU硬件上进行的,每秒钟的费用是0.001528美元。
  • 如何训练:要了解如何训练这个模型,请阅读这个文档 (opens in a new tab)
  • 许可证:所有Flux-Dev LoRAs都拥有与FLUX.1-dev原始基础模型相同的许可证。

FLUX.1 Training by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 (opens in a new tab) Train Flux LoRA by FAI https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 (opens in a new tab) DreamBooth training example for FLUX.1 [dev] https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md (opens in a new tab)