Flux.1 ComfyUI インストールガイド、ワークフローと例

このガイドは、WindowsコンピュータでFlux.1を実行するためのComfyUIのセットアップ方法について説明します。以下のトピックをカバーしています：

• Flux.1の紹介
• Flux.1の異なるバージョンの概要
• Fluxのハードウェア要件
• ComfyUIを使用したFlux.1のインストールと使用方法
• LoRA、ControlNetなどのFlux.1に関連するリソース

この記事では、主に公式バージョンとサードパーティの蒸留バージョンの異なるFLuxモデルを紹介します。さらに、ComfyUIはFP8のシングルファイルバージョンも提供しています。

• チュートリアルの最初の部分では、公式バージョンとサードパーティの蒸留バージョンについて説明します。これらは、より多くの関連モデルをインストールする必要があります。
• 第二部では、ComfyUIのFP8バージョンを使用します。これは、1つのチェックポイントモデルをインストールするだけで直接使用できます。

Flux.1の紹介

Flux.1は、Black Forest Labsによって導入された生成画像モデルのスイートです。このラボは、優れたテキストから画像生成と言語理解能力を持っています。Flux.1は、特にテキスト生成、複雑な構図、手の描写において、視覚品質と画像の詳細に優れています。このモデルは、Stable Diffusionモデルでよく見られる指の変形を大幅に改善し、手の詳細を洗練しました。Flux.1は、画像品質も向上させ、トップの生成画像ソフトウェアであるMidjourneyに匹敵するレベルに達しています。

Black Forest Labsは、Stability AIの元コアメンバーであるRobin Rombachによって設立されました。

Black Forest Labsの公式ウェブサイト: https://blackforestlabs.ai/

Comfy UIのインストールまたは更新

ComfyUI内でFlux.1を利用するには、最新のComfyUIモデルにアップグレードする必要があります。まだComfyUIを更新していない場合は、以下の記事を参照してアップグレードまたはインストール手順を確認してください。

Part1. 公式バージョンと蒸留版のFlux.1

公式Flux.1モデル

現在リリースされている公式のFlux.1の3つのバージョンをリストアップしましたが、公式バージョンは高いハードウェア要件があります。現在、ハードウェア要件が低い多くのオープンソースバージョンが利用可能で、ニーズに応じて選択できます。

詳細については、Flux.1リポジトリを参照してください: https://github.com/black-forest-labs/flux

Flux.1 ComfyUI ハードウェア要件

最小VRAM: 8-12GB以上（生成速度が遅い） 推奨VRAM : 16-24GB

現在、ハードウェア要件が低い多くのオープンソースコミュニティバージョンが利用可能で、最小VRAM要件が6GBのGGUFバージョンなどがあります。

Flux.1 公式およびオープンソースコミュニティバージョンのダウンロードアドレス

Flux.1は現在、公式から3つのモデルがリリースされていますが、DevとSchnellバージョンのみがオープンソースです。Fluxの高いハードウェア要件のため、オープンソースコミュニティによって元のバージョンに基づいて多くのバージョンが反復されています。主に以下を含みます：

• Black Forest Labs公式バージョン dev 、 schnell
• ComfyUI FP8バージョン dev 、schnell
• Kijia FP8バージョン flux-fp8
• lllyasviel BNB NF4 V2バージョン dev
• City96 GGUFバージョン dev 、 schnell

新しいバージョンがある場合、この記事で更新しますので、この記事をブックマークすることをお忘れなく。異なるバージョンに対応する情報は以下の通りです。表にはダウンロードリンクが提供されていますが、異なるワークフローに応じてモデルを個別にダウンロードすることをお勧めします。

Flux.1をComfyUIで使用する場合、最新のComfyUIバージョンにアップグレードする必要があります。まだComfyUIを更新していない場合は、以下の記事を参照してアップグレードまたはインストール手順を確認してください。

オリジナルバージョンのFlux.1 ComfyUIワークフローガイド

オリジナルバージョンのワークフローはより複雑で、複数のファイルのインストールが必要です。このチュートリアルは2つの部分に分かれています：

• CLIP、VAE、UNETモデルのダウンロードとインストール
• Flux.1オリジナルバージョンの複雑なワークフロー、DevとSchnellバージョン、および低メモリバージョンのワークフロー例

パート1: CLIP、VAE、UNETモデルのダウンロードとインストール

ComfyUI flux_text_encoders clipモデルのダウンロード

ComfyUI flux_text_encoders on hugging face

1. clip_l.safetensors をダウンロード
2. t5xxl_fp8_e4m3fn.safetensors または t5xxl_fp16.safetensors をダウンロード。VRAMとRAMに応じて選択
3. ダウンロードしたモデルファイルを ComfyUI/models/clip/ フォルダに配置 注意: 以前にSD 3 Mediumを使用していた場合、上記の2つのモデルを既に持っているかもしれません

FLux.1 VAEモデルのダウンロード

FLUX.1-schnell on hugging face

1. ae.safetensors モデルをダウンロード
2. ダウンロードしたモデルファイルを ComfyUI/models/vae フォルダに配置
3. 識別のために、flux_ae.safetensors にリネームすることができます

FLux.1 UNETモデルのダウンロード

FLUX.1-schnell on hugging face

1. flux1-schnell.safetensors をダウンロード
2. ダウンロードしたモデルファイルを ComfyUI/models/unet/ フォルダに配置

パート2: Flux.1 ComfyUIオリジナルワークフロー例

ComfyUI公式のFlux.1ワークフロー例: https://comfyanonymous.github.io/ComfyUI_examples/flux/ 画像を保存してComfyにロードするだけで使用できます！

Flux Dev ComfyUIワークフロー例

Flux Schnell ComfyUIワークフロー例

12GB以下のVRAMでのFlux

https://civitai.com/posts/5006398

Comfy ORG FP8 チェックポイントバージョン

以下のチェックポイントモデルはComfyUI Orgによって提供されており、1つのモデルファイルをダウンロードするだけで直接使用できます。

1. 必要なモデルバージョンをダウンロード
2. ComfyUI/models/checkpoints/ に配置

Kijia Flux-FP8 も使用できます。ファイル名が似ているため、ダウンロード後にファイル名を変更するか、区別するために別のフォルダを作成することをお勧めします。

Flux dev FP8 チェックポイントバージョン ワークフロー例

Flux Schnell FP8 チェックポイントバージョン ワークフロー例

NF4バージョンのFlux.1ワークフロー

著者: lllyasviel まず、対応するプラグインをインストールする必要があります: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 プラグインのインストール手順はComfyUIプラグインインストールガイドで確認できます。

NF4バージョンモデルのダウンロード

lllyasvielはNF4 Fluxモデルの2つのバージョンを作成しました。V2バージョンを直接ダウンロードしてください。このバージョンはより良い詳細と効果を持っています。

1. ComfyUI_bitsandbytes_NF4プラグインをインストールします。プラグインのインストール方法がわからない場合は、ComfyUIプラグインインストールガイドを参照してください。
2. flux1-dev-bnb-nf4-v2ファイルをダウンロードし、ダウンロードしたファイルをcomfyui/models/checkpointsディレクトリに配置します。

NF4バージョンFlux.1ワークフロー例

GGUFバージョンFlux.1ワークフロー

著者: City96 プロジェクトアドレス: https://github.com/city96/ComfyUI-GGUF

プラグインのインストールとモデルのダウンロード

1. Flux GGUF devモデルまたはFlux GGUF schnellモデルをダウンロードし、モデルファイルをcomfyui/models/unetディレクトリに配置します。
2. t5-v1_1-xxl-encoder-ggufをダウンロードし、モデルファイルをcomfyui/models/clipディレクトリに配置します。
3. clip_l.safetensorsをダウンロードし、モデルファイルをcomfyui/models/clipディレクトリに配置します。
4. ae.safetensorsをダウンロードし、モデルファイルをcomfyui/models/vaeディレクトリに配置し、flux_ae.safetensorsにリネームします。
5. ComfyUI-GGUFプラグインをインストールします。プラグインのインストール方法がわからない場合は、ComfyUIプラグインインストールガイドを参照してください。

GGUFバージョンFlux.1ワークフロー例

Flux.1をオンラインで実行

Black Forest Labsが提供するFlux.1モデルを利用または呼び出すためのオンライン方法をいくつか紹介します。

huggingface FLUX.1-dev: https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
huggingface FLUX.1-schnell: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
replicate: https://replicate.com/black-forest-labs
mystic.ai: https://www.mystic.ai/black-forest-labs
fal.ai: https://fal.ai/models/fal-ai/flux/schnell

ComfyUIとWindowsシステム設定の調整

以下の手順は、Windowsシステム設定を最適化し、システムリソースを最大限に活用できるようにするためのものです。また、ComfyUIでFlux.1モデルを実行する際には、メモリ使用量を最小限に抑えるために他のソフトウェアの実行を控えてください。

Windows仮想メモリ設定

トラブルシューティング

1. メモリ不足の警告

単一ファイルのfp8バージョンを使用してください。

2. パフォーマンスの問題を解決する
   https://github.com/comfyanonymous/ComfyUI/discussions/4457

Flux.1リソース

Fluxリソースの詳細はこちらをクリック

Flux GGUF quants

GGUF quantsはこちら: https://huggingface.co/city96/FLUX.1-dev-gguf それらをロードするノードはこちら: https://github.com/city96/ComfyUI-GGUF via: https://www.reddit.com/r/StableDiffusion/comments/1eslcg0/excuse_me_gguf_quants_are_possible_on_flux_now/

Flux LoRA

https://huggingface.co/XLabs-AI/flux-RealismLora FLUX.1-devモデル用のBlack Forest Labsによる写実主義 https://huggingface.co/alvdansen/frosting_lane_flux alvdansen/frosting_lane_flux https://huggingface.co/alvdansen/softserve_anime alvdansen/softserve_anime https://huggingface.co/davisbro/half_illustration davisbro/half_illustration https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-AntiBlur AntiBlur Flux.1 LoRAおよびその他のリソースは、civitaiでダウンロードできます。
XLabs-AI/flux-lora-collection: https://huggingface.co/XLabs-AI/flux-lora-collection

ヒント: ComfyUIの最新バージョンでは、複数のFLUX LoRAモデルを使用する際に過剰なグラフィックスメモリ使用量が発生しやすく、この問題はLoRAモデルのサイズとは関係ありません。NVIDIA GeForce RTX 4090のような高性能グラフィックスカードでも同様の問題が発生する可能性があります。 この問題の解決策として、GGUFバージョンのモデルを使用するか、XlabのLoRAを使用してComfyUIワークフローをロードすることを検討してください。

Flux LoRAオンライントレーニングツール

低VRAM（12GB/16GB/20GB）サポートでFLUX LoRAをトレーニングするための非常に簡単なWeb UI。 https://github.com/cocktailpeanut/fluxgym

Flux LoRAオンライントレーニングツール

Replicateは、最小10枚の画像で独自のLoraスタイルモデルをトレーニングできるトレーニングツール「ostris/flux-dev-lora-trainer」を提供しています。試してみてください。

• 価格: このモデルのトレーニングはNvidia H100 GPUハードウェアで実行され、1秒あたり$0.001528の費用がかかります。
• トレーニング方法: このドキュメントを読んでください。
• ライセンス: すべてのFlux-Dev LoRAは、FLUX.1-devのオリジナルベースモードと同じライセンスを持っています。

FLUX.1のトレーニング by Ostris https://colab.research.google.com/drive/1r09aImgL1YhQsJgsLWnb67-bjTV88-W0 FAIによるFlux LoRAのトレーニング https://fal.ai/models/fal-ai/flux-lora-general-training?a=1 FLUX.1 [dev]のDreamBoothトレーニング例 https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/README_flux.md

Flux ControlNet

Flux ControlNetコレクション: https://huggingface.co/XLabs-AI/flux-controlnet-collections
InstanX Flux unnioon Controlnet: https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha FLUX-Controlnet-Inpainting: https://github.com/alimama-creative/FLUX-Controlnet-Inpainting

Flux IP-Adapter

Black Forest LabsによるFLUX.1-devモデル用のIP-Adapterチェックポイント https://huggingface.co/XLabs-AI/flux-ip-adapter

Fluxワークフロー例

ワークフローの詳細はこちら: https://openart.ai/workflows/all?keyword=flux