Skip to content
チュートリアルComfyUI 上級チュートリアル2.5 FLUX.1 ControlNet

Flux ControlNetワークフローの詳細ガイド

Flux ControlNetワークフロー

このチュートリアルでは、ComfyUIでFluxの公式ControlNetモデルを使用する方法をガイドします。FLUX.1 DepthとFLUX.1 Cannyの2つの公式コントロールモデルの使用方法をカバーします。

このチュートリアルはComfyUI Flux examplesに基づいており、更新されています。

モデル紹介

FLUX.1 Depth [dev]

  • 120億パラメータの修正フロートランスフォーマーモデル
  • 深度マップに基づく構造ガイダンス
  • 効率を向上させるためのガイド付き蒸留トレーニングを使用
  • 個人、研究、商業利用をサポート

FLUX.1 Canny [dev]

  • 120億パラメータの修正フロートランスフォーマーモデル
  • Cannyエッジ検出に基づく構造ガイダンス
  • ガイド付き蒸留トレーニング方法を使用
  • FLUX.1 [dev] 非商用ライセンスに従う

モデルバージョンの概要

Flux ControlNetモデルは、フルモデルとLoRAモデルの2つのバージョンで利用可能です。

フルモデルバージョン

  • すべての重みを含む完全なモデルファイル
  • より大きなVRAMが必要
  • 最高の生成品質

LoRAバージョン

  • 差分重みのみを含む軽量モデル
  • ベースのFluxモデルが必要
  • 低VRAM使用

準備

1. ComfyUIの更新

まず、ComfyUIが最新バージョンに更新されていることを確認してください。ComfyUIの更新方法がわからない場合は、ComfyUIの更新方法を参照してください。

注: Flux ControlNetの機能は最新バージョンのComfyUIが必要ですので、まず更新を完了してください。

2. フルバージョンモデルのダウンロード

モデル名ファイル名インストール場所ダウンロードリンク説明
CLIP Modelclip_l.safetensorsComfyUI/models/clip/ダウンロード標準CLIPエンコーダ
CLIP Modelt5xxl_fp16.safetensorsComfyUI/models/clip/ダウンロード標準精度バージョン
CLIP Modelt5xxl_fp8_e4m3fn.safetensorsComfyUI/models/clip/ダウンロード低精度バージョン
VAE Modelae.safetensorsComfyUI/models/vae/ダウンロードVAEエンコーダ-デコーダ
Flux Depthflux1-depth-dev.safetensorsComfyUI/models/diffusion_models/ダウンロード深度コントロールモデル
Flux Cannyflux1-canny-dev.safetensorsComfyUI/models/diffusion_models/ダウンロードエッジコントロールモデル

3. LoRAバージョンモデルのダウンロード

モデル名ファイル名インストール場所ダウンロードリンク説明
Flux Base Modelflux1-dev.safetensorsComfyUI/models/diffusion_models/ダウンロードLoRAベースモデル
Depth LoRAflux1-depth-dev-lora.safetensorsComfyUI/models/loras/ダウンロード深度コントロールLoRA
Canny LoRAflux1-canny-dev-lora.safetensorsComfyUI/models/loras/ダウンロードエッジコントロールLoRA

4. ワークフローファイルのダウンロード

5. システム要件

  • VRAM要件: 推奨最小16GB VRAM
  • VRAMが限られている場合、fp8バージョンモデルを使用してVRAM使用量を減らすことができます

Flux ControlNetワークフロー使用ガイド

フルバージョン使用のヒント

  1. ControlNetLoader

    • Depth Model: 参照画像の3D構造を維持するため
    • Canny Model: 参照画像のエッジラインを維持するため

  2. Preprocessing Nodes

    • DepthPreprocessor: 深度マップを生成し、追加の調整は不要
    • CannyEdgePreprocessor: エッジ検出の詳細を制御するためのしきい値調整
      • low threshold: エッジ検出の感度
      • high threshold: エッジラインの完全性

  3. FluxGuidance

    • 推奨値: 3.5-4.0
    • 高い値は生成結果をプロンプトの説明に近づける

  4. ModelSamplingFlux

    • shift_factor: 1.15 (デフォルト値、通常調整不要)
    • multiplier: 0.5 (必要に応じて微調整可能)

LoRAバージョン使用のヒント

  1. LoraLoaderModelOnly Node

    • 対応するLoRAモデルファイルをロード
    • 推奨強度パラメータ: 1.0
    • まずベースのFluxモデルをロードする必要がある

  2. InstructPixToPixConditioning Node

    • 画像から画像への条件制御に使用
    • VAEと元の画像入力接続が必要

  3. KSampler Settings

    • 推奨ステップ数: 20
    • サンプラー: euler
    • スケジューラー: normal
    • デノイズ: 1.0

バージョン選択ガイドライン

  1. フルバージョンを選ぶとき

    • 十分なVRAMがある場合 (16GB以上)
    • 最高の生成品質を求める場合
    • より正確な制御が必要な場合

  2. LoRAバージョンを選ぶとき

    • VRAMが限られている場合 (8-16GB)
    • 生成速度が速い必要がある場合
    • 品質要件が非常に厳しくない場合

パラメータ調整のヒント

深度コントロール

  • 空間構造の維持が必要なシーンに適している
  • 推奨コントロール強度: 0.6-0.9

Cannyコントロール

  • 線と輪郭の維持が必要なシーンに適している
  • 推奨コントロール強度: 0.5-0.8

一般的なヒント

  • まずデフォルトのパラメータでテストする
  • 生成結果に基づいてコントロール強度を徐々に調整する
  • プロンプトを調整して結果をさらに最適化する

高度な応用

  1. 混合コントロール

    • 深度とCannyコントロールを同時に使用可能
    • 異なるコントロールネットワークの重みを調整

  2. スタイル転送

    • LoRAモデルと組み合わせる
    • スタイルプロンプトを使用

  3. バッチ処理

    • バッチ処理ノードを使用
    • ワークフローを最適化

参考リソース