ComfyUIでの複数のControlNetの使用チュートリアル

ControlNetでは、複数のControlNetを組み合わせて、より正確な制御を実現できます。例えば、キャラクターを生成する際に、肢体のずれが発生した場合、depthを重ねることで、肢体の前後関係を正しく保つことができます。

この記事では、OpenPoseとLineartを使用して、ビジュアルスタイルの変化を実現します。

• OpenPoseはキャラクターのポーズを制御するために使用されます。
• Lineartはキャラクターの服装や顔の特徴を一貫して保つために使用されます。

実際には、複数のControlNetを使用する際に、Apply ControlNetノードの条件を連結することが重要です。

ControlNetの段階的制御については、Apply ControlNetノードの使用説明を参照してください。

ComfyUIでの複数のControlNetの使用手順

1. 必要なプラグインのインストール

もしComfyUI Wikiの他のチュートリアルを学んでいるなら、対応するプラグインをすでにインストールしているはずなので、このステップはスキップできます。

ComfyUI Coreには対応するDepth画像前処理器が含まれていないため、事前に対応する前処理プラグインをダウンロードする必要があります。 このチュートリアルでは、深度マップを生成するためにComfyUI ControlNet Auxiliary Preprocessorsプラグインを使用する必要があります。

ここでは、ComfyUI Managerを使用してインストールすることをお勧めします。 プラグインのインストール手順については、ComfyUIプラグインインストールチュートリアルを参照してください。この部分はかなり詳しく説明されています。

最新版のComfyUI Desktopには、すでにComfyUI Managerプラグインがプリインストールされています。

2. モデルのダウンロード

まず、以下のモデルをダウンロードする必要があります:

SD1.5バージョンのモデルは、あなたのコンピュータ上のモデルを使用できますが、このチュートリアルではdreamshaper_8モデルを例として使用しています。

モデルファイルは以下の構造に従って配置してください:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11f1p_sd15_openpose.pth
│   │       └── control_v11p_sd15_lineart.pth

3. ワークフローファイルと入力画像

以下のワークフローファイルと画像ファイルをダウンロードしてください。

4. ComfyUI にワークフローをインポートして画像を生成する

1. ステップ1で対応する SD1.5 チェックポイントモデルをロードします。
2. ステップ2で画像をロードします。
3. ステップ3で OpenPose ControlNet モデルをロードします。
4. ステップ4で Lineart ControlNet モデルをロードします。
5. Queue またはショートカット Ctrl+Enter を使用してワークフローを実行し、画像を生成します。

ControlNet の組み合わせ使用シーン

1. 建築ビジュアライゼーションデザイン

ControlNet の組み合わせ
Canny エッジ + Depth 深度マップ + MLSD 線検出

パラメーター設定プラン

2. キャラクターの動的生成

ControlNet の組み合わせ
OpenPose ポーズ + Lineart スケッチ + Scribble カラーブロック

パラメーター設定プラン

3. 製品コンセプトデザイン

ControlNet の組み合わせ
HED ソフトエッジ + Depth 深度 + Normal 法線マップ

パラメーター設定プラン

4. シーンの雰囲気レンダリング

ControlNet の組み合わせ
セグメンテーション パーティション + シャッフル カラートーン + Depth レイヤー

レイヤー制御戦略